Heritrix抓取新浪微博

司徒春运 发布于 2011/07/26 21:27
阅读 6K+
收藏 2

最近想通过爬虫抓取新浪微博的信息,前些日子使用MetaSeeker抓取了很具有规范的微博信息。这两天了解到了一个新的工具,Heritrix。

由于我刚刚配置好heritrix,对heritrix也不熟悉。想请教下大家,对于这个网页,http://weibo.com/pub/star/gupiaogaoguan,我希望通过每个股票高管的名字(是一个链接,对应每个用户的微博首页),在heritrix的设置界面中是否能够设置“定期地抓取每个用户的微博信息”???

加载中
0
G.
G.
还不如 搞个Gtalk/MSN之类的端口, 让新浪主动给你 push 信息...
0
李志祥
李志祥
恩,如何建立类似Gtalk/MSN之类的端口,
0
d
dingding56
heritrix不能自动设置定期抓取么?
0
小鱼吃虾米
小鱼吃虾米
楼主的问题解决了吗
0
八爪鱼采集器
八爪鱼采集器
我们的采集器就可以轻松采集微博的数据。
返回顶部
顶部