ruby实现网页爬虫

easonjiven 发布于 2015/03/20 10:04
阅读 725
收藏 2

通过ruby实现网站爬虫,有没有好的资料可以共享?

加载中
0
yunfound
yunfound

如果是要定义抓取某个网站,可以试试这个框架:https://github.com/hooopo/direct_web_spider


0
sevk
sevk

stdlib:  

Net::HTTP.get('example.com', '/index.html') # => String


gem : mechanize


如果要解析js, 可以用 watir 

0
yak
yak
hpricot
返回顶部
顶部