有什么基于浏览器内核的爬虫??

吐槽的达达仔 发布于 2015/11/16 22:37
阅读 1K+
收藏 0

普通的页面web页面的爬去已经没办法满足需求了。

页面有很多加密的js再生成数据,没办法解析,只能通过浏览器内核工具,生成页面以后,再爬取下来。


请大神推荐一下。phantomjs 就不要了,要改源码。。这个工作量不小啊。。

加载中
1
蓝水晶飞机
蓝水晶飞机
我想了很久决定给你的蜘蛛写个死循环玩一下…
0
eechen
eechen
CasperJS:基于PhantomJS(WebKit)或SlimerJS(Gecko)的导航脚本和测试工具.CasperJS无法识别验证码,无法对Flash内容截屏.
吐槽的达达仔
吐槽的达达仔
Phantomjs 会被反爬虫识别。。casperjs是个框架。。。我之前试过qt,貌似也会被检测到。。
0
Vian
Vian
很久很久之前用C#+IronPython写过,有浏览器窗体,可以执行定义好的JS
返回顶部
顶部