vscrawler 0.2.2 发布,一个适合应对爬虫封堵的抓取框架

来源: 投稿
作者: virjar
2018-01-09

vscrawler是一个适合应对爬虫封堵的抓取框架。

当前发布0.2.2版本,在0.2.2版中,我重新设计了资源管理队列,用来处理爬虫所需要的基础资源(账号、设备号,token)的分发、轮询、评分、封禁解禁。该队列使用了我之前设计的用来管理代理ip队列的smartProxyQueue队列https://gitee.com/virjar/proxyipcenter/blob/master/doc/client/design/SmartProxyQueue.md

评分队列能够自动的根据各个资源的质量(通过feedback评分)调整资源的使用优先级,实现高质量资源高优先级使用,低质量资源低频使用。同时评分队列在存储层做了封装,提供ram和redis两套存储方案,可以隔离分布式环境下资源在多机隔离问题。

目前账号资源管理模块已经切换到该模型上面,使用UserManager2替代了之前的UserManager,并且测试使用正常。

另外一个值得高兴的是,本次版本是vscrawler首次在我所在公司内部使用,公司内部需求主要是在线抓取,但是也需要资源管理,session复用,代理切换,链式抽取等功能。本次发布的版本也因为公司需求做了部分适配,当然也发现了一些之前设计的漏洞,并且一并修复。

你可以在这里看到vscrawler的完整文档http://vscrawler.virjar.com/ 或者在这里看到项目完整源码:https://gitee.com/virjar/vscrawler 如果想参与vscrawler的设计讨论,可以通过邮箱:virjar@virjar.com和我取得联系。

展开阅读全文
28 收藏
分享
加载中
精彩评论

引用来自“py庄稼汉”的评论

可以试一下chrome的headless模式。干爬虫挺好的
vscrawler很久甚至永远不会支持无头浏览器,可能和我工作的环境有关系吧。我们项目最开始也考虑webdriver,后来由于其性能、效率、稳定性、资源消耗,环境依赖等问题,早在两年前就被废弃了。当然目前我几乎没有遇到过破解不了协议的网站,我们偏向于实现目标网站加解密协议完整破解,然后使用java重新实现。我总结数据抓取有几个阶段
1. 纯粹静态网页抓取,webmagic、scrapy之类的可以方便实现
2. 有部分js的动态渲染,webmagic的selenium,webdriver,htmlclient等无头浏览器。或者gecco这种使用webkit包装协议的headless浏览器都可以实现
3. 网页有js加载,网页的交互流程足够复杂导致无头浏览器无法控制界面交互、app等客户端的方式的数据抓取。对响应时间、并发性有要求的请求模拟场景。我们只有想办法做协议破解了。

vscrawler设计目标在第三个场景,所以vscrawler不是为新手设计的一套框架。当你抓取的网站不是很复杂的时候,我也不建议使用vscrawler
2018-01-10 10:23
1
举报
最新评论 (4)

引用来自“邪恶胖子”的评论

反爬虫?
哈哈,可以考虑把我平常抓别人网站遇到的一个反爬虫策略总结总结,弄一套防火墙框架出来
2018-01-10 10:26
0
回复
举报

引用来自“py庄稼汉”的评论

可以试一下chrome的headless模式。干爬虫挺好的
vscrawler很久甚至永远不会支持无头浏览器,可能和我工作的环境有关系吧。我们项目最开始也考虑webdriver,后来由于其性能、效率、稳定性、资源消耗,环境依赖等问题,早在两年前就被废弃了。当然目前我几乎没有遇到过破解不了协议的网站,我们偏向于实现目标网站加解密协议完整破解,然后使用java重新实现。我总结数据抓取有几个阶段
1. 纯粹静态网页抓取,webmagic、scrapy之类的可以方便实现
2. 有部分js的动态渲染,webmagic的selenium,webdriver,htmlclient等无头浏览器。或者gecco这种使用webkit包装协议的headless浏览器都可以实现
3. 网页有js加载,网页的交互流程足够复杂导致无头浏览器无法控制界面交互、app等客户端的方式的数据抓取。对响应时间、并发性有要求的请求模拟场景。我们只有想办法做协议破解了。

vscrawler设计目标在第三个场景,所以vscrawler不是为新手设计的一套框架。当你抓取的网站不是很复杂的时候,我也不建议使用vscrawler
2018-01-10 10:23
1
回复
举报
可以试一下chrome的headless模式。干爬虫挺好的
2018-01-09 22:57
0
回复
举报
反爬虫?
2018-01-09 20:59
0
回复
举报
更多评论
4 评论
28 收藏
分享
返回顶部
顶部