Gecco 1.2.2 发布,首个支持动态加载的java爬虫框架 - 开源中国社区
Gecco 1.2.2 发布,首个支持动态加载的java爬虫框架
xtuhcy 2016年07月18日

Gecco 1.2.2 发布,首个支持动态加载的java爬虫框架

xtuhcy xtuhcy 发布于2016年07月18日 收藏 81

Gecco 1.2.2 发布了,DynamicGecco实现了爬虫规则的热部署,是首个支持动态加载的java爬虫框架。

DynamicGecco的目的是在不定义SpiderBean的情况下实现爬取规则的运行时配置。其实现原理是采用字节码编程,动态生成SpiderBean,而且通过自定义的GeccoClassLoader实现了抓取规则的热部署。使用方法可以参考《教您使用DynamicGecco抓取JD全部商品信息》这个DEMO:http://www.geccocrawler.com/dynamic-demo-jd/

其他优化:修复了UniqueSpiderScheduler的排序错误的bug

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Gecco 1.2.2 发布,首个支持动态加载的java爬虫框架
分享
评论(4)
最新评论
0
项目要用,这给力
0
不错
0
这么快搞完了。
0
顶一个
顶部