WebMagic 0.5.3 版本发布,Java爬虫框架

黄亿华
 黄亿华
发布于 2016年01月22日
收藏 67

时隔一年半,作者终于回归了。这个版本主要解决之前的一些BUG,后续会慢慢的继续完善功能。

  • 升级Xsoup到0.3.1,支持//div[contains(@id,'te')]语法。

  • #245 升级Jsoup到1.8.3,解决n-th selector二进制不兼容的问题。

  • #139 修复JsonFilePipeline保存路径的问题

  • #144 修复@TargetUrl增加SourceRegion后取不到链接的问题

  • #157 修复FileCacheQueueScheduler中去重偶尔不工作的问题 @zhugw

  • #188 增加重试的间隔时间,默认为1秒 @edwardsbean

  • #193 修复分页功能MultiPagePipeline可能出现的并发问题 edwardsbean

  • #198 修正site.setHttpProxy()不起作用的bug @okuc

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:WebMagic 0.5.3 版本发布,Java爬虫框架
加载中

最新评论(19

程序开发小民

引用来自“程序开发小民”的评论

既然来了 必须好评啊 第一次完爬虫 挺好用的 而且还有个活跃的群

引用来自“勇敢前行”的评论

QQ群号是多少啊?
373225642
fanstatic
fanstatic
q
黄河涛涛h
黄河涛涛h
我偷你一票
勇敢前行

引用来自“程序开发小民”的评论

既然来了 必须好评啊 第一次完爬虫 挺好用的 而且还有个活跃的群
QQ群号是多少啊?
程序开发小民
既然来了 必须好评啊 第一次完爬虫 挺好用的 而且还有个活跃的群
CrazyTrd
CrazyTrd
终于看见更新了
javadeveloper
javadeveloper
支持支持,在工作中发挥了大作用,比我以前写的强多了。
飞云如月
飞云如月
正在用,好用!
A
Angels_安杰
欢迎黄大大归来
返回顶部
顶部