风铃虫 2.2.0 发布,优化任务停止机制

易水风萧
 易水风萧
发布于 2020年06月29日
收藏 26

精选30+云产品,助力企业轻松上云!>>>

风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。

本次更新内容如下:

1 修复测试接口中传入参数异常时不能正常工作的bug。

2 优化多任务多线程时的同步机制,能更加灵活扩展

3 优化任务状态监控机制

4 优化任务停止逻辑,停止逻辑更加合理

5 其他一些bug优化

风铃虫平台效果演示

1 配置基本信息

输入图片说明

配置链接爬取信息

配置链接爬取信息

配置站点信息  

配置站点信息

提取项配置

内容页配置

属性提取配置

属性提取配置

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:风铃虫 2.2.0 发布,优化任务停止机制
加载中
此新闻有 6 条评论,请先登录后再查看。
返回顶部
顶部