风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
本次更新内容如下:
1 解决了多任务多线程模式下引线程安全问题引起的数据异常问题 2 优化系统日志,统一系统日志格式,方便问题排查 3 优化内容页地址匹配逻辑 4 分离业务处理过程 5 优化事件监听接口 6 其他一些优化
评论删除后,数据将无法恢复
风铃虫 2.1.0 发布,支持多任务多线程
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
本次更新内容如下:
1 解决了多任务多线程模式下引线程安全问题引起的数据异常问题
2 优化系统日志,统一系统日志格式,方便问题排查
3 优化内容页地址匹配逻辑
4 分离业务处理过程
5 优化事件监听接口
6 其他一些优化