Scrapy 1.7.0 发布,Python 爬虫框架

h4cd
 h4cd
发布于 2019年07月28日
收藏 21

Scrapy 1.7.0 发布了。Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。

此版本主要更新亮点包括:

  • 改进多个域的抓取
  • 更简洁的将参数传递给回调函数的方法
  • JSON 请求新类
  • 改进基于规则的爬虫
  • feed export 的新特性

详情查看更新说明:

https://github.com/scrapy/scrapy/releases/tag/1.7.0

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:Scrapy 1.7.0 发布,Python 爬虫框架
加载中

精彩评论

你们都是技术宅
你们都是技术宅
好东西,功能十分强大

最新评论(3

OSC_TZzXZP
OSC_TZzXZP
喜欢😘
久永
久永
有谁能给我提示一套简洁的.net爬虫框架?看到的全是py的。
你们都是技术宅
你们都是技术宅
好东西,功能十分强大
返回顶部
顶部