Scrapy 2.5.0 发布,Python 爬虫框架

来源: OSCHINA
编辑: Alias_Travis
2021-04-08

Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。它也可以用于广泛的目的,从数据挖掘、监控到自动测试等。

Scrapy 2.5.0 正式发布,本次更新内容如下:

  • 官方 Python 3.9 支持;
  • 实验性的 HTTP/2 支持;
  • 新增 get_retry_request() 函数,用于重试来自 spider 回调的请求;
  • 新的 headers_received 信号允许提前停止下载;
  • 新的 Response.protocol 属性;

更多详情可查看:https://github.com/scrapy/scrapy/releases/tag/2.5.0

展开阅读全文
7 收藏
分享
加载中
0 评论
7 收藏
分享
返回顶部
顶部