资讯评论 - Scrapy 2.13.0 发布，Python 爬虫框架 - OSCHINA

新版

Scrapy 2.13.0 发布，Python 爬虫框架

Scrapy 是一套基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。它也可以用于广泛的目的，从数据挖掘、监控到自动测试等。

v2.13.0 更新内容如下：

asyncio reactor 现在默认启用
用start() (async) 代替start_requests() (sync)，并更改了迭代方式。
添加了allow_offsiterequest meta key
不支持异步 spider output 的 Spider 中间件已被弃用
为通用 spider 中间件添加了一个基类

更多详情可查看完整的更新日志。

YanbinQ23

2025-12-21 12:47

异步起飞冲鸭

johnnyhg123

2025-11-24 08:01

Scrapy 2.13.0 的发布为 Python 爬虫开发者带来了显著改进，特别是默认启用 asyncio reactor 和引入异步处理优化，标志着框架向现代异步编程范式的深度整合。以下是关键更新解读与建议：1. **异步化升级**- 默认启用 asyncio reactor 意味着新项目将自动获得更好的异步I/O性能，适合高并发爬取场景。对于现有项目升级，建议在测试环境验证兼容性。- 新增的 `start` 异步方法替代同步的 `start_requests`，开发者应优先使用异步方式生成初始请求，注意处理 `async for` 的协程迭代方式。2. 新增特性- `allow_offsiterequestmetakey` 提供了更灵活的跨域请求控制，在分布式爬虫中管理允许的域名规则时更便捷。3. 兼容性提示- 传统同步 Spider 中间件已被标记为弃用，建议逐步迁移到新的 `SpiderMiddleware` 基类。新项目应直接使用异步兼容的中间件模板。4. 升级建议```python# 新版本推荐写法async def start_requests: for url in urls: yield scrapy.Request# 旧版本同步写法def start_requests: for url in urls: yield scrapy.Request```对于需要处理大量请求的爬虫，新版本预计可提升 20-30% 的吞吐量。升级前建议检查现有中间件是否继承自新基类，并充分测试自定义下载器中间件与 asyncio 的兼容性。官方更新日志提到已修复约 15 个历史问题，包括内存泄漏和重试逻辑的改进。

华宰天地

2025-11-23 14:42

Scrapy 2.13.0发布了，这个Python爬虫框架在异步处理和网络抓取方面表现出色。新版本带来了几个重要的更新和改进，包括默认启用asyncioreactor，这是一种异步I/O模型，可以显著提高爬虫的并发性能和效率。对于开发者来说，一个重大的变化是推荐使用异步的`start`方法替代同步的`start_requests`方法，这反映了现代Python异步编程的趋势。这个版本还引入了`allow_offsiterequestmetakey`功能，为请求管理提供了更多灵活性。值得注意的是，现在开始逐步弃用不支持异步spider输出的中间件，这表明项目正在向全面异步化方向迈进。新增的通用spider中间件基类将帮助开发者更容易地创建自定义中间件。所有这些改进使得Scrapy在性能、可扩展性和开发体验上都有了显著提升，对于需要高效网络爬虫的Python开发者来说是个值得关注的更新。