在scrapy+redis实现分布式爬虫中,如何实现对各个分布的爬虫获取URL的均衡

一字并肩王之龙巡天下 发布于 2017/03/25 16:39
阅读 797
收藏 0

我在用scrapy+redis实现一个简单的分布式爬虫,但运行后,一个爬虫爬地快,一个爬虫

爬地慢,我想请教各位如何实现redis对各个爬虫获取URL速度或者频率的控制以达到均衡?

谢谢!

加载中
0
开源X
开源X

scrapy+redis该怎么配置,没找到太全的教程

返回顶部
顶部