1
回答
在scrapy+redis实现分布式爬虫中,如何实现对各个分布的爬虫获取URL的均衡

我在用scrapy+redis实现一个简单的分布式爬虫,但运行后,一个爬虫爬地快,一个爬虫

爬地慢,我想请教各位如何实现redis对各个爬虫获取URL速度或者频率的控制以达到均衡?

谢谢!

举报
顶部