scrapy URL 去重

redghost 发布于 2014/10/23 17:11
阅读 2K+
收藏 0
scrapy怎么样用中间件去去重,使用下载中间件还是Spider中间件还是用DuplicateClass,希望专家能给点提示与建议,最好能有代码提供我参考一下。
加载中
0
r
redghost
这个我知道啊,但能不能具体一点?
返回顶部
顶部