scrapy-redis如何把去重做到本地上?

maya8maya85 发布于 2018/05/09 10:24
阅读 169
收藏 0

请教一下,现在用scrapy-redis做好了一个pachong,看了去重一块的解释,都是说运行时的去重,请问是如何把这个去重做到本地上的呢?就是说我就算关机重启了,也不会去重复pa那些pa过的url了,我知道redis有持久化到本地的功能,但不太会用,现在已经有appendonly.aof,这能保证重启后就不会重pa那些pa过的url吗?

加载中
返回顶部
顶部