WebMagic 断点续爬 有没有什么更好的方案啊?

AAALK1001 发布于 2017/07/09 13:59
阅读 276
收藏 0

@黄亿华 你好,想跟你请教个问题:WebMagic 断点续爬 有没有什么更好的方案啊? 我目前采用的方式就是:对所有已经采集的地址进行标识,判断是否采集过,但这种方式笨,在遇到调度的时候就显得力不从心了,还要进行手动清理标识

加载中
返回顶部
顶部