对抓取失败的url保存起来,延迟抓取

NIC-杨 发布于 2015/05/20 16:58
阅读 374
收藏 0

使用spider 抓取页面时,有时候,页面访问会失败(或运行异常),但这个流程是一个整体,必须把抓取失败的页面保存在一个delayQueueSchedualer 里面,在一定的时间内重新抓取。这个过程要如何实现

加载中
0
NIC-杨
NIC-杨

在 pageprocessor 里面 尝试调用 page.addTargetRequests(page.getHtml().toString());

把该url 重新放入 scheduler , 但是 在 spider 里面 addrequest 的时候,会 调用默认的

QueueScheduler ,在这个scheduler 里面,不允许重复的url,所以程序抓取错误后还是会自动退出

。现在考虑,

1、实现自定义的 Scheduler 在里面 ,简单的调用push,不去除重复的操作。

2、这个框架里面应该有方法,可以把失败的url 丢进去,继续抓取的(即时它之前已经抓过)



返回顶部
顶部