nutch使用local抓取100W+条url时,抓取完毕了会报这个图上的错误,怎么解决呢?

tars 发布于 2013/05/22 10:05
阅读 651
收藏 0
加载中
0
王瑞平
王瑞平

CRC数据校验错误

数据抓取有问题

tars
tars
@王瑞平 并且第一轮抓取的时候不会出现这个问题,只有在第二轮开始抓取才会出现
tars
tars
@王瑞平 我知道是校验错误,但是是为什么出现这个问题呢,这错误是在抓取完毕的时候发生的
返回顶部
顶部