在运行爬虫程序时总会出现以下异常

struts_hibernate_spr 发布于 2013/12/06 16:53
阅读 1K+
收藏 1

我写的程序可以运行,但是总会出现以下异常中断运行,然后再运行程序时,就没问题了,很多次了

1.java.net.SocketTimeoutException: Read timed out

2.java.net.SocketTimeoutException: connect timed out

3.java.net.ConnectException: Connection timed out: connect

以上三个异常,经过跟踪确定都是在执行这句代码时出现的:

doc = Jsoup.connect(url)  .data("query", "Java")
 .userAgent("Mozilla") 
 .cookie("auth", "token")
 .timeout(300000)
 .post();
请问各位大神我这是什么个情况,该怎么解决啊?  因为这程序是用来爬取网页数据的,一直要循环加载上万条子网页的url,是不是因为这个造成的啊?我该怎么解决呢?求各位大虾指点,泣不成声,泣不成声....

加载中
0
leo108
leo108

网络不给力

0
Timco
Timco
我觉得挺正常的。超时而已了。垂直爬虫可以看看webmagic。放在多线程里,try catch 一下,有异常就跳过去吧
返回顶部
顶部