httpClient executeMethod

去玩儿啊 发布于 2012/04/18 08:59
阅读 938
收藏 0
加载中
0
红薯
红薯
估计是抓太狠了,被对方 block 掉了
0
姚远
姚远
抓TCP log来看一下吧,不能肯定一定是Server的问题
0
Andre.Z
Andre.Z

有些站你抓得狠了,会有一会没响应的。如果该站点有多台服务器,那么可以指定IP轮着来,有的时候,就算多个轮询也是会有可能无响应,就自己写个HttpRequestRetryHandler,里面暂停一会,多重试几次。
指定IP抓取,可以参照
http://www.oschina.net/code/snippet_140947_4657
RetryHandler就自己去写一个吧,简单的,我一般是等待3秒,重试5次。
一般一个站,单线程抓取就好,线程越多,无响应的几率越高。

返回顶部
顶部