java 抓取网页抛异常connect reset

北柯一梦 发布于 2011/08/22 12:44
阅读 685
收藏 0

用java程序抓取时光网(http://m.mtime.com/)的网页信息,各种方法都试过了,总是会有connect reset异常,在windows上没问题,在linux上就挂了,估计是对方做限制了(防抓)。我的程序只能放在linux上,请各路高手指点一下该怎么破解。多谢多谢~~

加载中
0
无鸯
无鸯

一般网站防爬虫的做法无非就是几个参数:

1. User-Agent   2. IP   3. 访问间隔时间

没有固定的规则,都不断的试

北柯一梦
北柯一梦
1、2都已试过 牵扯不到3 谢谢
0
火眼金睛容嬷嬷
火眼金睛容嬷嬷
如果win上没有问题,就在linux上虚拟个win跑吧。懒人办法。
北柯一梦
北柯一梦
算了,还是让产品换链接地址吧
返回顶部
顶部