爬虫爬https出错

强强波 发布于 2017/03/28 11:27
阅读 555
收藏 0

@黄亿华 你好,想跟你请教个问题:

为什么我把最新的代码WebMagic 0.6.1 更新到我本地了 ,在运行爬虫的时候,对于有些HTTPS的网页还是报错呢(比如爬https://www.digikey.com/),求解。
报错信息是:
I/O exception (java.net.SocketException) caught when processing request to {s}->https://www.digikey.com:443: Connection reset
,但是在爬京东时候,https://www.jd.com程序又没有报错,爬取正常

加载中
0
黄亿华
黄亿华

Connection reset是连接被重置,你先自己用浏览器调用了看看呢?

0
强强波
强强波

引用来自“黄亿华”的评论

Connection reset是连接被重置,你先自己用浏览器调用了看看呢?

@黄亿华  黄老师我试过了自己用浏览器调用网站是没有问题的,比如https://www.digikey.com/product-detail/en/tdk-corporation/PS1240P02BT/445-2525-3-ND/935924 和http://www.digikey.com/product-detail/en/tdk-corporation/PS1240P02BT/445-2525-3-ND/935924,但是在爬虫的时候https这个的就会报Connection reset错

返回顶部
顶部