scrapy 取网站出现404错误?

ZRA 发布于 2016/09/13 09:08
阅读 1K+
收藏 0

   最近在学习scrapy,前两天用scrapy爬取一个网站的图片,能正常下载,

这周一又运行了一下程序,结果就出现

     目标网址用浏览器正常打开,也能ping通。

      当我把start_url换成其他网址时,程序就能正常爬取了,显示DEBUG:Crawled (200)。

     这是被网站禁止scrapy吗?换了ip也是这样出现404的?

    

加载中
0
mickelfeng
mickelfeng
加多个代理
ZRA
ZRA
谢谢,问题出在了header
ZRA
ZRA
谢谢[83],先试一试
0
mickelfeng
mickelfeng
看控制台输出日志
ZRA
ZRA
如果爬虫被ban,是封ip,还是禁止scrapy程序?
ZRA
ZRA
没有其他错误,用scrapy view <url>试过还是404错误
返回顶部
顶部