爬网页信息但是html是页面不存在,但用浏览器能打开,why?

SIXSVK 发布于 2016/04/11 18:55
阅读 444
收藏 0
具体情况是这样:


这个网页用浏览器可以打开https://movie.douban.com/subject/25941059/


但是当我用python试着去爬里面的某些信息时,却什么也爬不到。


后来发现我用requests.get获取到的html是一个“网页不存在”的页面源代码


浏览器可以打开这个网址,但是requests.get不到这个网页的html


这是怎么回事呢?


小白,新手,勿喷,求教,多谢!






加载中
1
西南茂
西南茂
你这个网址我浏览器打开也是一个不存在的页面啊。只不过过几秒会自动跳转到首页
S
SIXSVK
很奇怪,我用另外一个不经常用的浏览器打开也是页面不存在,我在豆瓣里面搜索这个电影,尽管在搜索框里输入电影名字,能联想出来,但点击这个正确的联想后,还是页面不存在,我觉得应该是豆瓣删除了这个条目。但是我用经常用的这个浏览器(都是自动登录豆瓣会员的)打开后,打开我已经标记为看过的这部电影就能正常显示。不知道为什么,如果你不怎么用豆瓣,估计也不知道我在说什么对吧,哈哈,不过还是多谢你的回答。
0
Flygend
Flygend
USER-AGAENT你伪造了吗
S
SIXSVK
我爬出来的一堆豆瓣的电影条目链接,不需要伪装便可爬取链接中的所需信息,其中大部分都正常,只有极个别电影条目链接会出现页面不存在的问题。被搞晕了,不知道什么情况。
返回顶部
顶部