+
 新版

python的requests抓取的页面源代码总是不完整

蒂法 发布于 2019/10/05 15:00
阅读 5K+
收藏 0

requests在抓取页面的时候抓取的速度过快,在页面还没有完全加载完成之前就已经抓取完毕,一些有用的信息不能被抓取到,请问该怎么办!!!!!

加载中
0
soldier杨
soldier杨
不可能存在抓取速度太快这种问题,出现有信息抓不到可能是那些信息是ajax加载的,或者网络问题导致加载一半的情况
soldier杨
soldier杨
是了
蒂法
蒂法
如果我是用浏览器把页面的JS屏蔽掉页面还可以正常加载出来,是不是就可以排除ajax加载这种可能?
0
zn123
zn123

用 curl 抓取对比一下

还有就是 request 抓取有些bug,他抓不正常的 chunk 包会有问题(没有0结尾的),

蒂法
蒂法
刚刚试过了 用curl可以把页面完全抓取下来,这是不是就说明request在抓取这个页面(同一个页面)的时候出现了bug?
蒂法
蒂法
好的 我试试,多谢
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部