一个爬虫抓取失败的问题,url无误,抓取的内容和网页源码不一致

李复唐2 发布于 2018/02/24 10:24
阅读 1K+
收藏 0

https://www.coincola.com/buy/BCH?country_code=CN,网址也没有问题

为什么,我抓取的内容和网页源码,不一致

请大家给点建议

 

加载中
0
ZhouYanchao
ZhouYanchao

应该不是ajax的问题,如果是ajax加载的数据,那么你在浏览器查看源码也是看不到动态加载的数据的。要分清楚查看页面源码和审查元素的区别。

根据你的描述,是采集到的数据和查看页面源码不一致,可能的问题在于两种方式请求的参数不完全一致,可以从https协议方面和http请求头信息方面比对一下,另外还有cookie。

0
t
type-moon

js异步加载的吧。你google一下这方面怎么处理吧。

李复唐2
李复唐2
谢谢
0
I
IfElseIf

爬取太快了,just a moment

李复唐2
李复唐2
谢谢
返回顶部
顶部