开源问答 技术问答
正文

一个爬虫抓取失败的问题，url无误，抓取的内容和网页源码不一致

李复唐2 发布于 2018/02/24 10:24
阅读 1K+
收藏 0
答案 3

https://www.coincola.com/buy/BCH?country_code=CN，网址也没有问题

为什么，我抓取的内容和网页源码，不一致

请大家给点建议

 

收藏 (0)
举报
加载中
最多投票 最新
0
ZhouYanchao
ZhouYanchao
2018/02/24 14:23

应该不是ajax的问题，如果是ajax加载的数据，那么你在浏览器查看源码也是看不到动态加载的数据的。要分清楚查看页面源码和审查元素的区别。

根据你的描述，是采集到的数据和查看页面源码不一致，可能的问题在于两种方式请求的参数不完全一致，可以从https协议方面和http请求头信息方面比对一下，另外还有cookie。

评论 (0) 引用此答案 举报
0
t
type-moon
2018/02/24 11:14

js异步加载的吧。你google一下这方面怎么处理吧。

评论 (1) 引用此答案 举报
李复唐2
李复唐2
2018/02/24 11:29
谢谢
回复 举报
0
I
IfElseIf
2018/02/24 13:49

爬取太快了，just a moment

评论 (1) 引用此答案 举报
李复唐2
李复唐2
2018/02/26 09:43
谢谢
回复 举报
李复唐2
李复唐2
最近登录：2018/08/01 08:13
全部

李复唐2的其他提问

python爬取<网易云课堂>，post请求失败问题
2 回答
814 阅读
python list列表换行写入的问题？？？焦头烂额
3 回答 (已采纳)
6K+ 阅读
自己写的爬虫代码，能否实现24小时自动抓取。每小时记录一次？
6 回答 (已采纳)
1K+ 阅读
遇到一个网络爬虫html解析的疑问，href="#"？
12 回答 (已采纳)
1K+ 阅读
plotly能输出DataFrame格式的表格吗
0 回答
1K+ 阅读

类似问题

自己写的爬虫代码，能否实现24小时自动抓取。每小时记录一次？
6 回答
1864 阅读
用 PhantomJS 和 JavaScript 编写爬虫工具
6 回答
51 阅读
33款可用来抓数据的开源爬虫软件工具
2 回答
7244 阅读
Nutch爬虫工作流程及文件格式详细分析
0 回答
694 阅读
Python爬虫知识1.1 requests库的安装与使用
0 回答
176 阅读
Linux 抓取网页实例（shell+awk）
0 回答
1010 阅读
使用php蓝天采集抓取今日头条ajax的文章内容
0 回答
986 阅读
Nutch爬虫工作流程及文件格式详细分析
4 回答
7683 阅读
基于Apache Nutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件
4 回答
2805 阅读
使用Scrapy构建一个网络爬虫
0 回答
146 阅读
快速构建实时抓取集群
0 回答
1293 阅读
多线程爬取数据方案？请问
5 回答
512 阅读
简单实现网页正文自动的抓取研究
0 回答
11 阅读
python 用bs4解析网页后，如何循环打开爬取出来的网址链接？
0 回答
221 阅读
python 用bs4解析网页后，如何循环打开爬取出来的网址链接？
0 回答
414 阅读
返回顶部
顶部