请问用Python怎么抓取动态网页?

llwang 发布于 2014/04/22 12:14
阅读 1K+
收藏 0

@西门飞 你好,想跟你请教个问题:我想要抓取人人网好友列表,浏览器页面显示有很多的好友。但是查看源代码是没有的,通过查询网络发现貌似是动态数据的原因,想问问用python如何解决这个问题,本人还是Python菜鸟,但是这个问题很急,希望你能详细解答,谢谢!

加载中
0
西门飞
西门飞

抓包分析,比如在chrome中可以按F12,(IE浏览器可以安装httpwatch插件) 在network 中查看http请求,如果数据是通过ajax请求获取的那么你可以构造一个同样的请求来获取数据。

llwang
llwang
谢谢,我去试试,若再有问题再来请教你
0
llwang
llwang

这是我刚刚抓到数据,我标记的这条,它的content里就是我想要的数据,请问这是Ajax请求得到的吗?我不会分析。如果是,那是否有Python模拟Ajax请求的实例可以推荐给我参考一下,网上都没找到。谢谢了。

0
z
zoe_cooker

建议你学学 正则表达式,python库里面叫做re

用urlopen捕获内容,然后用re分析数据。

返回顶部
顶部