urllib2 如何抓延迟的网页(如ajax)?

fkkeee 发布于 2013/07/04 11:42
阅读 1K+
收藏 3

比如用ajax,或是鼠标滚轮动作时,才会显示内容的网站,如何抓网页中的内容?

正常情况下一个请求页面返回一个结果,遇到这种网页时只会显示 loading 或 正在加载中。

加载中
1
李三石
李三石

http://www.oschina.net/p/ghostpy

试试这个吧,效果很不错

0
IdleMan
IdleMan
selenium可以实现。但速度不会很快
0
fkkeee
fkkeee

引用来自“IdleMan”的答案

selenium可以实现。但速度不会很快
selenium还是需要借用浏览器,需要图形界面。如果能用python本身的模块实现就好了
0
tuds
tuds

可不可以这样。

本身ajax也是一个请求,你可以首先解析页面的js,找到你需要触发的ajax请求(url,data),自己用urllib2再发一次

0
fkkeee
fkkeee

引用来自“tuds”的答案

可不可以这样。

本身ajax也是一个请求,你可以首先解析页面的js,找到你需要触发的ajax请求(url,data),自己用urllib2再发一次

BeautifulSoup之类不解析JS。重发urllib2等于是刷新,没用的。
0
郭幻程
郭幻程
解析JS只能交给浏览器。
0
铂金胖子
铂金胖子

用这个: spynner/

需要 安装 pyqt

0
fkkeee
fkkeee

引用来自“铂金胖子”的答案

用这个: spynner/

需要 安装 pyqt

这个还是需要QT,图形界面。谢谢回复,我了解了这个工具,看起来使用非常方便
0
fkkeee
fkkeee

引用来自“李三石”的答案

http://www.oschina.net/p/ghostpy

试试这个吧,效果很不错

非常感谢,看了介绍,不错。我试下先
返回顶部
顶部