开源问答 技术问答
正文

python selenium 抓取含有 javascript网页表格如何翻页的问题

sailordump 发布于 2016/09/16 11:15
阅读 2K+
收藏 0
答案 3
Python Selenium Crawler
 【推荐阅读】滴滴出行的数据架构和信息流处理思路解析->>>    
爬虫爬取新浪财经(http://finance.sina.com.cn/stock/usstock/sector.shtml)上的美股数据，网页中包含了javascript，我用selenium 抓取时只能抓到第一页表格，我gaizenm

from selenium import selenium

from selenium import webdriver
browser=webdriver.PhantomJS(executable_path=r'D:\phantomjs-2.1.1-windows\bin\phantomjs.exe')
url=r'http://finance.sina.com.cn/stock/usstock/sector.shtml'
browser.get(url)
html = browser.execute_script("return document.documentElement.outerHTML")

这样得到的html只有第一页，请问怎么才能拿齐全部数据呢
收藏 (0)
举报
加载中
最多投票 最新
1
Ashkandi
Ashkandi
2016/09/19 10:52

用browser获取到翻页标签的对象，调用click方法，再延时若干秒，就可以翻页了。

还可以试着去抓包，比用selenium模拟访问要效率很多。

评论 (0) 引用此答案 举报
0
s
sosozzzx
2016/09/20 17:31
可以参考下这个文档哦~http://doc.shenjianshou.cn/renderJS.html
评论 (0) 引用此答案 举报
0
加州肥猫
加州肥猫
2016/09/29 22:17

循环获取数据，如果是JavaScript就用ajax 获取。AJAX通过抓包提取


评论 (0) 引用此答案 举报
s
sailordump
最近登录：2016/09/07 22:12

类似问题

Drupal下如何把包含Highcharts的页面输出到PDF
0 回答
3235 阅读
phantomjs的问题
0 回答
101 阅读
python 爬虫
0 回答
117 阅读
selenium webdriver 元素定位问题
1 回答
752 阅读
用 PhantomJS 和 JavaScript 编写爬虫工具
6 回答
45 阅读
selenium+PhantomJS 报错
0 回答
40 阅读
利用 Selenium 自动化 web 测试
2 回答
4962 阅读
php使用QueryList轻松采集JavaScript动态渲染页面
0 回答
527 阅读
使用开源工具测试 Web 应用程序
2 回答
1596 阅读
casperjs phantomjs 爬虫结果保存到数据库?
7 回答
4742 阅读
selenium-webdriver 资料
0 回答
5 阅读
python新手请教一个使用selenium过程中遇到的网页提示窗问题
2 回答
826 阅读
当模拟登录遇到手机验证码如何解决
0 回答
224 阅读
CasperJS 的安装和快速入门
4 回答
11116 阅读
scrapy抓取一个网页后在浏览器上有个别div无法解析出来
0 回答
290 阅读
返回顶部
顶部