selenium怎么获取动态加载的页面数据??

gent123 发布于 08/05 17:45
阅读 136
收藏 0

QQ空间里

主页,说说上面

动态设置 - 添加

点击之后可以看到所有的好友列表,F12也可以看到相关的代码

但是selenium获取不到数据,page_source拿到的除了关键数据全都有 T T,刚刚好没有好友列表的数据,F12都能看到。

求解这个怎么弄啊,数据在iframe里动态加载的。

这是python中获取到的

iframedescend=1" name="1564997242585" width="100%" height="100%" allowtransparency="yes" frameborder="0" scrolling="no"></iframe></div></div><div i="footer" class="ui-dl-ft" style="display: none;"><div class="qz-grid"><div i="button" class="qz-right actions"></div><div i="statusbar" class="qz-main" style="display: none;"></div></div></div></div></div></div><div style="z-index: 10006; position: fixed; left: 0px; top: 0px; width: 100%; height: 100%; overflow: hidden; user-select: none; opacity: 0; background: rgb(0, 0, 0);" tabindex="0"></div></body></html>

这个是F12的

加载中
0
墨盒
墨盒
不懂selenium 首先这类数据是由js动态加载的,爬虫有两种方案,一是抓包,研究http请求,然后模拟请求即可。二是执行js,使用selenuim触发对应的事件,等待js执行完后,根据css选择器之类的获取对应数据即可
gent123
gent123
用selenium自带的page_source和网上查到的一些执行JS获取的方法拿到的数据都是缺少关键数据的。。这里很悲伤
0
gent123
gent123

已解决,找到了其他入口,每次获取的时候需要切回当前页面,进入iframe再进行获取

返回顶部
顶部