如何等待网页加载完成后在获取内容?

sorb 发布于 2015/11/22 11:21
阅读 1K+
收藏 0

想用python抓个网页,但是有些内容还在载入阶段,python就抓下来了,导致里面的内容不全,请问怎么解决?

代码和网页:

import sys,urllib.request,datetime

from bs4 import BeautifulSoup

url = r"http://xueqiu.com/P/ZH010389" #网页地址

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.93 Safari/537.36'}

req=urllib.request.Request(url=url, headers=headers)

#Requst Need to close the page??

content = urllib.request.urlopen(req).read()

decocontent=content.decode("UTF-8")

soup = BeautifulSoup(decocontent)

想抓“最近调仓”的部分,但是只获取到载入显示的gif图片:

 <div class="loading">
          <img src="http://assets.imedao.com/images/ajax_loader_32x32.gif"/>
         </div>
大家能提供个解决的思路么?谢谢了

加载中
0
明月惊鹊
明月惊鹊
结合phantomjs 可能好一些。 貌似有python的结合。
返回顶部
顶部