关于scrapy爬虫的问题

此鱼不得水 发布于 2015/10/29 00:51
阅读 405
收藏 0
最近在研究python的爬虫,发现scrapy这个框架很好用,但是遇到了一个问题,我想爬取的东西都是在经过js从后台调出来的数据,我在浏览器里直接审查元素后也没有找到目标元素,我想这应该是js从后台调出数据的原因导致没办法像处理静态html一样那么好抓取,,但是scrapy如何处理js加载问题呢?求解
加载中
1
Altman
Altman
scrapy自带ajax支持,但是实测没啥用,直接整合web driver进去抓吧
1
gsyk
gsyk
在middleware里面调pyphantomjs 来渲染抓取
返回顶部
顶部