用WebMagic获取js中的数据

buildhappy 发布于 2014/11/19 15:02
阅读 1K+
收藏 0

当WebMagic爬取页面时,可以根据html结构,利用匹配表达式获取想要的数据,比如某个标签下的链接。

但是,问题来了。如果该html页面将该链接放在js代码块中,并且在其中嵌套js的变量。那么我该怎么获取该链接呢?

谢谢~~~~

加载中
0
静心天涯
静心天涯

分析页面,如果是嵌套了 js 的变量,一般是使用 ajax。这种情况下,你可以点击一下这个链接,然后借助浏览器,分析请求,如谷歌浏览器,在 network 面板可以知道一个请求的路径与及相对应的参数,接着通过代码模拟这个请求即可。

webmagic 提供了一个官方教程,按照教程走一遍,基本问题都可以解决了。http://webmagic.io/docs/zh/posts/chx-cases/js-render-page.html

个人理解,是无法直接通过代码发现 js 函数的,这个需要自己借助工具分析。

返回顶部
顶部