如何爬取通过js跳转的所有页面

qwem 发布于 2017/01/21 17:02
阅读 542
收藏 0
  <a href="javascript:toPage(1)">首页 </a>
| <a
href="javascript:toPage(1)">
上一页 </a>
| <a
href="javascript:toPage(3)">
下一页  &nbsp;</a>|
 <a
href="javascript:toPage(100)">尾页 </a> &nbsp;
当前第2页

共100页

我试图通过匹配总页面和当前页面来实现数据抓取,可是不知道怎么代码实现


加载中
0
明月惊鹊
明月惊鹊
用phantomjs 那个方向的咚咚吧, nightmare 也行, 它们就是一个浏览器用脚本去驱动它不停的爬来爬去
0
大賢者
大賢者
需要能run html js的爬虫
0
DiamondFsd
DiamondFsd

这个必须看 toPage这个方法的实现。 最终的转跳也是到一个url,找到这个url的规律,就可以爬取了

返回顶部
顶部