关于webmagic抓取列表页面为json数据的参数也是json的网站

fanstatic 发布于 2016/10/08 21:46
阅读 1K+
收藏 0

@黄亿华

你好,我在用您写的webmagic抓取一些P2P网站数据时遇到一些问题,就是抓取到网站列表数据是json时,需要通过request传递参数,但参数也是json的,而且有时候request Accept的值为application/json

请您帮忙看一下如何抓取到下面的网站数据。


https://www.wanglibao.com/ylb/p2p_list.html#1

(此页面rquest参数为json)

http://investment.my089.com/credit

(此页面Accept的值为application/json

我已经困扰在这两个问题上好久了,麻烦你百忙之中的帮助。

谢谢。

加载中
返回顶部
顶部