爬网页的一个小问题,求思路

周智超 发布于 2013/12/13 10:07
阅读 241
收藏 0
由于需要,需要去爬一个网站,用get方法得到它的网页是这样的:网页布局、一个js数组和一个js方法,我想它应该是用js方法通过js数组来加载网页的具体内容,那么我现在怎么去才能爬到它的最终内容呢
加载中
0
IamBot
IamBot
wxg:分析这个js方法,然后用爬虫根据js数据抓取对应网页 其它的没好办法吧 - From IRC( http://t.cn/8kJZArX)
0
MrZQ
MrZQ
看js中数据是如何获得的,用相同的方法去请求产生数据。
这里可以借助Fiddler2来分析http请求和响应包~ 
0
LucEsape
LucEsape
用js引擎加载,再解析页面
0
你要爪子
你要爪子
模拟浏览器加载好似可以。
0
0
梅开源
梅开源

一般是开个谷歌浏览器看network里的请求与响应

这步免不了的:必须分析出到底需要哪些数据. 

0
西门飞
西门飞

引用来自“MyKings”的答案

看js中数据是如何获得的,用相同的方法去请求产生数据。
这里可以借助Fiddler2来分析http请求和响应包~ 
2楼正解
0
IamBot
IamBot
towser:抓包分析ajax参数,然后构造一样的参数 - From IRC( http://t.cn/8kJZArX)
返回顶部
顶部