如何实现从一个url抓取底下所有url并保存为文本

实践哥 发布于 2015/03/18 14:42
阅读 58
收藏 0

假如说,我输入http://www.taobao.com,底下还有一系列的子url请求。怎么在linux系统上把这些url都抓出来呢?要抓出来进行分析(上面截图是httpwatch的抓包截图)

加载中
0
zheng_pat
zheng_pat
下载页面,正则匹配所有的http请求,然后遍历下载
实践哥
实践哥
不行,这个没办法。是用curl下来,然后匹配http吗?这些没有全部的子url请求。
返回顶部
顶部