网页数据抓取

SandKing 发布于 2011/02/24 11:11
阅读 517
收藏 2

抓取到下载连接,要抓取连接的内容    100M的rar文件  请问怎么实现

加载中
1
祁˧

一、捕获get请求,分析是否是你要捕获的;

二、根据服务器回复的http头信息,保存整个http回复的内容到文件里;

我知道http回复内容有三种:

1、Content-Length:类型

2、Transfer-Encoding: chunked

3、Connection: close

另外如果有Content-Encoding: gzip,还需要解压缩一下

0
数据工厂
数据工厂

网页抓取数据,推荐使用神箭手云爬虫(shenjianshou.cn),很牛逼的云爬虫开发框架,不解释!

返回顶部
顶部