开源中国

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验,我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等,或者升级到最新版本的IE浏览器。 如果您使用的是 IE 11 或以上版本,请关闭“兼容性视图”。
spidernet首页、文档和下载 - 多线程web爬虫程序 - 开源中国社区
全部项目分类
我要评价
MIT
C#
Windows
nsnail
分享
收藏
47 人收藏
收录时间:2012-04-06
spidernet 详细介绍

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源; 存储于sqlite数据文件.

源码中TODO:标记描述了未完成功能, 希望提交你的代码.


大家对 spidernet 的评论 (全部 2 条评论)
{{repayCom.userName}}
Aoshiliang
我的QQ2274588037 spidernet
temainer
试过了,但是停不下来。。 spidernet
顶部