网站数据采集软件 NETSpider

GPL
C# .NET
Windows
2014-10-02
kingkoo112

NETSpider网站数据采集软件是一款基于.Net平台的开源软件。
软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.
NETSpider采摘当前提供的主要功能如下:

1.    多任务多线程数据采集,支持POST方式(待定);
2.    可采集Ajax页面;
3.    支持Cookie,支持手工登录采集数据;
4.    支持采集事务;
5.    支持数据自动及手工导出,导出格式为:文本、Excel、Access、MSSql、Mysql等;
6.    支持在线发布数据;
7.    支持导航网址的采集,导航深度不限;
8.    支持自动翻页;
9.    支持文件下载,可以采集图片、Flash及其他文件;
10. 支持采集结果数据的加工,包括替换、附前缀后缀、截取等操作,支持正则;
11. 采集网址定义不仅支持基本参数定义,也可外接字典数据作为网址参数,进行数据采集;
12. 支持一个任务多实例运行;
13. 提供计划任务,计划任务支持NETSpider采集任务、外部可执行文件任务、数据库存储过程任务(还在开发中);
14. 计划任务执行周期支持每天、每周及自定义运行间隔;最小单位为:半小时;
15. 支持任务触发器,即可在采集任务完成后,自动触发执行其他任务(包括可执行文件或存储过程)。
16. 完善的日志功能:系统日志、任务执行日志、出错日志等等;
17. 系统提供MINI浏览器可用于捕获Cookie或POST数据;

NETSpider采集器并不限制您是否商用此软件,源码完全开放,


===================以下为更新内容===================================


1. NETSpider于2014年10月1日开放

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

13个.Net开源的网络爬虫

1:.Net开源的跨平台爬虫框架 DotnetSpider Star:430 DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。 请点击此处...

2018/06/29 22:28
147
0
.htaccess使用说明

.htaccess可以做大量范围的事情,包括:文件夹密码保护、用户自动重新指向、自定义错误页面、变更你的文件扩展名、屏蔽特定的用户IP地址、只允许特定的IP地址、停止目录表以及使用其他文件作...

2012/07/15 12:56
131
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部