授权协议: BSD
开发语言: C# .NET
操作系统: Windows
收录时间: 2009-09-16
提 交 者: 一孑

Soukey 采摘网站数据采集软件是一款基于.Net 平台的开源软件,也是网站数据采集软件类型中唯一一款开源软件。尽管 Soukey 采摘开源,但并不会影响软件功能的提供,甚至要比一些商用软件的功能还要丰富。Soukey 采摘当前提供的主要功能如下:

1.    多任务多线程数据采集,支持 POST 方式;
2.    可采集 Ajax 页面;
3.    支持 Cookie,支持手工登录采集数据;
4.    支持采集事务;
5.    支持数据自动及手工导出,导出格式为:文本、Excel、Access、MSSql、Mysql 等;
6.    支持在线发布数据;
7.    支持导航网址的采集,导航深度不限;
8.    支持自动翻页;
9.    支持文件下载,可以采集图片、Flash 及其他文件;
10. 支持采集结果数据的加工,包括替换、附前缀后缀、截取等操作,支持正则;
11. 采集网址定义不仅支持基本参数定义,也可外接字典数据作为网址参数,进行数据采集;
12. 支持一个任务多实例运行;
13. 提供计划任务,计划任务支持 Soukey 采集任务、外部可执行文件任务、数据库存储过程任务;
14. 计划任务执行周期支持每天、每周及自定义运行间隔;最小单位为:半小时;
15. 支持任务触发器,即可在采集任务完成后,自动触发执行其他任务(包括可执行文件或存储过程)。
16. 完善的日志功能:系统日志、任务执行日志、出错日志等等;

17. 系统提供 MINI 浏览器可用于捕获 Cookie 或 POST 数据;


Soukey 采摘并不限制您是否商用此软件,源码完全开放,

===================以下为更新内容===================================

soukey 采摘正式更名为网络矿工采集器开源版

网络矿工开源版自2010年之后未再进行开发,所以重启开发计划,依旧开源,最新代码还是在 sourceforge 上,感兴趣的朋友可参与其中。

展开阅读全文

网络矿工采集器(原soukey采摘) 的相关资讯

还没有任何资讯

网络矿工采集器(原soukey采摘) 的相关博客

13个.Net开源的网络爬虫

请点击此处输入图片描述 1:.Net开源的跨平台爬虫框架 DotnetSpider Star:430 DotnetSpider这是国人开源的一个跨平台、高性能...

13个.Net开源的网络爬虫

1:.Net开源的跨平台爬虫框架 DotnetSpider Star:430 DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用...

推荐13个.Net开源的网络爬虫

1:.Net开源的跨平台爬虫框架 DotnetSpider Star:430 DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用...

83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索...

83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索...

83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索...

83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索...

83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索...

83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索...

33款可用来抓数据的开源爬虫软件工具

要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜...

网络矿工采集器(原soukey采摘) 的相关问答

还没有任何问答,马上提问

评论 (2)

加载中
根本找不到源码,都是专业版。可以说这是广告。 Soukey采摘
2013/02/05 19:38
回复
举报
更多评论
2 评论
288 收藏
分享
在线直播报名
返回顶部
顶部