评论删除后，数据将无法恢复
Gather Platform 数据抓取平台是一套基于 Webmagic 内核的，具有 Web 任务配置和任务管理界面的数据采集平台，一个轻量级的搜索引擎系统。具有以下功能
-
根据配置的模板进行数据采集
-
对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词
-
自定义任务循环执行周期，一次定义，无人值守，自动采集
-
在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间
-
动态字段抽取与静态字段植入
-
已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据
-
多数据输出方式：Elasticsearch、JSON文本，Redis
5分钟即可部署完毕,半分钟即可完成一个爬虫,开始数据采集. 不需要进行任何编码就可以完成一个功能强大的爬虫.
爬虫模板配置页面
抓取样例数据效果
爬虫管理页面
循环任务监测
数据搜索与管理页面
网页信息查看
关联信息页
根据域名统计数据页面
具体部署方式参考项目主页README
百度云下载链接密码： v3jm
加载中
删除一条评论
数据采集搜索平台 Gather Platform V0.6 发布
新功能： 新增ajax网页渲染器，ajax网页轻松采集； 升级ES至5.2版本； 修正一些BUG； 预编译版本及相关依赖下载地址: https://pan.baidu.com/s/1i4IoEhB 密码:v3jm 。 在线文档地址：https:/...
数据采集平台 Gather Platform V0.5 发布
Gather Platform V0.5 发布了，新功能： 新增定时任务循环，一次提交，无人值守，自动采集； 新增jetty支持，不再强制使用tomcat作为容器； 优化模板无法采集到数据时的提示； 修正去重策略的...
Gather Platform V0.4 新增任务批量管理
Gather Platform V0.4 发布了，新功能： 新增爬虫模板批量启动，在爬虫模板管理界面可以勾选多个爬虫批量启动。 修复BUG： 修正模态框堆叠问题； 修正更新webmagic版本带来的jar包冲突问题；...
Gather Platform 数据采集与分析平台 0.3 发布
Gather Platform 数据抓取平台是一套基于Webmagic内核的,具有Web任务配置和任务管理界面的数据采集与搜索平台.具有以下功能 根据配置的模板进行数据采集 在不配置采集模板的情况下自动检测网...
Gather Platform 0.2 发布，数据采集平台
此版本中新增功能如下： 数据导出功能，方便进行后期数据分析； 更新了爬虫模板配置系统，简化配置； 升级Webmagic到0.6.0版本； 修复了如下BUG： 修复了不使用ES时的空指针问题； 去除示例模...
没有更多内容
加载失败，请刷新页面
没有更多内容
暂无问答
GATHER_STATS_JOB encountered errors. ORA-20000
原
[size=130%]DBMS_STATS: GATHER_STATS_JOB encountered errors. ORA-20000: Unable to set values for table DBMS_TABCOMP_TEMP_UNCMP: does not exist or insufficient privileges [size=13...
php采集远程文章简单类
转
<?php /** * 采集类 * @author Milkcy QQ:9877633 * @copyright (C) 2012-2015 TCCMS.COM * @lastmodify 2012-07-10 14:00 */ class gather { public $pagestring = ''; private $db; functi...
python利用utf-8编码判断中文英文字符(转)
转
下面这个小工具包含了判断unicode是否是汉字、数字、英文或者其他字符，全角符号转半角符号，unicode字符串归一化等工作。 #!/usr/bin/env python # -*- coding:GBK -*- """汉字处理的工具:...
php读取局域网共享文件
转
示例代码: <?php $filename = "//192.168.1.31/pic_gather/figure/1.png"; $size = filesize($filename); echo $size; ?> 上述代码实现的是，读取公用电脑下共享的pic_gather/figure路径...
Turtle渲染器之最终聚集
转
导言 Final Gather(最终聚集)不需要光子即可算出间接光，可以理解它是将场景中所有物体都当作光源的算法.它一般被用于产生真实均匀的面积光线。 在这个场景中，我们准备了10个NURBS球体和一个...
oracle用dbms_stats包收集统计信息
原
dbms_stats包里最常用的就是如下4个存储过程： gather_table_stats:用于收集目标表、目标表的列和目标表上的索引的统计信息。 gather_index_stats：用于收集指定索引的统计信息。 gather_sch...
oracle用dbms_stats包收集统计信息
原
dbms_stats包里最常用的就是如下4个存储过程： gather_table_stats:用于收集目标表、目标表的列和目标表上的索引的统计信息。 gather_index_stats：用于收集指定索引的统计信息。 gather_sch...
oracle用dbms_stats包收集统计信息
原
dbms_stats包里最常用的就是如下4个存储过程： gather_table_stats:用于收集目标表、目标表的列和目标表上的索引的统计信息。 gather_index_stats：用于收集指定索引的统计信息。 gather_sch...
没有更多内容
加载失败，请刷新页面
软件作者
同类软件
gugu - 金融/投资领域数据分析及量化工具
收藏 13
cetty - 基于事件分发的爬虫框架
收藏 8
AntNest - 简明飞快的异步爬虫框架
收藏 77
Ferret - 声明式 Web 爬虫系统
收藏 46
AiPa - Java 多线程爬虫框架
收藏 69
VW-Crawler - Java 爬虫框架
收藏 18
评论(15)