开源中国

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验，我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等，或者升级到最新版本的IE浏览器。如果您使用的是 IE 11 或以上版本，请关闭“兼容性视图”。

继续访问

Gather Platform首页、文档和下载 - 数据采集平台 - 开源中国社区

Float_left

全部项目分类

我要评价

7.8

数据采集平台 Gather Platform

网络爬虫

授权协议: GPL

开发语言: Java JavaScript HTML/CSS 查看源码»

操作系统: 跨平台

普惠云计算，云服务器降破底价，30元/月起

收录时间：2016-12-20

Gather Platform 详细介绍

Gather Platform 数据抓取平台是一套基于 Webmagic 内核的，具有 Web 任务配置和任务管理界面的数据采集平台，一个轻量级的搜索引擎系统。具有以下功能

根据配置的模板进行数据采集
对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词
自定义任务循环执行周期，一次定义，无人值守，自动采集
在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间
动态字段抽取与静态字段植入
已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据
多数据输出方式：Elasticsearch、JSON文本，Redis

5分钟即可部署完毕,半分钟即可完成一个爬虫,开始数据采集. 不需要进行任何编码就可以完成一个功能强大的爬虫.

爬虫模板配置页面

抓取样例数据效果

爬虫管理页面

循环任务监测

数据搜索与管理页面

网页信息查看

关联信息页

根据域名统计数据页面

具体部署方式参考项目主页README

百度云下载链接密码： v3jm

Gather Platform

选择将代码托管在码云
你还在等什么

可能是中国最大最好的代码托管平台

软件首页软件文档官方下载极速下载

大家对 Gather Platform 的评论 (全部 13 条评论)

张弛1

虽然目前还不完善，但整体思路很好，可灵活配置通用模板，真是太方便了！如果以后再加入防爬、动态js加载页面爬取、分布式部署等功能，很有希望商用哦。

采集的数据可以放置多数据目标，如mysql、oracle、hadoop、hbase等。 #Gather Platform#

CHurricane

非常棒的项目，补充现在空缺的应用场景

watermooon

不错

蓝天白云_123

赞

评价

Gather Platform 相关博客

gsh199449

使用Gather Platform进行大规模新闻语料采集

Gather Platform 数据抓取平台是一套基于 Webmagic 内核的，具有 Web 任务配置和任务管理界面的数据采集平台，一个轻量级的搜索引擎系统。具有以下功能根据配置的模板进行数据采集对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间动态字段抽取与静态字段植入已抓取数据的管理,包括:搜索,增...

ville

数据采集(一)

数据采集词语定义唯一身份浏览量 (唯一浏览量) 唯一浏览量（如最常见内容报告中所示）会汇总由同一用户在同一会话期间生成的综合浏览量。唯一浏览量表示该页被浏览（一次或多次）期间的会话次数简单的来说：用户打开page1，唯一身份浏览量(以下简称“唯”) +1；刷新page1，唯 +0；从page1进入page2，唯 +1；从page2再回到page1，唯 +0。同一会话就是同一个访问页 ...

ville

数据采集(五)图片区域(IMG)事件

本样例主要是提供图片事件跟踪采集的脚本例字。样例一采集内容点击需要采集“跳转url” 和"图片地址src" 移入 / 移出需要采集"图片地址src"数据采集位置：首页 ( I-00:BAN-01) 采集事件：click, hin(Mouseover) , hout(Mouseout) 采集代码： click _tracker.track( 'send' , { hit...

ville

数据采集（三）之网页跟踪

1. 概览 “网页”是指可以独立于网页进行跟踪的操作。 2. 实现可以使用 send 命令并将 hitType 指定为 pageview 来发送事件匹配。针对 event 匹配类型的 send 命令调用使用以下标记： _tracker.track( 'send' , 'pageview' , [ page ] , [ fieldsObject ] ); 3. 网页参数定典表下...

ville

数据采集(七)输入域(F)事件

主要提供输入域跟踪采集的脚本样例样例一采集内容点击需要采集输入字段内容采集位置：首页 ( I-00:G-01) 采集事件：click 采集代码： click _tracker.track( 'send' , { hitType: 'event', eventCategory: 'F', eventAction: 'click', eventLabel...

数据采集---前台往后台传送数据的几种方式

1. 前台数据为单一数据 id=1&name=zhangsan 后台采用相同的字段名称或属性接收方法(Integer id, String name) or class ...

tanj123

数据采集搜索平台 Gather Platform V0.6

新功能：新增ajax网页渲染器，ajax网页轻松采集；升级ES至5.2版本；修正一些BUG；预编译版本及相关依赖下载地址: https://pan.baidu.com/s/1i4IoEhB 密码:v3jm 。在线文档地址：https://gsh199449.github.io/gather_platform_pages/ Github地址：https://github.com/gs...

可乐瓶的小辣椒

如何高效率采集并分析数据

本文将围绕数据采集的三大要点、如何让分析更有价值、以及数据分析思维三部分展开，感兴趣的朋友一起来了解一下。

数据工厂

如何采集网页数据并发布到Discuz

本文主要讲解了如何使用神箭手云爬虫采集网页上的数据并发布到你的Discuz网站。

ville

数据采集(六)导航区域(NAV)事件跟踪

主要提供导航事件跟踪采集的脚本样例样例一采集内容点击需要采集“跳转url” 和 label名称。采集位置：首页 ( I-00:NAV-01) 采集事件：click 采集代码： click _tracker.track( 'send' , { hitType: 'event', eventCategory: 'NAV', eventAction: 'click...

_夜枫

《海量日志数据分析与应用》之数据采集

文章中提到的链接如下： 1、更多数据集成方案，详见：https://data.aliyun.com/solution/cdp 2、DataX开源项目地址：https://github.com/alibaba/DataX 3、DataX工具包下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 4、使用cr...

swingcoder

八爪鱼和发源地数据采集云平台及数据交易平台生存现状

做数据挖掘时可以参考一下这个公司产品的设计和思路。

数据工厂

如何在#神箭手云爬虫#上采集网页数据到WeCenter网站

本文主要讲解了在神箭手云爬虫上，如何进行数据采集，并将采集的数据发布到WeCenter CMS网站系统中。

xakzp

Web数据采集（抓取）介绍

什么是Web数据采集？ Web数据采集（Webscraping，也叫Web数据抓取）指的是从网站上提取信息的一种计算机软件技术。Web数据抓取程序模拟浏览器的行为，能将可以在浏览器上显示的任何数据提取出来，因此也称为屏幕抓取（Screenscraping）。Web数据抓取的最终目的是将非结构化的信息从大量的网页中抽取出来以结构化的方式存储（CSV、 JSON、XML、ACCESS、MSSQL...

openfea

大数据系统数据采集产品的架构分析

任何完整的大数据平台，一般包括以下的几个过程：数据采集数据存储数据处理数据展现（可视化，报表和监控）其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：数据源多种多样数据量大，变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量我们今天就来看看当前可用的一些数据采集的产品，重点关注一些它们是如何做到...