开源中国

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验，我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等，或者升级到最新版本的IE浏览器。如果您使用的是 IE 11 或以上版本，请关闭“兼容性视图”。

继续访问

Gather Platform首页、文档和下载 - 数据采集平台 - 开源中国社区

全部项目分类

我要评价

7.9

数据采集平台 Gather Platform

网络爬虫

授权协议: GPL

开发语言: Java JavaScript HTML/CSS 查看源码»

操作系统: 跨平台

普惠云计算，云服务器降破底价，30元/月起

收录时间：2016-12-20

Gather Platform 详细介绍

Gather Platform 数据抓取平台是一套基于 Webmagic 内核的，具有 Web 任务配置和任务管理界面的数据采集平台，一个轻量级的搜索引擎系统。具有以下功能

根据配置的模板进行数据采集
对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词
自定义任务循环执行周期，一次定义，无人值守，自动采集
在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间
动态字段抽取与静态字段植入
已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据
多数据输出方式：Elasticsearch、JSON文本，Redis

5分钟即可部署完毕,半分钟即可完成一个爬虫,开始数据采集. 不需要进行任何编码就可以完成一个功能强大的爬虫.

爬虫模板配置页面

抓取样例数据效果

爬虫管理页面

循环任务监测

数据搜索与管理页面

网页信息查看

关联信息页

根据域名统计数据页面

具体部署方式参考项目主页README

百度云下载链接密码： v3jm

Gather Platform

选择将代码托管在码云
你还在等什么

可能是中国最大最好的代码托管平台

软件首页软件文档官方下载极速下载

大家对 Gather Platform 的评论 (全部 9 条评论)

张弛1

虽然目前还不完善，但整体思路很好，可灵活配置通用模板，真是太方便了！如果以后再加入防爬、动态js加载页面爬取、分布式部署等功能，很有希望商用哦。

采集的数据可以放置多数据目标，如mysql、oracle、hadoop、hbase等。 #Gather Platform#

CHurricane

非常棒的项目，补充现在空缺的应用场景

watermooon

不错

蓝天白云_123

赞

评价

Gather Platform 相关博客

gsh199449

使用Gather Platform进行大规模新闻语料采集

Gather Platform 数据抓取平台是一套基于 Webmagic 内核的，具有 Web 任务配置和任务管理界面的数据采集平台，一个轻量级的搜索引擎系统。具有以下功能根据配置的模板进行数据采集对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间动态字段抽取与静态字段植入已抓取数据的管理,包括:搜索,增...

数据采集---前台往后台传送数据的几种方式

1. 前台数据为单一数据 id=1&name=zhangsan 后台采用相同的字段名称或属性接收方法(Integer id, String name) or class ...

tanj123

数据采集搜索平台 Gather Platform V0.6

新功能：新增ajax网页渲染器，ajax网页轻松采集；升级ES至5.2版本；修正一些BUG；预编译版本及相关依赖下载地址: https://pan.baidu.com/s/1i4IoEhB 密码:v3jm 。在线文档地址：https://gsh199449.github.io/gather_platform_pages/ Github地址：https://github.com/gs...

可乐瓶的小辣椒

如何高效率采集并分析数据

本文将围绕数据采集的三大要点、如何让分析更有价值、以及数据分析思维三部分展开，感兴趣的朋友一起来了解一下。

数据工厂

如何采集网页数据并发布到Discuz

本文主要讲解了如何使用神箭手云爬虫采集网页上的数据并发布到你的Discuz网站。

_夜枫

《海量日志数据分析与应用》之数据采集

文章中提到的链接如下： 1、更多数据集成方案，详见：https://data.aliyun.com/solution/cdp 2、DataX开源项目地址：https://github.com/alibaba/DataX 3、DataX工具包下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 4、使用cr...

swingcoder

八爪鱼和发源地数据采集云平台及数据交易平台生存现状

做数据挖掘时可以参考一下这个公司产品的设计和思路。

xakzp

Web数据采集（抓取）介绍

什么是Web数据采集？ Web数据采集（Webscraping，也叫Web数据抓取）指的是从网站上提取信息的一种计算机软件技术。Web数据抓取程序模拟浏览器的行为，能将可以在浏览器上显示的任何数据提取出来，因此也称为屏幕抓取（Screenscraping）。Web数据抓取的最终目的是将非结构化的信息从大量的网页中抽取出来以结构化的方式存储（CSV、 JSON、XML、ACCESS、MSSQL...

数据工厂

如何在#神箭手云爬虫#上采集网页数据到WeCenter网站

本文主要讲解了在神箭手云爬虫上，如何进行数据采集，并将采集的数据发布到WeCenter CMS网站系统中。

openfea

大数据系统数据采集产品的架构分析

任何完整的大数据平台，一般包括以下的几个过程：数据采集数据存储数据处理数据展现（可视化，报表和监控）其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：数据源多种多样数据量大，变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量我们今天就来看看当前可用的一些数据采集的产品，重点关注一些它们是如何做到...

数据工厂V

六大网页数据采集器特色对比

分析对比目前市场上主流的几大网页数据采集器。对需要进行数据采集的人有很大帮助。

李航421

携程移动端数据采集及应用

携程移动端数据采集及应用 2013年，携程移动端“拇指 + 水泥”战略启动，在移动端web/hybrid /native app不同环境下的用户行为数据采集，以及基于数据的应用场景分享。此次分享的内容主要偏向前端，在前端是如何通过数据在前端性能、JS错误预警等方面来“说话”的，通过数据来驱动我们哪些地方可以做得更好，以及完成之后的结果... 详细解读和小伙伴们一起来吐槽

数据工厂

六大网页数据采集器特色对比

对比分析目前市场上六大主流的网页数据采集器。

八爪鱼采集器

国内6大常见免费数据采集器特点分析

目前，网上比较流行的免费采集器有这么几个：火车头，海纳，ET，三人行,八爪鱼，狂人。这里的免费是相对的，如果是个人进行常规的采集，那么免费版的一般都够用。如果针对于企业用户，一般都要付费了。让我们来看一下这些免费的采集器各自都有什么特点吧！

观澜而索源

社会化海量数据采集爬虫框架搭建

随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？ 1、打开浏览器，输入网址url访问页面内容。 2、复制页面内容的标题、作者、内容。 3、存储到文本文...

     