开源中国

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验,我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等,或者升级到最新版本的IE浏览器。 如果您使用的是 IE 11 或以上版本,请关闭“兼容性视图”。
Gather Platform首页、文档和下载 - 数据采集平台 - 开源中国社区
全部项目分类
GPL
跨平台
分享
收藏
298 人收藏
收录时间:2016-12-20
Gather Platform 详细介绍

Gather Platform 数据抓取平台是一套基于 Webmagic 内核的,具有 Web 任务配置和任务管理界面的数据采集平台,一个轻量级的搜索引擎系统。具有以下功能

  • 根据配置的模板进行数据采集

  • 对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词

  • 自定义任务循环执行周期,一次定义,无人值守,自动采集

  • 在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间

  • 动态字段抽取与静态字段植入

  • 已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据

  • 多数据输出方式:Elasticsearch、JSON文本,Redis

5分钟即可部署完毕,半分钟即可完成一个爬虫,开始数据采集. 不需要进行任何编码就可以完成一个功能强大的爬虫.

爬虫模板配置页面

抓取样例数据效果

爬虫管理页面

循环任务监测

数据搜索与管理页面

网页信息查看

关联信息页

根据域名统计数据页面

 

 

具体部署方式参考项目主页README

百度云下载链接密码: v3jm

Gather Platform

选择将代码托管在码云
你还在等什么

可能是中国最大最好的代码托管平台


大家对 Gather Platform 的评论 (全部 9 条评论)
{{repayCom.userName}}
张弛1
虽然目前还不完善,但整体思路很好,可灵活配置通用模板,真是太方便了!如果以后再加入防爬、动态js加载页面爬取、分布式部署等功能,很有希望商用哦。
石岩
采集的数据可以放置多数据目标,如mysql、oracle、hadoop、hbase等。 #Gather Platform#
CHurricane
非常棒的项目,补充现在空缺的应用场景
watermooon
不错
Gather Platform 相关博客
顶部