全部项目分类
GPL
跨平台
分享
收藏
69 人收藏
收录时间:2016-12-20
Gather Platform 详细介绍

Gather Platform 数据抓取平台是一套基于 Webmagic 内核的,具有 Web 任务配置和任务管理界面的数据采集平台,一个轻量级的搜索引擎系统。具有以下功能

  • 根据配置的模板进行数据采集

  • 对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词

  • 在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间

  • 动态字段抽取与静态字段植入

  • 已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据

  • 多数据输出方式:Elasticsearch、JSON文本,Redis

5分钟即可部署完毕,半分钟即可完成一个爬虫,开始数据采集. 不需要进行任何编码就可以完成一个功能强大的爬虫.

爬虫模板配置页面

抓取样例数据效果

爬虫管理页面

数据搜索与管理页面

网页信息查看

关联信息页

根据域名统计数据页面

 

 

具体部署方式参考项目主页README

百度云下载链接密码: v3jm


大家对 Gather Platform 的评论 (全部 4 条评论)
{{repayCom.userName}}
张弛1
虽然目前还不完善,但整体思路很好,可灵活配置通用模板,真是太方便了!如果以后再加入防爬、动态js加载页面爬取、分布式部署等功能,很有希望商用哦。
CHurricane
非常棒的项目,补充现在空缺的应用场景
石岩
采集的数据可以放置多数据目标,如mysql、oracle、hadoop、hbase等。 #Gather Platform#
Gather Platform 相关博客
顶部