PiFlow 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
PiFlow 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
PiFlow 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
PiFlow 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
PiFlow 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 BSD
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
提 交 者 红薯
适用人群 未知
收录时间 2019-03-18

软件简介

PiFlow 是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。它具有如下特性:

  1. 简单易用:可视化配置流水线,实时监控流水线运行状态,查看日志
  2. 功能强大:提供100+的数据处理组件, 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等,同时集成了微生物领域的相关算法。
  3. 扩展性强:支持自定义开发数据处理组件
  4. 性能优越:基于分布式计算引擎Spark开发
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (9)

加载中
docker部署还是可以跑起来的,也创建了几个流程,数据库的一直没成功过。但碰到问题了不知道去哪里查。
2020/10/23 15:38
回复
举报
打分: 很差
看了上面的评论,我也不敢用了
2020/10/09 11:29
回复
举报
看了上面的评论,我也不敢用了
2020/03/08 15:01
回复
举报
看了上面的评论,我也不敢用了
2019/12/30 21:10
回复
举报
看了上面的评论,我也不敢用了
2019/11/15 17:48
回复
举报
😄,看了上面各位的评论。我也不敢用了
2019/09/27 17:02
回复
举报
这个工具有谁成功部署过的么?
2019/09/10 11:41
回复
举报
红薯 君,确实不好用哎。自己折腾折腾还可以
2019/04/02 12:15
回复
举报
差评,release 版本都不能直接使用。根据readme文档,根本无法使用
2019/03/25 15:58
回复
举报
更多评论
2020/11/30 20:53

开源大数据流水线系统 PiFlow V0.9 发布

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。本次版本更新如下特性: 增加可视化分析功能,包括线性图、柱状图、饼状图、散点图; 增加可编程特性,无缝衔接上下游组件,按需在线开发和调试; 增加多语言特性,支持Scala、Python、Shell等多种语言的编程; 增加Spark依赖jar包管理 Gitee地址...

1
18
2020/09/30 10:47

PiFlow v0.8 发布,大数据流水线系统

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。本次版本更新如下特性: PiFlow-web进行了前后端分离,前端采用Vue架构重构,页面进行了整体优化 增加首页功能,统计资源使用情况和流水线信息 增加了数据处理组件属性配置样例 增加流水线/流水线组定时调度功能 增加自定义组件热插拔功能 增加了...

0
22
2020/06/02 10:12

PiFlow v0.7 发布:大数据流水线系统

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。本次版本更新如下特性: 支持流水线组调度功能 支持数据源注册功能 支持流水线路由功能 优化流水线配置插件,支持标签、右键运行、更换图标、更换线型 优化监控页面 优化数据处理组件 优化启动配置项 Gitee地址: https://gitee.com/opensci/pifl...

5
49
2019/03/18 19:14

PiFlow v0.5 发布:大数据流水线系统

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。它具有如下特性: 简单易用:可视化配置流水线,实时监控流水线运行状态,查看日志 功能强大:提供100+的数据处理组件, 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等,...

8
65
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2019/03/22 15:22

2019年3月22日 开源软件

* [https://k3s.io/](https://k3s.io/ "k8s 减肥版") * [https://github.com/codercom/code-server](https://github.com/codercom/code-server "服务端vscode") * [https://github.com/Microsoft/monaco-editor](https://github.com/Microsoft/monaco-editor "在线vscode") * [https://github.com/krisk/Fuse](https://github.com/krisk/Fuse "模糊查询库") * [https://github.com/markdown-it/markdown-it](https://github.co...

0
0
发表于AI & 大数据专区
2020/03/05 15:18

女神节直播 | 和先荐一起来听六位技术女神讲述她们眼中的智能技术!

一年一度的女神节又来了。 先荐向所有的女性,特别是在技术领域工作的女性提前表示祝福。在这个群体中,女性显得尤为宝贵。 我们很高兴能够联合领英、开源中国、Datafun、Datagirls等合作伙伴,邀请到六位在不同领域从事技术相关研究的优秀女性,在这个节日给大家带来六场干货的技术talk。我们将活动主题定为“She is intelligent, she is cool” 。这些女性代表了一群人,她们不仅智慧,而且美丽、充满魔力。 活动邀请到的技术...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
9 评论
192 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部