PiFlow 是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。它具有如下特性：
大数据流水线系统πFlow V1.8版本正式发布，本次更新包含以下内容： 新增特性： 新增对非结构化数据的解析能力。 已有功能优化： Server端H2数据库； 自定义Python算子； 模板功能； 流水线。 一、πFlow新增对非结构化数据的解析能力 πFlow新增非结构化解析组件以支持用户从原始非结构化文档中提取结构化内容。这些组件将文档分解为 Title、NarrativeText 和 ListItem 等元素，使用户能够决定要为其特定应用程序保留哪些内容。...
大数据流水线系统PiFlow V1.5版本正式发布，该版本新增多语言组件扩展功能：基于容器技术，通过将领域模型算法内置于容器内部，打通上下游数据通路，实现不同语言（Python/R等）组件扩展。 一、Python组件开发指南 1. 导入data_connect.py中的依赖函数DataConnect； 2. 自定义输入端口，用于数据读取（如有多个输入源，可多次调用）； 3. 自定义输出端口，用于数据输出（如有多个输出源，可多次调用）； 4. 自定义算法属性。如果...
PiFlow 是一个基于分布式计算框架 Spark 开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性： 数据源改版，支持组件绑定； 优化日志保存方式，避免出现日志丢失问题，支持按天保存； web改成war包，取消对6002端口的使用； 新增组件： TDengine组件 TiDB组件 OceanBase组件 openlookeng组件 GitHub 地址： https:...
PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性： 新增用户管理功能，支持管理用户，查看用户操作记录、修改密码等； 兼容MySQL 8.0及以上版本； 增加了ClickHouse和Flume等组件; 修改已知Bug修复： 自动初始化组件问题 流水线状态不一致问题 首次启动IP无法获取问题 首次...
PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性： 新增交互式编程功能，支持在线编写代码并进行调试； 新增全局参数功能，支持定义全局参数，并在流水线中全局可用； 优化后端代码，统一持久化框架MyBatis； 修复已知Bug； GitHub地址： https://github.com/cas-bigdatala...
PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性： 增加了运行单个数据处理组件、当前及以下数据处理组件功能； 增加了测试数据管理功能； 增加了数据处理组件显隐功能； 增加了表格组件，支持数据下载； 增加了Sql编辑器； 针对页面友好性进行了优化； GitHub地址： http...
PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性： 增加可视化分析功能，包括线性图、柱状图、饼状图、散点图； 增加可编程特性，无缝衔接上下游组件，按需在线开发和调试； 增加多语言特性，支持Scala、Python、Shell等多种语言的编程； 增加Spark依赖jar包管理 Gitee地址...
PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性： PiFlow-web进行了前后端分离，前端采用Vue架构重构，页面进行了整体优化 增加首页功能，统计资源使用情况和流水线信息 增加了数据处理组件属性配置样例 增加流水线/流水线组定时调度功能 增加自定义组件热插拔功能 增加了...
PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性： 支持流水线组调度功能 支持数据源注册功能 支持流水线路由功能 优化流水线配置插件，支持标签、右键运行、更换图标、更换线型 优化监控页面 优化数据处理组件 优化启动配置项 Gitee地址： https://gitee.com/opensci/pifl...
PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。它具有如下特性： 简单易用：可视化配置流水线，实时监控流水线运行状态，查看日志 功能强大：提供100+的数据处理组件， 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，...
评论