Apache NiFi 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache NiFi 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 企业应用BI商业智能
开发厂商 Apache
地区 不详
提 交 者 红薯
适用人群 未知
收录时间 2015-03-18

软件简介

Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。

架构:

NiFi Architecture Diagram

集群管理器:

NiFi Cluster Architecture Diagram

主界面:

Empty Flow

关键特性包括:

  • 基于web的用户界面

    • 无缝体验设计、控制和监视

  • 高度可配置的

    • 数据丢失容错和保证交付

    • 低延迟和高吞吐量

    • 动态优先级

    • 流可以在运行时修改

    • 背压 Back presure

  • 数据来源

    • 从始至终跟踪数据流

  • 为扩展设计

    • 构建自己数据处理器

    • 支持快速开发和有效的测试

  • 安全

    • SSL,SSH,HTTPS加密内容,等等……

    • 可插拔的基于角色的验证/授权

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (9)

加载中
国外的文档就是不好 全是英文MD
2019/04/12 08:42
回复
举报
mark一下 不懂
2017/07/18 15:24
回复
举报
2015/03/18 08:37
回复
举报
好什么呀 主页上面的链接一个也不能点 是做来 看看的么。。 Apache NiFi
2015/04/01 10:17
回复
举报
下载链接进不来。啥情况 #Apache NiFi#
2015/07/24 23:17
回复
举报
QXU
有人在用这个么?我最近在用,希望有人一起交流 #Apache NiFi#
2015/09/18 09:13
回复
举报
这东西很像Kettle #Apache NiFi#
2016/02/19 09:47
回复
举报
看起来好厉害,没搞明白怎么用 #Apache NiFi#
2016/02/19 13:17
回复
举报
先关注,回头学一下 #Apache NiFi#
2016/07/14 17:49
回复
举报
更多评论
发表于AI & 大数据专区
10/02 13:59

Apache NiFi 1.12.1 发布,数据处理与分发系统

Apache NiFi 1.12.1 发布了。Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 此版本更新亮点包括: 恢复了对包含多个证书的密钥库的支持 Toolkit 再次能够在证书中生成 SAN 条目 如果无法确定文件权限,则 UnpackContent ...

0
2
发表于AI & 大数据专区
08/21 07:23

Apache NiFi 1.12.0 发布,数据处理与分发系统

Apache NiFi 1.12.0 已经发布,这是一个稳定、安全与特性版本。Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 此版本更新亮点包括: 用于编写脚本化记录转换的新处理器实时存在于流程中 暴露 REST 端点,以方便 Promethe...

0
7
发表于服务端专区
07/22 07:59

Apache NiFi Registry 0.7.0 发布

Apache NiFi Registry 0.7.0 发布了。Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统,它为数据流设计,支持数据路由、转换和系统中介逻辑的高度可配置有向图。Apache NiFi Registry 是 Apache NiFi 的一个子项目,提供了用于存储和管理 NiFi 或 MiNiFi 的一个或多个实例中的共享资源。 0.7.0 是一个...

0
3
发表于软件架构专区
04/09 07:48

Apache NiFi Registry 0.6.0 发布

Apache NiFi Registry 0.6.0 发布了。 Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统,它为数据流设计,支持数据路由、转换和系统中介逻辑的高度可配置有向图。Apache NiFi Registry 是 Apache NiFi 的一个子项目,提供了用于存储和管理 NiFi 或 MiNiFi 的一个或多个实例中的共享资源。 0.6.0 是一...

0
2
发表于软件架构专区
02/06 07:53

Apache NiFi 1.11.1 发布,数据处理和分发系统

Apache NiFi 1.11.1 发布了,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 更新亮点: 修复了导致背压(backpressure)在群集配置中无法正常工作的回归问题 修复了导致重启后不强制执行队列优先级的问题 清理错误时改进...

0
10
2019/04/12 07:06

Apache NiFi 1.9.2 发布,数据处理和分发系统

Apache NiFi 1.9.2 已发布,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 该版本有以下更新亮点: 解决了一个内容仓库的 Bug。此 Bug 可能导致底层文件系统上的资源耗尽,将流(flow)停止。 框架代码执行时发生内存不足...

0
15
发表于开发技能专区
2018/10/29 07:18

Apache NiFi 1.8.0 发布,数据处理和分发系统

Apache NiFi 1.8.0 已发布,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 该版本有以下值得关注的更新: 节点之间的安全集群通信现在需要双向 SSL Connections 支持跨群集的负载平衡 可以卸载节点 使用 docker-compose...

2
16
发表于开发技能专区
2018/07/19 07:09

Apache NiFi 1.7.1 发布,数据处理和分发系统

Apache NiFi 1.7.1 已发布,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 该版本有以下值得关注的更新: Fixed an issue with wildcard certificates used to secure a cluster. Wildcard certificates are officially...

1
6
发表于软件架构专区
2018/01/24 10:57

Apache NiFi MiNiFi 0.4.0 发布,改善错误报告

Apache NiFi MiNiFi 0.4.0 已发布,新版本支持与 NiFi 1.5.0 进行通信,更新了配置工具包以帮助用户将 NiFi 模板转换为 MiNiFi 配置,并对错误报告进行了改善。 更多详情可查阅发行说明。 Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。M...

0
0
发表于AI & 大数据专区
2018/01/14 07:53

Apache NiFi 1.5.0 发布,数据处理和分发系统

Apache NiFi 1.5.0 已发布,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 该版本有以下值得关注的更新: 引入新的或改进过的 Processors, Controller Services 以及 Reporting Tasks 新增了与 Kafka 1.0 交互的处理器 ...

1
11
发表于服务端专区
2018/01/04 07:30

Apache NiFi Registry 0.1.0 发布

Apache NiFi Registry 0.1.0 发布,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi Registry,Apache NiFi 的一个子项目,提供了一个互补的共享应用程序进行存储和管理跨一个或多个 NiFi 和/或MiNiFi 实例的资源。 0.1.0 版本是关于存储的最初版本版本化流程的管理,以及基本 API 和初...

1
4
发表了资讯
2017/12/02 07:10

Apache NiFi MiNiFi C++ 0.3.0 发布

Apache NiFi MiNiFi C++ 0.3.0 已发布,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。MiNiFi 是 Apache NiFi 的子项目,提供了一种互补的数据收集方法,补充了 NiFi 在数据流管理方面的核心原则,重点是从数据收集源头收集数据。 该版本提供了几个新的处理器和特性,亮点包括: Creation of Exec...

0
3
发表了资讯
2017/06/10 07:21

Apache NiFi 1.3.0 发布,数据处理和分发系统

Apache NiFi 1.3.0 发布了,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 新版本更新亮点包括: 在计算组件统计信息时寻找时区错误 增加了弃用组件的能力 使用压缩的 RPG 解决可能的 OutOfMemory 异常 解决了可能导致 ...

0
15
发表了资讯
2017/05/20 07:25

Apache NiFi 0.7.3 发布,数据处理和分发系统

Apache NiFi 0.7.3 发布了,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 该版本亮点包括: 可靠性 解决了可能导致存储库损坏的两个问题 解决了可能导致不从内容存储库中删除文件的问题 性能 改进组件验证,以在图形上有...

0
8
发表了资讯
2017/05/13 07:02

Apache NiFi MiNiFi C++ 0.2.0 发布

Apache NiFi MiNiFi C++ 0.2.0 发布了,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 值得关注的更新: 结合 Catch 测试框架和 Google linting 以保证代码质量和增强测试覆盖率 提供对报告任务的支持以及站...

2
10
发表了资讯
2017/05/11 07:20

Apache NiFi 1.2.0 发布,数据处理和分发系统

Apache NiFi 1.2.0 发布了,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。新版本更新内容包括: 核心架构: Now supports running multiple versions of the same components. Makes upgrades and multi-tenant flows e...

0
15
发表了资讯
2017/02/26 07:34

Apache NiFi 1.1.2 和 0.7.2 发布,数据处理和分发系统

Apache NiFi 1.1.2 和 0.7.2 发布了,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。它为数据流设计,支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 Apache NiFi 1.1.2 版本完整更新内容请查看此处,主要更新包括: Minor user 身份格式化重构以修复 NullPointerException。 unit tes...

0
22
发表了资讯
2016/12/28 07:28

Apache NiFi 1.1.1 发布,数据处理和分发系统

数据处理和分发系统 Apache NiFi 1.1.1 发布了。 1.1.1 版本值得关注的更新: 修复了 Provenance Repo 启动中的 NullPointerException 问题 修复了 Provenance Repo 在磁盘空间用完时不会自动恢复的问题 在“管理指南”中添加了缺少的图片 修复与 Controller Services 相关的模板中的范围问题 修复了与远程进程组相关的策...

2
12
发表了资讯
2016/12/06 07:59

Apache NiFi - MiNiFi 0.1.0 发布

Apache NiFi - MiNiFi 0.1.0 发布了,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 值得关注的更新: 将核心组件依赖性升级到 NiFi 1.x 基线 HTTP 站点到站点的包含 在 MiNiFy YAML 配置中增加了对 NiFi...

0
12
发表了资讯
2016/12/05 07:12

Apache NiFi MiNiFi C++ 0.1.0 发布

Apache NiFi MiNiFI C++ 0.1.0 发布了,Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 值得关注的更新: 引入 ExecuteProcess 处理器 转换到 CMake 构建系统 框架支持用于产生来源 警告: 此版本表示 MiNi...

0
10
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/04/15 17:32

NiFi 资料

NiFi 资料大全 https://my.oschina.net/u/2306127/blog/858096

0
0
2019/05/09 12:29

0625-6.2.0-Hello NiFi-第一个NiFi例子

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1 文档编写目的 Fa...

0
0
发表了博客
03/03 09:41

Apache NiFi 概述

Apache NiFi概述 Apache NiFi团队dev@nifi.apache.org 什么是Apache NiFi? 简单地说,NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用,但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在,因为企业有多个系统,其中一些系统创建数据,一些系统消耗数据。已...

0
0
2019/05/15 15:36

NIFI Kerberos 认证

NIFI Kerberos 认证开启 环境准备 操作系统:ubuntu 16 NIFI:1.9.0 ,并可以正常启动 Kerberos service 安装完毕,NIFI(单节点)所在服务器上安装Kerberos clien 由于NIFI帐号密码验证只支持HTTPS请求,所有我们...

0
0
发表于软件架构专区
05/27 21:02

聊聊nifi的BinlogEventListener

序 本文主要研究一下nifi的BinlogEventListener BinlogEventListener nifi-1.11.4/nifi-nar-bundles/nifi-cdc/nifi-cdc-mysql-bundle/nifi-cdc-mysql-processors/src/main/java/org/apache/nifi/cdc/mysql/event......

0
0
发表于数据库专区
2018/12/03 15:16

Nifi 的简单使用

Nifi 的使用 Nifi 是一个开源的数据处理工具,可以通过简单的Processor对数据流进行处理。1.8版本内置了286个Processor,可以处理大部分的应用场景。 Nifi 的一些核心概念: FlowFile:信息流,每一个数据流在系统...

0
1
发表于软件架构专区
05/28 22:01

聊聊nifi的AbstractBinlogTableEventWriter

序 本文主要研究一下nifi的AbstractBinlogTableEventWriter AbstractBinlogTableEventWriter nifi-1.11.4/nifi-nar-bundles/nifi-cdc/nifi-cdc-mysql-bundle/nifi-cdc-mysql-processors/src/main/java/org/apach......

0
0
发表了博客
2019/08/04 22:10

NiFi之Processor配置

Processor(处理器)之配置 选择一个Processor,比如ExecuteSQL,从它的名字可以看出该处理器的功能就是去执行一个sql(当然是执行的该sql必须要有返回值的),下面就以ExecuteSQL做示例说明,在画布上添加ExecuteSQL处理器,选中右键查看设置如图 1. configure 配置(主要说configure,其它的大家自行点点试试) 选择中处理...

0
0
发表了博客
2019/04/19 15:50

NiFi之ExecuteScript处理器

很详细的应用指南 Part 1 - 介绍 NiFi API 和 FlowFiles 从incoming queue得到flow file 创建一个新的 flow files 与 flow file attributes一起工作 转换 flow file 日志 Logging https://my.oschina.net/u/23061......

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2019/07/17 11:57

NIFI 运行一个处理器后牵一个success到一个logmessage处理器,那这个日志处理器是否能看到执行的日志,文件在哪?

NIFI 运行一个处理器后牵一个success到一个logmessage处理器,那这个日志处理器是否能看到执行的日志,文件在哪?

1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
9 评论
457 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部