Apache Flink 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Flink 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Flink 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
投 递 者 叶秀兰
适用人群 未知
收录时间 2014-08-28

软件简介

Apache Flink 是高效和分布式的通用数据处理平台,是一个流批一体分析引擎。

Apache Flink 声明式的数据分析开源系统,结合了分布式 MapReduce 类平台的高效,灵活的编程和扩展性。同时在并行数据库发现查询优化方案。

要求

  • Unix 类环境(Linux, Mac OS X, Cygwin)

  • git

  • Maven (at least version 3.0.4)

  • Java 6, 7 or 8 (Note that Oracle's JDK 6 library will fail to build Flink, but is able to run a pre-compiled package without problem)

git clone https://github.com/apache/incubator-flink.git
cd incubator-flink
mvn clean package -DskipTests # this will take up to 5 minutes
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (4)

加载中
Apache flink 容错机制 https://segmentfault.com/a/1190000008129552
2017/01/16 14:04
回复
举报
该评论暂时无法显示,详情咨询 QQ 群:912889742
观望中……现在才 0.9.0,还需要时间来磨合。 #Apache Flink#
2015/07/31 13:55
回复
举报
持续关注中!据说 Flink 的延迟是50毫秒以内,流进来的数据可以直接进行计算,岂不是会淘汰掉 storm ? 好伟大的样子。 #Apache Flink#
2015/08/31 18:03
回复
举报
更多评论
发表了资讯
2021/10/15 15:10

官宣|Apache Flink 1.14.0 发布公告

作者 | Stephan Ewen & Johannes Moser 翻译 | 宋辛童 在 Apache 软件基金会近期发布的年度报告中,Apache Flink 再次跻身最活跃项目前 5 名!该项目最新发布的 1.14.0 版本同样体现了其非凡的活跃力,囊括了来自超过 200 名贡献者的 1000 余项贡献。整个社区为项目的推进付出了持之以恒的努力,我们引以为傲。 新版本在 SQL API、更多连接器支持、Checkpoint 机制、PyFlink 等多个方面带来了大量的新特性与改进。其中一个主要的...

3
6
2021/09/30 07:55

Apache Flink 1.14.0 发布,流处理框架

Apache Flink 1.14.0 现已发布,Apache Flink 是一个开源的流处理框架,适用于分布式、高性能的数据流应用,是 Apache 软件基金会最活跃项目前 5 名。此版本在 SQL API、更多连接器支持、检查点和 PyFlink 等领域带来了许多新功能和改进。 统一的批处理和流处理体验 检查点和有界流 通过 FLIP-147,Flink 现在支持任务完成后的检查点,并在有界流的末尾获取最终检查点,确保在作业结束之前提交所有接收器数据(类似于 stop-wit...

1
5
发表了资讯
2021/09/03 16:42

Apache Flink 1.14 新特性预览

摘要: 本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为: 简介 流批一体 Checkpoint 机制 性能与效率 Table / SQL / Python API 总结 此文章为 8 月 7 日的分享整理,1.14 版本最新进展请注意文中的注释说明。 一、简介 1.14 新版本原本规划有 35 个比较重要的新特性以及优化工作,目前已经有 26 个工作完成;5 个任务不确定是...

3
14
2021/08/07 09:10

Apache Flink 1.13.2 发布,流处理框架

Apache Flink 1.13.2 现已发布,这是 Apache Flink 1.13 系列的第二个错误修复版本,包括 127 个修复和小改进。 主要更新内容 ContinuousFileReaderOperator 不应在 close() 上关闭输出 HiveTableSourceITCase.testPartitionFilter 在 AZP 上失败 ParquetInputFormat 不应需要 Parquet 模式作为用户输入 应用程序模式在构建 PackagedProgram 时不设置配置 将所有 “Connection reset by peer” 异常包装为 RemoteTransportExcep...

0
3
发表于数据库专区
2021/05/29 06:27

Apache Flink 1.13.1 发布,流处理框架

Apache Flink 1.13.1 现已发布,这是 Apache Flink 1.13 系列的首个 bug 修复版本,包含 82 个修复和优化,因此官方强烈建议所有用户都升级到 1.13.1。 主要更新内容 修复在 TIMESTAMP_LTZ 列上声明 SOURCE_WATERMARK 时类型不匹配的问题 使结构化类型的字段在构造过程中更加宽松 启用对象重用时,AsyncWaitOperator 应深度复制 StreamElement 修复无法通过使用 kinesis 消费者的保存点停止流媒体工作的问题 修复 flink iceber...

0
1
2021/05/25 06:28

Apache Flink 1.12.4 发布,流处理框架

Apache Flink 1.12.4 现已发布,这是 Apache Flink 1.12 系列的 bug 修复版本,包含 21 个修复和优化,因此官方强烈建议所有用户都升级到 1.12.4。 优化 在 DataStream API 文档中增加 10 分钟的阅读内容 为新的 Kafka 源添加端到端测试案例 在某些情况下,编译作业时遇到的异常的根本原因没有暴露给用户 重构 Python 依赖性管理文档 添加缺少的关于 PyFlink 的命令行选项的文档 过滤所有 jar 中的 maven 元数据 Bug 修复 无法通...

0
3
发表了资讯
2021/05/20 14:33

官宣|Apache Flink 1.13.0 正式发布,流处理应用更加简单高效!

翻译 | 高赟 Review | 朱翥、马国维 Flink 1.13 发布了!Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。 这一版本中,Flink 的一个主要目标取得了重要进展,即让流处理应用的使用像普通应用一样简单和自然。Flink 1.13 新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单,用户仅需要修改并发度即可。 这个版本还包括一系列重要改动使用户可以更好理解流作业的性能。当流作业的性能不及预期的时候,这...

0
13
2021/05/11 07:28

Apache Flink 1.13.0 发布,流处理框架

Apache Flink 1.13.0 现已发布,该版本使流处理应用像其他应用一样自然和简单地管理,只要改变并行进程的数量,就可以像其他应用程序一样扩展流媒体应用程序的运行。 反应式扩展 用户现在可以为 Flink 应用程序配置一个自动缩放器,但要在配置自动缩放器的时候注意到重新缩放的成本。有状态的流媒体应用程序必须在扩展时移动状态。要尝试反应式扩展模式,请添加 scheduler-mode: reactive 配置项,并部署一个应用程序集群(独立...

1
3
2021/04/30 07:13

Apache Flink 1.12.3 发布,流处理框架

Apache Flink 1.12.3 现已发布,这是 Apache Flink 1.12 系列的 bug 修复版本,包含 73 个修复和优化,因此官方强烈建议所有用户都升级到 1.12.3。 优化 在 Datadog 报告中添加柱状图支持 独立 K8s 文档现在会解释备用 JobManagers 的用法 优化打印 K8s 规格 删除 CheckpointConfig 中的冗余 tolerableCheckpointFailureNumber 设置 强化 JobMaster#updateTaskExecutionState() 删除用于 AZP 运行的 Kafka 连接器的控制台日志...

1
3
2021/03/05 07:12

Apache Flink 1.12.2 发布

Apache Flink 1.12.2 已经发布,这是一个 bug 修复版本,包括 83 个修复和优化。 部分更新内容 记录 2.12.8 以后与 Scala 的二进制兼容情况 修复用户代码 CheckpointExceptions 的错误修正 修复在 JDBC 连接器中从 postgres 访问 null 数组时出现 NullPointerException 的问题 修复 EXPLAIN 语句文档中的拼写错误 SerializedValue 的 getByteArray() 缺少空值处理 修复不对齐的检查点恢复可能会导致数据流损坏的问题 修复当操作...

1
6
发表于AI & 大数据专区
2021/01/30 07:49

Apache Flink 1.10.3 发布

Apache Flink 1.10.3 已发布,这是 Apache Flink 1.10 系列的第三个 Bugfix 版本,总共包含 36 个修复程序以及针对 Flink 1.10.2 的小改进。官方强烈建议所有用户升级到 Flink 1.10.3。 Maven <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.3</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streami...

1
5
2021/01/20 07:27

Apache Flink 1.12.1 发布,流处理框架

Apache Flink 1.12 系列的首个 bug 修复版本 1.12.1 已经发布。该版本包含 79 个修复和优化,因此官方强烈建议所有用户都升级到 1.12.1。 Maven 依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.12.1</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>...

1
4
2021/01/06 08:05

Apache Flink 漏洞:通过 REST API 读写远程文件

Apache 邮件列表档案发表了两个漏洞报告,攻击者可通过 REST API 读写远程文件,进行目录遍历攻击。 漏洞发生原因 Flink 在 1.5.1 版本中引入了一个 REST handler,这允许攻击者将已上传的文件写入本地任意位置的文件中,并且可通过一个恶意修改的 HTTP 头将这些文件写入到 Flink 1.5.1 可以访问的任意位置。该漏洞存在于 1.5.1 - 1.11.2。 Flink 在 1.11.0 做了一些改动,导致攻击者可以通过 JobManager 进程的 REST 接口来读取...

3
4
发表于AI & 大数据专区
2020/12/17 08:23

Apache Flink 1.12.0 发布,初步实现批处理和流处理统一运行

Apache Flink 最新稳定版 1.12.0 已发布。Apache Flink 是一个流处理框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 根据发布公告的介绍,新版本显着提升了可用性。此外,新增的功能简化(并统一了)整个 API 堆栈的 Flink 处理。亮点如下: DataStream API 中的批处理执行模式 (Batch Execution Mode) 在 DataStream API 中增加...

0
5
发表于服务端专区
2020/09/19 07:32

Apache Flink 1.11.2 发布,流处理框架

Apache Flink 1.11.2 发布了。Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 此版本是 Apache Flink 1.11 系列的第二个 Bugfix 版本,总共包含 96 个针对 Flink 1.11.0 的修复程序以及改进。 部分更新内容: Bug 使用 RebalancePartitioner 发出数据时,抛出 java.lang.ArrayIndexOutOfBoundsException 在取...

1
5
发表于AI & 大数据专区
2020/08/26 07:28

Apache Flink 1.10.2 发布

Apache Flink 1.10.2 已发布,这是 Apache Flink 1.10 系列的第二个 Bugfix 版本,总共包含 73 个修复程序以及针对 Flink 1.10.1 的小改进。官方强烈建议所有用户升级到 Flink 1.10.2。 Maven <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.2</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streami...

0
0
发表于数据库专区
2020/07/23 07:20

Apache Flink 1.11.1 发布

Apache Flink 1.11.1 已发布,Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 此版本是 Apache Flink 1.11 系列的首个 Bugfix 版本,总共包含 44 个针对 Flink 1.11.0 的修复程序以及改进。官方强烈建议所有用户升级到 Flink 1.11.1。 部分更新内容 Bugfix [FLINK-15414] - 修复 KafkaITCase#prepare 在 trav...

3
3
2020/07/10 07:00

Apache Flink 1.11.0 发布

Apache Flink 社区宣布了 Flink 1.11.0 的发布,该版本的一些重点内容如下: core engine 引入了 unaligned checkpoints,这是对 Flink 的容错机制的重大更改,该机制可改善在高背压下的检查点性能。 一个新的 Source API 通过统一批处理和 streaming 执行以及将内部组件(例如事件时间处理、水印生成或空闲检测)卸载到 Flink 来简化(自定义)sources 的实现。 Flink SQL 引入了对变更数据捕获(CDC)的支持,以轻松使用和解释...

1
3
发表于数据库专区
2020/05/20 07:49

Apache Flink 1.10.1 发布

Apache Flink 1.10.1 已发布,这是 Apache Flink 1.10 系列的首个 Bugfix 版本,总共包含 158 个修复程序以及针对 Flink 1.10.0 的改进。官方强烈建议所有用户升级到 Flink 1.10.1。 注意事项:1.FLINK-16684 更改了 StreamingFileSink 的生成器,使其可以在 Scala 中进行编译。此更改属于源码兼容,但二进制不兼容。如果使用 StreamingFileSink,请在升级之前针对 1.10.1 重新编译用户代码。 2.FLINK-16683 Flink 不再支持使用...

0
3
发表于数据库专区
2020/04/28 07:06

Apache Flink 1.9.3 发布,流处理框架

Apache Flink 1.9.3 已发布,这是 Apache Flink 1.9 系列的第三个 bugfix 版本,总共包含 38 个修复程序以及针对 Flink 1.9.2 的改进。 部分更新内容: [FLINK-14278] - 将 ioExecutor 传入 AbstractDispatcherResourceManagerComponentFactory [FLINK-15908] - 在 1.9.x 文档中添加支持'pip install'的描述 [FLINK-15909] - 在后续 1.9.x 版本中加入 PyPI 的发布流程 [FLINK-15938] - 修复 StreamingJoinOperator 和 Streamin...

2
4
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2018/08/02 16:55

Apache Flink - 命令

$flink命令位置 命令 选项 jar包位置 \ --input 输入文件位置 --out 输出文件位置 ./bin/flink run ./examples/batch/WordCount.jar 在flink目录下运行WordCount.jar ./bin/flink run -p 16 ./examples/batch/WordCount.jar \ --input file:///home/user/hamlet.txt --output file:///home/user/wordcount_out 在flink下运行WordCount.jar,并且输入文件为/home/user/hamlet.txt,输出文件为/home/user/wordcount_out 选项 -p...

0
0
2018/11/06 23:34

Flink 专题1 : 搭建Flink 及Flink 简介

# Flink 专题1 : 搭建Flink 及Flink 简介 图片来源于网络 ## Flink 简介 ![](https://oscimg.oschina.net/oscnet/066ba9bec0f39d83f10e1d2866b494da35d.jpg) Apache Flink® - 基于数据流的有状态计算 ### Flink 的优势: * 流场景使用案例 1. 数据驱动的应用 1. 批流数据分析 1. 数据通道和ETL * 正确性保证 1. Exactly-once状态一致性保证 1. 事件时间处理 1. 复杂的late date处理 更多 * API分层体系 1. 统一SQL支持Stream和...

0
4
发表了博客
2020/07/02 12:48

Apache Flink 是什么?

Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 接下来,我们来介绍一下 Flink 架构中的重要方面。 处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录,所有这些数据都形成一种流。 数据可以被作为 无界 或者 有界 流来处理。 ...

0
0
发表了博客
2021/01/07 17:02

Flink(四)Flink的State

一、State概述 Flink里面有state的概念 State:一般指一个具体的task/operator的状态。State可以被记录,在失败的情况下数据还可以恢复,Flink中有两种基本类型的State:Keyed State,Operator State,他们两种都可以以两种形式存在:原始状态(raw state)和托管状态(managed state) 托管状态:由Flink框架管理的状态,我们通常使用的就是这种。 原始状态:由用户自行管理状态具体的数据结构,框架在做checkpoint的时候,使用byt...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2021/08/21 15:20

Flink Watermark在时间窗口下怎么理解它的功能

如果我使用的是滚动时间窗口,还有必要设置watermark吗,固定时长比如每隔30秒就切割一次数据流处理,即使它是乱序,不还是30秒切割一次吗。我理解watermark应该是和数量窗口配套,我设置50条数据进行切割一次,可能第45条数据就要等好久了,我设置个watermark进行强制提交44条数据进行处理。Flink Watermark在时间窗口下怎么理解它的功能

1
0
2020/09/27 17:51

Flink Table & sql 写入hive不成功

flink 1.11.2版本,使用flink table从kafka获取数据然后写入Hive表中,发现flink table确实可以从kafka中拿到数据,但是却写不进hive,没有报错,请问大佬是怎么回事呢,代码如下:

2
1
2020/08/30 23:49

「十二年,再出发」感恩一路有你

2020年8月31日,开源中国12岁啦~ 从2008年到2020年,从最开始的开源社区、到代码托管平台码云、再到后来的专业软件服务平台众包,开源中国一步一个脚印,在开源事业这条道路上不断奋力前行。开源中国的发展与成长,离不开大家的支持与鼓励。 12岁生日这个值得纪念的日子,我们也收到了来自同行伙伴、行业大佬、OSC用户们美好的祝福。感恩一路有你们的陪伴与支持,未来,让我们继续一同前行,投身开源事业吧~ 12周年庆传送门>...

8
1
2020/09/01 19:10

写了一个flink kafka到mysql流程,启动一直报错

写了一个flink kafka到mysql流程,启动一直报错 "C:\Program Files\Java\jdk1.8.0_181\bin\java.exe" "-javaagent:C:\Program Files\JetBrains\IntelliJ IDEA 2018.2.3\lib\idea_rt.jar=54595:C:\Program Files\JetBrains\IntelliJ IDEA 2018.2.3\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_181\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\deploy.jar;C:\Program Files\Ja...

4
0
发表于数据库专区
2020/07/09 17:39

只查询 yarn上 为Apache Flink的任务, 任务状态为running的任务活在任务为FAILED的任务 ,有人知道脚本咋写吗??

只查询 yarn上 为Apache Flink的任务, 任务状态为running的任务活在任务为FAILED的任务 ,有人知道脚本咋写吗??

1
0
2019/12/17 09:15

win10下如何使用docker安装ZooKeeper、Flink、Kafka?

win10下如何使用docker安装ZooKeeper、Flink、Kafka? 各位前辈能给出一些win10安装ZooKeeper、Flink、Kafka的教程吗?

3
0
2019/09/30 15:52

Flink的TTL是否会对数据一致性造成影响?

Time-To-Live 是否会对 Flink 的 数据一致性 造成影响吗? 比如:程序因为某个原因 回放 到上个 checkpoint 的状态了,然后它的执行结果与没有 回放 的执行结果不一样了。因为如果没有 回放 的话,某些 State 应该因 过时 而清除,但 回放 操作变相 延长 了这部分 State 的 过期时间 。 有办法优化这种情况吗?

1
0
2019/04/08 20:13

关于腾讯云的上传操作

大数据小白,最近在写一个实时读取kafka的topic并实时同步到cos的一个功能,目前实现是先存到本地再每隔5分钟上传到cos,想问问各位大神知不知道cos上传能不能流式上传,读出一条上传一条?

3
0
2019/04/09 20:18

Timer定时任务,在集群cancel掉本地却还在运行?

编写了一个定时任务,用的是Scala语言的Timer,然后放在了flink集群运行,但每次cancel掉任务时,后台还是会运行,日志还是会输出,导致后台任务越来越多,错误日志越来越乱,请问这个后台的Timer怎么干掉啊。嘤嘤嘤。。。。还有这个怎么才能避免让Timer在后台一直执行啊.. 初入职场的弱女子,实在是不知如何解决。。。。。。。各位大神路过请留下宝贵的建议。。。。。。。。。。。感激不尽。。。。。。。。。。。。。。。。。...

3
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
4 评论
261 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部