Apache Flink 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Flink 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Flink 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
投 递 者 linuxhitlover
适用人群 未知
收录时间 2014-08-28

软件简介

Apache Flink 是高效和分布式的通用数据处理平台,是一个流批一体分析引擎。

Apache Flink 声明式的数据分析开源系统,结合了分布式 MapReduce 类平台的高效,灵活的编程和扩展性。同时在并行数据库发现查询优化方案。

要求

  • Unix 类环境(Linux, Mac OS X, Cygwin)

  • git

  • Maven (at least version 3.0.4)

  • Java 6, 7 or 8 (Note that Oracle's JDK 6 library will fail to build Flink, but is able to run a pre-compiled package without problem)

git clone https://github.com/apache/incubator-flink.git
cd incubator-flink
mvn clean package -DskipTests # this will take up to 5 minutes
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(5) 发布并加入讨论🔥
2023/04/26 13:23

Apache Flink ML 2.2.0 发布公告

来源 | Apache Flink 官方博客 翻译 | 林东 Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.2.0 版本正式发布!本次发布的版本重点添加了 Flink ML 中的特征工程算法。现在 Flink ML 包含了 33 个开箱可用的特征工程算法,可以支持很多常见的特征工程任务。 随着这些算法的添加,我们相信 Flink ML 已经准备好用于需要特征工程的生产作业,例如预处理离线和在线机器学习任务的输入数据。 我们鼓励您下载该版本 [1] 并通过 Fl...

0
2
发表了资讯
2022/11/03 07:38

官宣|Apache Flink 1.16 发布公告

Apache Flink 持续保持高速发展,是 Apache 最活跃的社区之一。Flink 1.16 共有 240 多个 Contributor 热情参与,共完成了 19 个 FLIP [1] 和 1100 多个 issue,给社区带来非常多振奋人心的功能。 Flink 已经是流计算领域的领跑者,流批一体的概念逐渐得到大家的认可,并在越来越多的公司成功落地。之前的流批一体更强调统一的 API 和统一的计算框架。今年,在此基础上,Flink 推出了 Streaming Warehouse [2],进一步升级了流批...

0
7
发表了资讯
2022/09/29 07:26

Apache Flink 1.14.6 发布,流处理框架

Apache Flink 1.14.6 现已发布,这是一个错误修复版本。包括针对 Flink 1.14 的 34 个错误修复、漏洞修复和小改进。有关所有更改的完整列表可参阅:JIRA。官方强烈建议所有用户升级到 Flink 1.14.6。 具体更新内容包括: Bug [FLINK-24862]- 用户定义的 hive udaf/udtf 不能在 hive dialect 中正常使用 [FLINK-25454]- 吞吐量计算器中的负数时间 [FLINK-27041]- 如果任何主题分区为空,则批处理模式下的 KafkaSource 会失败 [F...

0
4
发表了资讯
2022/09/13 08:40

Apache Flink 关于 Akka 许可变更的声明

Akka 是一个能够简化 JVM 上并发和分布式应用的构建的工具包和运行时。该项目宣布了许可证的变更,由 Apache 2.0 更换为 BSL v1.1(Business Source License)。BSL 是一个 "源代码可用" 的许可证,未来开发者如需在生产中使用 Akka(2.7+ 版本)都需要获得 Lightbend 公司的商业许可。但 Akka 的商业许可将免费提供给年收入低于 2500 万美元的公司,而且 BSL 许可下的任何新代码都将在三年后恢复到 Apache 2.0 许可。 Apache F...

6
2
发表了资讯
2022/08/26 07:02

Apache Flink 1.15.2 发布,流处理框架

Apache Flink 1.15.2 现已发布,这是 Flink 1.15 系列的第二个错误修复版本;此版本包括 30 个错误修复、漏洞修复和 Flink 1.15 相关的一些小改进。Apache Flink 是一个开源的流处理框架,适用于分布式、高性能的数据流应用。 具体更新内容如下: Bug [ FLINK-25097 ] - 当过滤条件为布尔类型时,内联接的错误 [ FLINK-26931 ] - Pulsar sink 的 producer 名称应该是唯一的 [ FLINK-27399 ] - Pulsar 连接器未正确设置开始消耗位...

0
1
发表了资讯
2022/07/28 07:24

Apache Flink Kubernetes Operator 1.1.0 发布

两个月前,Apache Flink 推出第一个可用于生产环境的 Apache Flink Kubernetes Operator 版本以来(1.0 版本),社区一直在努力改善该工具的功能。 随着 Flink Kubernetes Operator 1.1 的发布,新版本又带来了一些新功能,改善了生产环境中管理 Flink 资源和 Operator 本身的整体体验。 版本亮点 用于应用和工作状态变化的 Kubernetes 事件 引入了一系列与生命周期管理、Kubernetes API 服务器访问和 Operator 本身所基于的 Ja...

1
9
发表了资讯
2022/05/08 10:24

官宣|Apache Flink 1.15 发布公告

作者 | Joe Moser & 高赟 翻译 | 高赟 Apache Flink,作为 Apache 社区最活跃的项目之一 <sup>[1]</sup>,一直秉承积极开放的态度不断进行技术深耕。在此我们很荣幸的发布 Flink 1.15 版本,并和大家分享这个版本令人振奋的一些功能和改进! Apache Flink 核心概念之一是流 (无界数据) 批 (有界数据) 一体。流批一体极大的降低了流批融合作业的开发复杂度。在过去的几个版本中,Flink 流批一体逐渐成熟,Flink 1.15 版本中流批一...

4
12
发表了资讯
2021/10/15 15:10

官宣|Apache Flink 1.14.0 发布公告

作者 | Stephan Ewen & Johannes Moser 翻译 | 宋辛童 在 Apache 软件基金会近期发布的年度报告中,Apache Flink 再次跻身最活跃项目前 5 名!该项目最新发布的 1.14.0 版本同样体现了其非凡的活跃力,囊括了来自超过 200 名贡献者的 1000 余项贡献。整个社区为项目的推进付出了持之以恒的努力,我们引以为傲。 新版本在 SQL API、更多连接器支持、Checkpoint 机制、PyFlink 等多个方面带来了大量的新特性与改进。其中一个主要的...

3
6
发表了资讯
2021/09/30 07:55

Apache Flink 1.14.0 发布,流处理框架

Apache Flink 1.14.0 现已发布,Apache Flink 是一个开源的流处理框架,适用于分布式、高性能的数据流应用,是 Apache 软件基金会最活跃项目前 5 名。此版本在 SQL API、更多连接器支持、检查点和 PyFlink 等领域带来了许多新功能和改进。 统一的批处理和流处理体验 检查点和有界流 通过 FLIP-147,Flink 现在支持任务完成后的检查点,并在有界流的末尾获取最终检查点,确保在作业结束之前提交所有接收器数据(类似于 stop-wit...

1
4
发表了资讯
2021/09/03 16:42

Apache Flink 1.14 新特性预览

摘要: 本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为: 简介 流批一体 Checkpoint 机制 性能与效率 Table / SQL / Python API 总结 此文章为 8 月 7 日的分享整理,1.14 版本最新进展请注意文中的注释说明。 一、简介 1.14 新版本原本规划有 35 个比较重要的新特性以及优化工作,目前已经有 26 个工作完成;5 个任务不确定是...

3
14
发表了资讯
2021/08/07 09:10

Apache Flink 1.13.2 发布,流处理框架

Apache Flink 1.13.2 现已发布,这是 Apache Flink 1.13 系列的第二个错误修复版本,包括 127 个修复和小改进。 主要更新内容 ContinuousFileReaderOperator 不应在 close() 上关闭输出 HiveTableSourceITCase.testPartitionFilter 在 AZP 上失败 ParquetInputFormat 不应需要 Parquet 模式作为用户输入 应用程序模式在构建 PackagedProgram 时不设置配置 将所有 “Connection reset by peer” 异常包装为 RemoteTransportExcep...

0
3
发表了资讯
2021/05/29 06:27

Apache Flink 1.13.1 发布,流处理框架

Apache Flink 1.13.1 现已发布,这是 Apache Flink 1.13 系列的首个 bug 修复版本,包含 82 个修复和优化,因此官方强烈建议所有用户都升级到 1.13.1。 主要更新内容 修复在 TIMESTAMP_LTZ 列上声明 SOURCE_WATERMARK 时类型不匹配的问题 使结构化类型的字段在构造过程中更加宽松 启用对象重用时,AsyncWaitOperator 应深度复制 StreamElement 修复无法通过使用 kinesis 消费者的保存点停止流媒体工作的问题 修复 flink iceber...

0
1
发表了资讯
2021/05/25 06:28

Apache Flink 1.12.4 发布,流处理框架

Apache Flink 1.12.4 现已发布,这是 Apache Flink 1.12 系列的 bug 修复版本,包含 21 个修复和优化,因此官方强烈建议所有用户都升级到 1.12.4。 优化 在 DataStream API 文档中增加 10 分钟的阅读内容 为新的 Kafka 源添加端到端测试案例 在某些情况下,编译作业时遇到的异常的根本原因没有暴露给用户 重构 Python 依赖性管理文档 添加缺少的关于 PyFlink 的命令行选项的文档 过滤所有 jar 中的 maven 元数据 Bug 修复 无法通...

0
3
发表了资讯
2021/05/20 14:33

官宣|Apache Flink 1.13.0 正式发布,流处理应用更加简单高效!

翻译 | 高赟 Review | 朱翥、马国维 Flink 1.13 发布了!Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。 这一版本中,Flink 的一个主要目标取得了重要进展,即让流处理应用的使用像普通应用一样简单和自然。Flink 1.13 新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单,用户仅需要修改并发度即可。 这个版本还包括一系列重要改动使用户可以更好理解流作业的性能。当流作业的性能不及预期的时候,这...

0
12
发表了资讯
2021/05/11 07:28

Apache Flink 1.13.0 发布,流处理框架

Apache Flink 1.13.0 现已发布,该版本使流处理应用像其他应用一样自然和简单地管理,只要改变并行进程的数量,就可以像其他应用程序一样扩展流媒体应用程序的运行。 反应式扩展 用户现在可以为 Flink 应用程序配置一个自动缩放器,但要在配置自动缩放器的时候注意到重新缩放的成本。有状态的流媒体应用程序必须在扩展时移动状态。要尝试反应式扩展模式,请添加 scheduler-mode: reactive 配置项,并部署一个应用程序集群(独立...

1
3
发表了资讯
2021/04/30 07:13

Apache Flink 1.12.3 发布,流处理框架

Apache Flink 1.12.3 现已发布,这是 Apache Flink 1.12 系列的 bug 修复版本,包含 73 个修复和优化,因此官方强烈建议所有用户都升级到 1.12.3。 优化 在 Datadog 报告中添加柱状图支持 独立 K8s 文档现在会解释备用 JobManagers 的用法 优化打印 K8s 规格 删除 CheckpointConfig 中的冗余 tolerableCheckpointFailureNumber 设置 强化 JobMaster#updateTaskExecutionState() 删除用于 AZP 运行的 Kafka 连接器的控制台日志...

1
3
发表了资讯
2021/03/05 07:12

Apache Flink 1.12.2 发布

Apache Flink 1.12.2 已经发布,这是一个 bug 修复版本,包括 83 个修复和优化。 部分更新内容 记录 2.12.8 以后与 Scala 的二进制兼容情况 修复用户代码 CheckpointExceptions 的错误修正 修复在 JDBC 连接器中从 postgres 访问 null 数组时出现 NullPointerException 的问题 修复 EXPLAIN 语句文档中的拼写错误 SerializedValue 的 getByteArray() 缺少空值处理 修复不对齐的检查点恢复可能会导致数据流损坏的问题 修复当操作...

1
6
发表了资讯
2021/01/30 07:49

Apache Flink 1.10.3 发布

Apache Flink 1.10.3 已发布,这是 Apache Flink 1.10 系列的第三个 Bugfix 版本,总共包含 36 个修复程序以及针对 Flink 1.10.2 的小改进。官方强烈建议所有用户升级到 Flink 1.10.3。 Maven <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.3</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streami...

1
5
发表了资讯
2021/01/20 07:27

Apache Flink 1.12.1 发布,流处理框架

Apache Flink 1.12 系列的首个 bug 修复版本 1.12.1 已经发布。该版本包含 79 个修复和优化,因此官方强烈建议所有用户都升级到 1.12.1。 Maven 依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.12.1</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>...

1
4
发表了资讯
2021/01/06 08:05

Apache Flink 漏洞:通过 REST API 读写远程文件

Apache 邮件列表档案发表了两个漏洞报告,攻击者可通过 REST API 读写远程文件,进行目录遍历攻击。 漏洞发生原因 Flink 在 1.5.1 版本中引入了一个 REST handler,这允许攻击者将已上传的文件写入本地任意位置的文件中,并且可通过一个恶意修改的 HTTP 头将这些文件写入到 Flink 1.5.1 可以访问的任意位置。该漏洞存在于 1.5.1 - 1.11.2。 Flink 在 1.11.0 做了一些改动,导致攻击者可以通过 JobManager 进程的 REST 接口来读取...

3
4
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
5 评论
264 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部