Apache Flink 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache Flink 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Apache Flink 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Apache Flink 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Apache Flink 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开发厂商 Apache
地区 不详
提 交 者 叶秀兰
适用人群 未知
收录时间 2014-08-28

软件简介

Apache Flink 是高效和分布式的通用数据处理平台。

Apache Flink 声明式的数据分析开源系统,结合了分布式 MapReduce 类平台的高效,灵活的编程和扩展性。同时在并行数据库发现查询优化方案。

要求

  • Unix 类环境(Linux, Mac OS X, Cygwin)

  • git

  • Maven (at least version 3.0.4)

  • Java 6, 7 or 8 (Note that Oracle's JDK 6 library will fail to build Flink, but is able to run a pre-compiled package without problem)

git clone https://github.com/apache/incubator-flink.git
cd incubator-flink
mvn clean package -DskipTests # this will take up to 5 minutes
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (4)

加载中
Apache flink 容错机制 https://segmentfault.com/a/1190000008129552
2017/01/16 14:04
回复
举报
Apache Flink 有奸情
2015/01/25 19:59
回复
举报
观望中……现在才 0.9.0,还需要时间来磨合。 #Apache Flink#
2015/07/31 13:55
回复
举报
持续关注中!据说 Flink 的延迟是50毫秒以内,流进来的数据可以直接进行计算,岂不是会淘汰掉 storm ? 好伟大的样子。 #Apache Flink#
2015/08/31 18:03
回复
举报
更多评论
01/06 08:05

Apache Flink 漏洞:通过 REST API 读写远程文件

Apache 邮件列表档案发表了两个漏洞报告,攻击者可通过 REST API 读写远程文件,进行目录遍历攻击。 漏洞发生原因 Flink 在 1.5.1 版本中引入了一个 REST handler,这允许攻击者将已上传的文件写入本地任意位置的文件中,并且可通过一个恶意修改的 HTTP 头将这些文件写入到 Flink 1.5.1 可以访问的任意位置。该漏洞存在于...

3
4
发表于AI & 大数据专区
2020/12/17 08:23

Apache Flink 1.12.0 发布,初步实现批处理和流处理统一运行

Apache Flink 最新稳定版 1.12.0 已发布。Apache Flink 是一个流处理框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 根据发布公告的介绍,新版本显着提升了可用性。此外,新增的功能简化(并统一了)整个 API 堆栈的 Flin...

0
5
发表于开发技能专区
2020/09/19 07:32

Apache Flink 1.11.2 发布,流处理框架

Apache Flink 1.11.2 发布了。Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 此版本是 Apache Flink 1.11 系列的第二个 Bugfix 版本,总共包含 96 个针对 Flink 1.11.0 的修复程序以及改进。 部分更新...

1
5
发表于开发技能专区
2020/08/26 07:28

Apache Flink 1.10.2 发布

Apache Flink 1.10.2 已发布,这是 Apache Flink 1.10 系列的第二个 Bugfix 版本,总共包含 73 个修复程序以及针对 Flink 1.10.1 的小改进。官方强烈建议所有用户升级到 Flink 1.10.2。 Maven <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.2</versi...

0
0
发表于数据库专区
2020/07/23 07:20

Apache Flink 1.11.1 发布

Apache Flink 1.11.1 已发布,Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 此版本是 Apache Flink 1.11 系列的首个 Bugfix 版本,总共包含 44 个针对 Flink 1.11.0 的修复程序以及改进。官方强烈建...

3
3
2020/07/10 07:00

Apache Flink 1.11.0 发布

Apache Flink 社区宣布了 Flink 1.11.0 的发布,该版本的一些重点内容如下: core engine 引入了 unaligned checkpoints,这是对 Flink 的容错机制的重大更改,该机制可改善在高背压下的检查点性能。 一个新的 Source API 通过统一批处理和 streaming 执行以及将内部组件(例如事件时间处理、水印生成或空闲检测)卸载到...

1
3
发表于数据库专区
2020/05/20 07:49

Apache Flink 1.10.1 发布

Apache Flink 1.10.1 已发布,这是 Apache Flink 1.10 系列的首个 Bugfix 版本,总共包含 158 个修复程序以及针对 Flink 1.10.0 的改进。官方强烈建议所有用户升级到 Flink 1.10.1。 注意事项:1.FLINK-16684 更改了 StreamingFileSink 的生成器,使其可以在 Scala 中进行编译。此更改属于源码兼容,但二进制不兼容。如果...

0
3
发表于数据库专区
2020/04/28 07:06

Apache Flink 1.9.3 发布,流处理框架

Apache Flink 1.9.3 已发布,这是 Apache Flink 1.9 系列的第三个 bugfix 版本,总共包含 38 个修复程序以及针对 Flink 1.9.2 的改进。 部分更新内容: [FLINK-14278] - 将 ioExecutor 传入 AbstractDispatcherResourceManagerComponentFactory [FLINK-15908] - 在 1.9.x 文档中添加支持'pip install'的描述 [FLINK-159...

2
4
发表于数据库专区
2020/02/02 08:25

Apache Flink 1.9.2 发布,流处理框架

Apache Flink 1.9.2 发布了,Apache Flink 项目的目标是开发一个流处理系统,以统一和支持多种形式的实时和离线数据处理应用程序以及事件驱动的应用程序。 此版本带来大量 bug 修复,摘取部分如下: Bug [FLINK-10377] - 删除 TwoPhaseCommitSinkFunction.notifyCheckpointComplete 中的前提条件 [FLINK-10435] - Ctrl +...

2
2
发表于数据库专区
2019/12/14 07:44

Apache Flink 1.8.3 发布,开源流处理框架

Apache Flink 1.8.3 发布了,更新内容如下: 改进 [FLINK-12848] - RowTypeInfo 中的方法 equals() 应该考虑fieldsNames [FLINK-13729] - 更新网站生成依赖性 [FLINK-13965] - 将 hasDeprecatedKeys 和 deprecatedKeys 方法保留在 ConfigOption中,并使用 @Deprecated 批注对其进行标记 [FLINK-13967] - 通过 collect_li...

4
12
发表于数据库专区
2019/12/09 07:33

Apache Flink 1.9.1 发布,流处理框架

Apache Flink 1.9.1 发布了,Apache Flink 项目的目标是开发一个流处理系统,以统一和支持多种形式的实时和离线数据处理应用程序以及事件驱动的应用程序。 此版本带来大量 bug 修复,摘取部分如下: Bug [FLINK-11630] - 本身终止时,TaskExecutor 不等待任务终止 [FLINK-13490] - 修复读取 JDBC 时一列值是否为空,以下...

5
11
发表于数据库专区
2019/09/15 07:31

Apache Flink 1.8.2 发布,开源流处理框架

Apache Flink 1.8.2 已发布,这是 Apache Flink 1.8 系列的第二个 bugfix 版本,此版本包含 23 个修复和小改进。 Maven <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.8.2</version> </dependency> <dependency> <groupId>org.apache.flink</grou...

0
5
发表于数据库专区
2019/08/24 07:23

Apache Flink 1.9.0 发布,开源流处理框架

Apache Flink 1.9.0 已经发布,Apache Flink 项目的目标是开发一个流处理系统,以统一和支持多种形式的实时和离线数据处理应用程序以及事件驱动的应用程序。 此版本包括批处理作业的批处理式恢复,以及新的基于闪烁的表 API 和 SQL 查询引擎的预览,还有状态处理器 API 的可用性,它是最常见的请求特性之一,允许用户使用...

2
13
发表于数据库专区
2019/07/04 07:52

Apache Flink 1.8.1 稳定版发布,开源流处理框架

Apache Flink 1.8.1 已发布,这是 Apache Flink 1.8 系列的首个 bugfix 版本,此版本也与之前的 1.x.y 版本 API 兼容。 1.8.1 包含了超过 40 个修复程序和小的改进,官方建议所有用户都升级到最新版本。 Maven <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <versi...

3
9
发表于数据库专区
2019/04/11 06:57

Apache Flink 1.8.0 发布,开源流处理框架

Apache Flink 1.8.0 已发布,该版本与之前的 1.x.y 版本 API 兼容。Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的数据流应用程序。 新特性和改进: Schema Evolution Story 最终版 基于 TTL 持续清除旧状态 使用用户定义的函数和聚合进行 SQL 模式检测 符合 RFC 的 CSV 格式 新的 Ka...

0
11
发表于数据库专区
2019/02/26 07:20

Apache Flink 1.6.4 发布,开源流处理框架

Apache Flink 1.6.4 已发布,这是 1.6 系列的第四个修复版本,包含超过25项的修复及对 1.6.3.版本的改进,建议所有用户升级。Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的数据流应用程序。 新版部分更新内容如下: Bug [FLINK-10721] - Kafka discovery-loop exceptions may be swa...

1
8
发表于数据库专区
2019/02/19 07:10

Apache Flink 1.7.2 发布,流处理框架

Apache Flink 1.7.2 发布了,Flink 是一个流处理框架,应用于分布式、高性能、始终可用的与准确的数据流应用程序。 这是 1.7 的第二个 bugfix 版本,包含 40 多个 bug 修复与一些较小的改进,涉及几个关键的恢复性问题和 Flink 流连接器中的问题。 具体查看发布公告。 此外还增加了一个新特性:支持 StreamingFileSink ...

4
11
发表于数据库专区
2019/01/09 08:06

阿里收购 Apache Flink 商业公司 Data Artisans

1月8日,德国媒体 tech.eu 报道称,阿里巴巴以 9000 万欧元的价格收购了位于柏林的创业公司 Data Artisans 。Data Artisans 由开源流处理框架 Apache Flink 的核心团队组建,专为企业提供高吞吐、低延迟的大规模数据解决方案,以便企业能够即时响应数据,从而更合理、更快速地做出业务决策。 图片来自 tech.eu 之后,阿里...

4
14
发表于数据库专区
2018/12/29 06:49

Apache Flink 1.5.6 发布,流处理框架

Apache Flink 1.5.6 发布了,Flink 是一个流处理框架,应用于分布式、高性能、始终可用的与准确的数据流应用程序。 主要更新如下: [FLINK-4173] - flink-metrics 中用 maven-shade-plugin 替换 maven-assembly-plugin [FLINK-9869] - 批量发送分区信息以提高性能 [FLINK-10613] - 删除 HBaseConnectorITCase 中的 logg...

0
7
发表于数据库专区
2018/12/24 07:05

Apache Flink 1.6.3 发布,开源流处理框架

Apache Flink 1.6.3 已发布,这是 1.6 系列的第三个修复版本,包含80项多项修复及改进,建议所有用户升级。Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的数据流应用程序。 部分更新内容如下: Improvement [FLINK-4173] - Replace maven-assembly-plugin by maven-shade-plugin in fl...

0
6
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/03/09 17:38

Flink监控:Monitoring Apache Flink Applications

This post originally appeared on the Apache Flink blog. It was reproduced here under the Apache License, Version 2.0. This blog post provides an introduction to Apache Flink’s built-in monitoring and metrics system, that allows developers to effectively monitor their Flink jobs. Oftentimes, the...

0
0
发表了博客
2019/04/12 13:43

Apache Flink 介绍

本篇文章首发于我的微信公众号大数据技术和人工智能,欢迎关注我的头条号和微信公众号“大数据技术和人工智能”(微信搜索bigdata_ai_tech)获取更多干货,也欢迎关注我的CSDN博客。 本文简单介绍一下Flink,部分内容来源于网络,想深入了解Flink的读者可以参照官方文档深入学习Apache Flink。 流计算 在介绍Flink之前首...

0
0
发表了博客
2018/08/02 16:55

Apache Flink - 命令

$flink命令位置 命令 选项 jar包位置 \ --input 输入文件位置 --out 输出文件位置 ./bin/flink run ./examples/batch/WordCount.jar 在flink目录下运行WordCount.jar ./bin/flink run -p 16 ./examples/batch/WordCount.jar \ --input file:///home/user/hamlet.txt --output file:///home/user/wordcount_out 在flink下...

0
0
2018/11/06 23:34

Flink 专题1 : 搭建Flink 及Flink 简介

Flink 专题1 : 搭建Flink 及Flink 简介 图片来源于网络 Flink 简介 Apache Flink® - 基于数据流的有状态计算 Flink 的优势: 流场景使用案例 数据驱动的应用 批流数据分析 数据通道和ETL 正确性保证 Exactly-on...

0
2
发表了博客
2019/09/15 23:40

Apache Flink SQL

本篇核心目标是让大家概要了解一个完整的 Apache Flink SQL Job 的组成部分,以及 Apache Flink SQL 所提供的核心算子的语义,最后会应用 TumbleWindow 编写一个 End-to-End 的页面访问的统计示例。 1.Apache Flink SQL Job 的组成 我们做任何数据计算都离不开读取原始数据,计算逻辑和写入计算结果数据三部分,当然基于...

0
0
发表了博客
2020/07/25 09:50

Apache Flink -- WordCount

点击上方蓝字关注我们 本文使用 Flink 的两种方式实现 WordCount 基于流计算 基于批计算 一、环境准备 开发工具:Idea2018 Linux 版本:Centos7 Flink 版本:1.9 Maven版本:3.3.9 编程语言:Scala 二、实现步骤 ...

0
1
发表了博客
2020/07/02 12:48

Apache Flink 是什么?

Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 接下来,我们来介绍一下 Flink 架构中的重要方面。 处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站...

0
0
发表了博客
01/07 17:02

Flink(四)Flink的State

一、State概述 Flink里面有state的概念 State:一般指一个具体的task/operator的状态。State可以被记录,在失败的情况下数据还可以恢复,Flink中有两种基本类型的State:Keyed State,Operator State,他们两种都可以以两种形式存在:原始状态(raw state)和托管状态(managed state) 托管状态:由Flink框架管理的状态,我们...

0
0
发表了博客
2019/04/10 10:10

Flink入门(一)——Apache Flink介绍

Apache Flink是什么? 在当代数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源,越来越多的大数据处理技术开始涌入人们的视线,例如目前比较流行的大数据处理引擎Apache Spark,基本上已经取代了MapReduce...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2020/08/30 23:49

「十二年,再出发」感恩一路有你

2020年8月31日,开源中国12岁啦~ 从2008年到2020年,从最开始的开源社区、到代码托管平台码云、再到后来的专业软件服务平台众包,开源中国一步一个脚印,在开源事业这条道路上不断奋力前行。开源中国的发展与成长,离不开大家的支持与鼓励。 12岁生日这个值得纪念的日子,我们也收到了来自同行伙伴、行业大佬、OSC用户们...

8
1
发表于开发技能专区
2020/09/01 19:10

写了一个flink kafka到mysql流程,启动一直报错

写了一个flink kafka到mysql流程,启动一直报错 "C:\Program Files\Java\jdk1.8.0_181\bin\java.exe" "-javaagent:C:\Program Files\JetBrains\IntelliJ IDEA 2018.2.3\lib\idea_rt.jar=54595:C:\Program Files\JetBrains\IntelliJ IDEA 2018.2.3\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8....

4
0
发表于数据库专区
2020/07/09 17:39

只查询 yarn上 为Apache Flink的任务, 任务状态为running的任务活在任务为FAILED的任务 ,有人知道脚本咋写吗??

只查询 yarn上 为Apache Flink的任务, 任务状态为running的任务活在任务为FAILED的任务 ,有人知道脚本咋写吗??

1
0
2019/12/17 09:15

win10下如何使用docker安装ZooKeeper、Flink、Kafka?

win10下如何使用docker安装ZooKeeper、Flink、Kafka? 各位前辈能给出一些win10安装ZooKeeper、Flink、Kafka的教程吗?

3
0
2019/09/30 15:52

Flink的TTL是否会对数据一致性造成影响?

Time-To-Live 是否会对 Flink 的 数据一致性 造成影响吗? 比如:程序因为某个原因 回放 到上个 checkpoint 的状态了,然后它的执行结果与没有 回放 的执行结果不一样了。因为如果没有 回放 的话,某些 State 应该因 过时 而清除,但 回放 操作变相 延长 了这部分 State 的 过期时间 。 有办法优化这种情况吗?...

1
0
发表于数据库专区
2019/06/14 17:32

flink 基于k8s 的高可用方案

@yiduwangkai 你好,想跟你请教个问题: 你好,我在k8s上搭建flink ha 的时候遇到了,其中一个job manager 日志如下报错: 我目前环境如下,单独搭建的zk集群,创建了两个job manager ,三个task manager

2
1
2019/04/08 20:13

关于腾讯云的上传操作

大数据小白,最近在写一个实时读取kafka的topic并实时同步到cos的一个功能,目前实现是先存到本地再每隔5分钟上传到cos,想问问各位大神知不知道cos上传能不能流式上传,读出一条上传一条?

3
0
2019/04/09 20:18

Timer定时任务,在集群cancel掉本地却还在运行?

编写了一个定时任务,用的是Scala语言的Timer,然后放在了flink集群运行,但每次cancel掉任务时,后台还是会运行,日志还是会输出,导致后台任务越来越多,错误日志越来越乱,请问这个后台的Timer怎么干掉啊。嘤嘤嘤。。。。还有这个怎么才能避免让Timer在后台一直执行啊.. 初入职场的弱女子,实在是不知如何解决。。。。...

3
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
4 评论
241 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部