通用数据处理平台 Apache Flink

通用数据处理平台 Apache Flink

Apache
Java 查看源码»
跨平台
Apache
2014-08-28
叶秀兰

Apache Flink 是高效和分布式的通用数据处理平台。

Apache Flink 声明式的数据分析开源系统,结合了分布式 MapReduce 类平台的高效,灵活的编程和扩展性。同时在并行数据库发现查询优化方案。

要求

  • Unix 类环境(Linux, Mac OS X, Cygwin)

  • git

  • Maven (at least version 3.0.4)

  • Java 6, 7 or 8 (Note that Oracle's JDK 6 library will fail to build Flink, but is able to run a pre-compiled package without problem)

git clone https://github.com/apache/incubator-flink.git
cd incubator-flink
mvn clean package -DskipTests # this will take up to 5 minutes
的码云指数为
超过 的项目
加载中

评论(4)

Williams_sang
Williams_sang
Apache flink 容错机制 https://segmentfault.com/a/1190000008129552
舍瓦温
舍瓦温
Apache Flink 有奸情
Ryan-瑞恩
Ryan-瑞恩
观望中……现在才 0.9.0,还需要时间来磨合。 #Apache Flink#
Ryan-瑞恩
Ryan-瑞恩
持续关注中!据说 Flink 的延迟是50毫秒以内,流进来的数据可以直接进行计算,岂不是会淘汰掉 storm ? 好伟大的样子。 #Apache Flink#

Apache Flink 1.8.1 稳定版发布,开源流处理框架

Apache Flink 1.8.1 已发布,这是 Apache Flink 1.8 系列的首个 bugfix 版本,此版本也与之前的 1.x.y 版本 API 兼容。 1.8.1 包含了超过 40 个修复程序和小的改进,官方建议所有用户都升级到...

07/04 07:52

Apache Flink 1.8.0 发布,开源流处理框架

Apache Flink 1.8.0 已发布,该版本与之前的 1.x.y 版本 API 兼容。Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的数据流应用程序。 新特性和改进: Sche...

04/11 06:57

Apache Flink 1.6.4 发布,开源流处理框架

Apache Flink 1.6.4 已发布,这是 1.6 系列的第四个修复版本,包含超过25项的修复及对 1.6.3.版本的改进,建议所有用户升级。Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始...

02/26 07:20

Apache Flink 1.7.2 发布,流处理框架

Apache Flink 1.7.2 发布了,Flink 是一个流处理框架,应用于分布式、高性能、始终可用的与准确的数据流应用程序。 这是 1.7 的第二个 bugfix 版本,包含 40 多个 bug 修复与一些较小的改进,...

02/19 07:10

阿里收购 Apache Flink 商业公司 Data Artisans

1月8日,德国媒体 tech.eu 报道称,阿里巴巴以 9000 万欧元的价格收购了位于柏林的创业公司 Data Artisans 。Data Artisans 由开源流处理框架 Apache Flink 的核心团队组建,专为企业提供高吞...

01/09 08:06

Apache Flink 1.5.6 发布,流处理框架

Apache Flink 1.5.6 发布了,Flink 是一个流处理框架,应用于分布式、高性能、始终可用的与准确的数据流应用程序。 主要更新如下: [FLINK-4173] - flink-metrics 中用 maven-shade-plugin 替...

2018/12/29 06:49

Apache Flink 1.6.3 发布,开源流处理框架

Apache Flink 1.6.3 已发布,这是 1.6 系列的第三个修复版本,包含80项多项修复及改进,建议所有用户升级。Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的...

2018/12/24 07:11

Apache Flink 1.7.1 发布,开源流处理框架

Apache Flink 1.7.1 已发布,此版本包括27项修复及针对 Flink 1.7.0 的小改进。建议所有用户升级。Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的数据流应...

2018/12/23 07:34

Apache Flink 1.7.0 发布,支持 Scala 2.12

Apache Flink 1.7.0 已发布,Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的数据流应用程序。 新特性和改进: 支持 Scala 2.12 State Evolution:现在能够...

2018/12/02 07:38

Apache Flink 1.5.5 和 1.6.2 发布,通用数据处理平台

Apache Flink 1.5.5 和 1.6.2 发布了。Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的数据流应用程序。Apache Flink 也是高效和分布式的通用数据处理平台。...

2018/10/30 07:24

没有更多内容

加载失败,请刷新页面

1
回答
flink 基于k8s 的高可用方案

@yiduwangkai 你好,想跟你请教个问题: 你好,我在k8s上搭建flink ha 的时候遇到了,其中一个job manager 日志如下报错: ...

06/14 17:32
2
回答
关于腾讯云的上传操作

大数据小白,最近在写一个实时读取kafka的topic并实时同步到cos的一个功能,目前实现是先存到本地再每隔5分钟上传到cos,想问问各位大神知不知道c...

04/08 20:13
2
回答
Timer定时任务,在集群cancel掉本地却还在运行?

编写了一个定时任务,用的是Scala语言的Timer,然后放在了flink集群运行,但每次cancel掉任务时,后台还是会运行,日志还是会输出,导致后台任...

04/09 20:18

没有更多内容

加载失败,请刷新页面

没有更多内容

社区资讯 | Apache Flink 中文社区网站 Ververica 正式发布

众所周知,Apache Flink 最初是由德国柏林工业大学的几个博士生和研究生从学校开始做起来的项目,2014年,其核心成员开发了 Flink,同时将 Flink 计算的主流方向定位为实时计算并在同年将 Fl...

05/17 18:43
11
0
超燃!Apache Flink 全球顶级盛会强势来袭[视频+PPT]

超燃!Apache Flink 全球顶级盛会强势来袭 摘要: 12月20日,北京国家会议中心。Flink Forward China 2018 强势来袭~ 【主会】 内容 《如何更好的参与贡献Apache Flink 项目》 Craig L Russ...

2018/12/22 10:53
112
0
回顾 | Apache Flink 1.9 版本新特性强势预告!(内含PPT下载链接)

6月29日,Apache Flink Meetup 北京站圆满落幕,Apache Flink 1.9 版本是自 Flink 1.0 之后变化最大的版本,社区对 Flink 进行大量重构并且加入了很多新 Feature。此次 Meetup 重点解读 Flin...

07/03 14:38
5
0
如何从小白进化成 Apache Flink 技术专家?9节基础课程免费公开!

随着数据量的爆发,AI走上风口,典型的大数据业务场景下数据业务最通用的做法是:选用批计算的技术处理全量数据,采用流计算的技术处理实时增量数据。在生产环境中,用户通常采用批处理和流处...

06/14 14:59
7
0
Apache Flink 端到端(end-to-end)Exactly-Once特性概览 (翻译)

## Apache Flink 端到端(end-to-end)Exactly-Once特性概览 本文是flink博文的翻译,原文链接[https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html](...

2018/05/28 15:29
1K
0
精通Apache Flink必读系列文章

Flink是最接近于谷歌Dataflow大数据分析平台的设计的开源分布式计算引擎,其核心设计理念与Spark有很大的不同。 从设计出发点,Flink是一个流计算处理计算引擎,把批处理视为无限流计算的一种...

03/15 11:19
135
0
【apache flink forward china 2018】一线公司上万台Flink机器的应运

【apache flink forward china 2018】 ).阿里巴巴,腾讯,美团,爱奇艺,字节跳动(抖音,头条),等一线公司上万台flink机器应用 ).一线公司已升级大数据计算引擎Flink ).公布阿里巴巴将于2...

2018/12/21 09:44
36
0
《从0到1学习Flink》目录

1、《从0到1学习Flink》—— Apache Flink 介绍 2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、《从0到1学习Flink》—— Flink 配置文件详解 4、《从0...

03/18 11:09
143
2

没有更多内容

加载失败,请刷新页面

返回顶部
顶部