大数据批处理和流处理标准 Apache Beam

大数据批处理和流处理标准 Apache Beam

Apache
Java
跨平台
Apache
2016-11-13
王练

Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员,是 Google 在2016年2月份贡献给 Apache 基金会的孵化项目。

这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。

Apache Beam 的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。

加载中

评论(9)

相国
相国
Apache Beam发布了第一个稳定版 http://beam-china.com/beam-first-stable-releas
d470969047h
d470969047h
技术更新太快了
侯法超
侯法超
Apache Beam Java SDK 快速开始: https://my.oschina.net/geekidentity/blog/834286
mengjoey
mengjoey
beam 不是处理器, 只是个model和sdk而已
裴松年
裴松年
很不错,领导行业
绝世武神
绝世武神
Spark,Flink只需要一个就足够了。
swingcoder
swingcoder
apache已经有一堆流处理器了,apace storm, spark streaming, and beam
勿忘初心321
勿忘初心321
m
mezongzi
很不错

Apache Beam 2.9.0 发布,大数据批处理和流处理标准

Apache Beam 2.9.0 发布了。Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活...

2018/12/16 07:54

Apache Beam 2.7.0 发布,大数据批处理和流处理标准

Apache Beam 2.7.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale 的数据集处理提供简单...

2018/10/20 08:04

Apache Beam 2.3.0 发布,大数据批处理和流处理标准

Apache Beam 2.3.0 发布了。主要更新内容如下: full Java 8 support Spark 2.x support in Spark runner Amazon WS S3 filesystem support General-purpose writing to files (FileIO) Spli...

2018/02/20 07:26

Apache Beam 2.0 发布,首个稳定版本

Apache Beam在官方博客上正式发布了Beam 2.0.0。这是Beam有史以来的第一个稳定版本,根据Beam社区的声明,Beam意欲为未来版本发布保持API的稳定性,并让Beam适用于企业的部署。 Beam的第一个...

2017/05/20 08:46

Apache Beam 0.6.0,大数据批处理和流处理标准

Apache Beam 0.6.0 发布了,该版本为 Python 编程语言引入了一个新的 SDK。 此外,该版本为 Apache HBase 在 Java SDK 中添加了一个新的 IO 链接器,以及一些常见的错误修复和改进。 最后,还...

2017/03/18 07:08

Apache Beam 0.5.0 发布,大数据批处理和流处理标准

Apache Beam 0.5.0 发布了,Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,...

2017/02/10 07:44

Apache 基金会宣布 Apache Beam 成为顶级项目

1月10日,Apache 软件基金会宣布,Apache Beam 已经成功地从孵化毕业,成为基金会的一个新的顶级项目。 Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会孵化的项目。项目的名称表明...

2017/01/12 07:43

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

玩转KafkaIO与Flink

随着大数据 2.0 时代悄然到来,大数据从简单的批处理扩展到了实时处理、流处理、交互式查询和机器学习应用。近年来涌现出诸多大数据应用组件,如 HBase、Hive、Kafka、Spark、Flink 等。开发...

2018/09/28 17:08
163
0
关于电磁波近远场变换

%function Near2far(pathstr1,pathstr2,n_beam,index_beam) function Near2far(pathstr1,~,n_beam,index_beam) pathstr1='G:\ISO\Horn\Horn-v-8.2-12.4-df0.1-Tx.nf_V-Pol..nf.txt' n_beam=2...

2018/09/05 19:44
15
0
《Android NFC 开发实战详解 》简介+源码+样章+勘误ING

Android NFC 开发实战详解 一书的 简介+源码+样章+勘误ING

2014/05/20 09:28
227
1
在 Linux 平台中调试 C/C++ 内存泄漏方法

由于 C 和 C++ 程序中完全由程序员自主申请和释放内存,稍不注意,就会在系统中导入内存错误。同时,内存错误往往非常严重,一般会带来诸如系统崩溃,内存耗尽这样严重的后果。本文将从静态分...

2014/04/11 21:52
40
0
在 Linux 平台中调试 C/C++ 内存泄漏方法

由于 C 和 C++ 程序中完全由程序员自主申请和释放内存,稍不注意,就会在系统中导入内存错误。同时,内存错误往往非常严重,一般会带来诸如系统崩溃,内存耗尽这样严重的 后果。从历史上看,...

2011/09/25 00:35
479
1
[你需要什么]MobilePoint

刚看到一个消息:LinkedIn 宣布 1.19 亿美元收购 Slideshare 。职业演示文稿分享虽然只是内容分享的一个小部分,但也获得了巨大的成功。Slideshare上面内容非常丰富,自己也上去下载了不少P...

2012/05/03 20:47
32
0
【原创】Erlang 之 debugger 调试简介

简要介绍如何通过 debugger 调试 erlang 代码。

2014/05/13 19:44
408
0
android_nfc

NFC简介 NFC(Near Field Communication)近距离通信技术 NFC允许在NFC标签和Android设备之间或两个Android设备之间共享小的数据的负载。 NFC标签 NFC标签具有复杂的分类。简单的NFC标签只提供...

2014/11/19 16:25
83
0
4.顺序编程进阶

1. BIF(built-in function)内建函数的使用 内建函数是erlang虚拟机的一部分,通常完成用erlang无法完成的任务,非常高效,尽量使用。 BIF 在erlang模块中定义,已经预导入 例子: 元组转化为...

2012/02/29 20:45
128
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部