Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员，是 Google 在2016年2月份贡献给 Apache 基金会的孵化项目。
这个项目的名称表明了设计：结合了批处理（Batch）模式和数据流（Stream）处理模式。它基于一种统一模式，用于定义和执行数据并行处理管道（pipeline），这些管理随带一套针对特定语言的SDK用于构建管道，以及针对特定运行时环境的Runner用于执行管道。
Apache Beam 的主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。
Apache Beam 是一种用于批处理和流式处理的统一编程模型，包含一套构建管道的特定语言 SDK 和在分布式处理后端执行管道的运行器。 亮点 用于 Calcite SqlTransform 的 Beam Java API 不再是实验性的 (BEAM-12680). Python 的 ParDo 转换现在支持 with_exception_handling 选项 I/O ReadFromBigQuery 和 ReadAllFromBigQuery现在默认以 BATCH 优先级运行查询。 query_priority 参数被引入到相同的转换中，以允许配置查询优先级 ...
Apache Beam 2.28.0 已发布，Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 更新亮点 与 Parquet 支持相关的大量改进 （BEAM-11460, BEAM-8202 和 BEAM-11526） BeamSQL 中的哈希函数 (BEAM-10074) ZetaSQL 中的哈希函数 (BEAM-11...
Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 此版本主要更新内容如下： Highlights Java 11 Containers 现已随所有 Beam 版本一起发布。 有一个新的转换ReadAllFromBigQuery，可以在管道运行时接收多...
Apache Beam 2.25.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 此版本主要特性变更包括： 在 ReadFromBigQuery 的 JSON 解码器中增加了对可重复字段的支持。（Python） 为 Python SDK 添加了一个 opt-in、performance...
Apache Beam 2.24.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 此版本主要特性变更包括： Python SDK 添加了一个共享库，用于简化对大型共享对象的管理。 将数据流流计时器设置为较早的 mid-bundle 时并没有严格的时间...
Apache Beam 2.23.0 现已发布。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目，主要目标是统一批处理和流处理的编程范式，为无限、乱序、web-scale 的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 主要更新内容：...
Apache Beam 2.9.0 发布了。Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目，主要目标是统一批处理和流处理的编程范式，为无限、乱序、web-scale 的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 下载地址：https://bea...
Apache Beam 2.7.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目，主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale 的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 下载地址：https:/...
Apache Beam 2.3.0 发布了。主要更新内容如下： full Java 8 support Spark 2.x support in Spark runner Amazon WS S3 filesystem support General-purpose writing to files (FileIO) Splittable DoFn support in Python SDK Improvements on Portability layer Improvements on SDKs & runners Improvements on several IOs 更多内容可以查看发布说明或者 Issue 下载地址： https://beam.apache.org/get-started/downloads/...
Apache Beam在官方博客上正式发布了Beam 2.0.0。这是Beam有史以来的第一个稳定版本，根据Beam社区的声明，Beam意欲为未来版本发布保持API的稳定性，并让Beam适用于企业的部署。 Beam的第一个稳定版本是Beam社区发布的第三个重要里程碑。Beam在2016年2月成为Apache孵化器项目，并在同年12月升级成为Apache基金会的顶级项目。经过从开始至今的15个月全神贯注的努力，从一个有点混乱的代码库开始，从各大组织合并代码，成就了如今的...
Apache Beam 0.6.0 发布了，该版本为 Python 编程语言引入了一个新的 SDK。 此外，该版本为 Apache HBase 在 Java SDK 中添加了一个新的 IO 链接器，以及一些常见的错误修复和改进。 最后，还改进了对 Beam 模型的支持，包括支持最近推出的 State 和 Timer API，以及 Beam 链接到分布式文件系统的链接器。 发布主页 和 发布说明 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目，主要目标是统一批处理和流处...
Apache Beam 0.5.0 发布了，Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目，主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 更新内容： Bug [BEAM-56...
1月10日，Apache 软件基金会宣布，Apache Beam 已经成功地从孵化毕业，成为基金会的一个新的顶级项目。 Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会孵化的项目。项目的名称表明了其设计：结合了批处理（Batch）模式和数据流（Stream）处理模式。它基于一种统一模式，用于定义和执行数据并行处理管道（pipeline），这些管理随带一套针对特定语言的SDK用于构建管道，以及针对特定运行时环境的Runner用于执行管道。 ...
评论