Apache Beam 2.7.0 发布,大数据批处理和流处理标准

局长
 局长
发布于 2018年10月20日
收藏 6

Apache Beam 2.7.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

下载地址:https://beam.apache.org/get-started/downloads/

此版本包括以下主要新功能和改进:

- 新的 KuduIO, Amazon SNS sink, Amazon SqsIO
- 升级依赖关系到新版本
- 对于简单示例,在本地 Flink 运行器上添加对 Python 的实验性支持
- 各种错误修正和小改进

详情请查看 发布主页 和 发布说明

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Apache Beam 2.7.0 发布,大数据批处理和流处理标准
加载中
返回顶部
顶部