Apache Beam 2.9.0 发布,大数据批处理和流处理标准

来源: OSCHINA
编辑: 局长
2018-12-16

Apache Beam 2.9.0 发布了。Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

下载地址:https://beam.apache.org/get-started/downloads/

此版本包括以下主要新特性和改进:

依赖升级

  • Update google-api-client libraries to 1.27.0.

  • Update byte-buddy to 1.9.3

  • Update Flink Runner to 1.5.5

  • Upgrade google-apitools to 0.5.24

I/Os

  • I/O connector for RabbitMQ.

  • Update SpannerIO to support unbounded writes.

  • Add PFADD method to RedisIO.

其他修复

  • Dataflow runner was updated to not use Conscrypt as the default security provider.

  • Support set/delete of timers by ID in Flink runner.

  • Improvements to stabilize integration tests.

  • Updates Spark runner to show Beam metrics in web UI

  • Vendor gRPC and Protobuf separately from beam-model-* Java packages

  • Avoid reshuffle for zero and one element creates

详情请查看 发布主页发布说明

展开阅读全文
7 收藏
分享
加载中
更多评论
0 评论
7 收藏
分享
返回顶部
顶部