Apache Beam 2.19.0 发布,大数据批处理和流处理标准

来源: 投稿
作者: xplanet
2020-02-06 07:54:18

Apache Beam 2.19.0 发布了。 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 

主要更新内容:

New Features / Improvements

  • BEAM-6008  改进 Java/Python PortableRunner 中的错误报告
  • BEAM-8296  容器化 Spark 作业服务器
  • BEAM-8746  允许本地作业服务从 docker 内部工作
  • BEAM-8837 PCollectionVisualizationTest :可能的错误
  • BEAM-8139  执行便携式 Spark 应用程序 jar
  • BEAM-9019  改进 Spark 编码器(包装器或光束编码器)
  • BEAM-9053  改进无法获取 Python SDK 中指定路径的正确文件系统时的错误消息
  • BEAM-9055  跨语言统一 Fn Data API 的配置名称

更新说明: https://beam.apache.org/blog/2020/02/04/beam-2.19.0.html

展开阅读全文
8 收藏
分享
0 评论
8 收藏
分享
返回顶部
顶部
返回顶部
顶部