Apache Beam 2.19.0 发布,大数据批处理和流处理标准

xplanet
 xplanet
发布于 2020年02月06日
收藏 8

Apache Beam 2.19.0 发布了。 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 

主要更新内容:

New Features / Improvements

  • BEAM-6008  改进 Java/Python PortableRunner 中的错误报告
  • BEAM-8296  容器化 Spark 作业服务器
  • BEAM-8746  允许本地作业服务从 docker 内部工作
  • BEAM-8837 PCollectionVisualizationTest :可能的错误
  • BEAM-8139  执行便携式 Spark 应用程序 jar
  • BEAM-9019  改进 Spark 编码器(包装器或光束编码器)
  • BEAM-9053  改进无法获取 Python SDK 中指定路径的正确文件系统时的错误消息
  • BEAM-9055  跨语言统一 Fn Data API 的配置名称

更新说明: https://beam.apache.org/blog/2020/02/04/beam-2.19.0.html

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:Apache Beam 2.19.0 发布,大数据批处理和流处理标准
加载中
返回顶部
顶部