Amoro​​​​​​​ 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Amoro​​​​​​​ 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Amoro​​​​​​​ 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
投 递 者 网易数帆
适用人群 未知
收录时间 2022-08-15

软件简介

Amoro(原名 Arctic)是一个基于开放数据湖格式构建的 Lakehouse 管理系统。Amoro 与 Flink、Spark 和 Trino 等计算引擎合作,为 Lakehouse 带来可插拔和自我管理的功能,提供开箱即用的数据仓库体验,并帮助数据平台或产品轻松构建基础设施解耦、流式传输和-批量融合和湖泊原生架构。

架构

  • AMS:Amoro管理服务提供Lakehouse管理功能,如自优化、数据过期等。它还为所有计算引擎提供统一的目录服务,也可以与现有的元数据服务结合。
  • 插件:Amoro 提供了多种外部插件可供选择,以满足不同的场景。
    • 优化器:自优化执行引擎插件对所有类型表格式表异步执行合并、排序、去重、布局优化等操作。
    • Terminal:SQL命令行工具,提供本地Spark、Kyuubi等多种实现。
    • LogStore:基于Kafka、Pulsar等消息队列,提供毫秒级到秒级的SLA,用于实时数据处理。

支持的表格格式

Amoro可以管理不同表格式的表,类似于MySQL/ClickHouse可以选择不同的存储引擎。Amoro通过使用不同的表格格式来满足不同的用户需求。目前,Amaro 支持三种表格格式:

  • Iceberg格式:指使用Apache Iceberg原生的表格式,具有Iceberg的所有功能和特性。
  • 混合Iceberg格式:建立在Iceberg格式之上,可以利用LogStore加速数据处理,并在CDC场景下提供更高效的查询性能和流式读取能力。
  • 混合 Hive 格式:与混合 Iceberg 表具有相同的功能,但与 Hive 表兼容。支持将Hive表升级为Mixed Hive表,并在升级后允许Hive原生的读写方法。

特性

  • 自我优化 - 持续优化表,包括压缩小文件、更改文件、定期删除过期文件,以保持较高的查询性能并降低存储成本。
  • 多种格式 - 支持Iceberg、Mixed-Iceberg、Mixed-Hive等不同表格式,满足不同场景需求,并提供统一管理能力。
  • 目录服务 - 为所有计算引擎提供统一的目录服务,也可以与现有的元数据存储服务(例如 Hive Metastore 和 AWS Glue)一起使用。
  • 丰富的插件 - 提供各种插件与其他系统集成,例如使用 Flink 进行持续优化以及使用 Spark 和 Kyuubi 进行数据分析。
  • 管理工具 - 提供多种管理工具,包括WEB UI和标准SQL命令行,帮助你更快上手并更轻松地与其他系统集成。
  • 基础设施独立 - 可以在私有环境、云环境、混合云环境、多云环境中轻松部署和使用。
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣 发布并加入讨论🔥
发表了资讯
2023/11/17 17:55

Amoro 0.6.0 发布:集成 Kubernetes 与 S3,支持 Apache Paimon

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。 2023 年 11 月 07 日,Amoro 0.6.0 版本正式更新发布!这个版本在 0.5.1 版本的基础上,增加了很多 feature,并且提升了可用性和稳定性,推荐各位用户和开发者升级到这个版本。在这次版本更新中,来自社区的 21 位贡献者付出了 118 次提交,感谢每位社区小伙伴的贡...

0
1
发表了资讯
2023/08/08 16:13

存在商标冲突,网易 Arctic 项目更名为 Amoro

Arctic Maintainer 成员发文宣布,正式将 Arctic 项目名称变更为 Amoro [/aˈmoro/]。项目官网和 GitHub 同步变更;原先以 Arctic 命名的官网,文档和源码地址会重新定向到 Amoro: 官网:https://amoro.netease.com/ 文档:https://amoro.netease.com/docs/latest/ 源码:https://github.com/NetEase/amoro Arctic 是由网易在去年 8 月开源的流式湖仓系统,在 Iceberg 和 Hive 之上添加了更多实时场景的能力;并且面向 DataOp...

0
2
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
20 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部