Apache Iceberg 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Iceberg 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Iceberg 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据存储
开源组织 Apache
地区 不详
投 递 者 h4cd
适用人群 未知
收录时间 2020-04-30

软件简介

Apache Iceberg 是一种新的表格格式,用于存储和分析大型的、移动缓慢的表格数据。它的工作方式类似于 SQL 表,它旨在改进内置在 Hive、Presto 和 Spark 中的事实上的标准表布局。

对于使用者来说:

  • 模式演化(Schema evolution)支持添加、删除、更新或重命名,并且没有副作用
  • 隐藏分区(Hidden partitioning)可以防止导致错误提示或非常慢查询的用户错误
  • 分区布局演变(Partition layout evolution)可以随着数据量或查询模式的变化而更新表的布局
  • 时光穿梭(Time travel)可使用完全相同的表快照实现重新查询,或者使用户轻松检查更改
  • 版本回滚使用户可以通过将表重置为良好状态来快速纠正问题

可靠性与性能方面,Iceberg 可用于生产中,它的一个表可以包含数十 PB 的数据,即使没有分布式 SQL 引擎也可以读取这些巨大规模的表。

  • 扫描速度很快,无需使用分布式 SQL 引擎即可读取表或查找文件
  • 高级过滤,使用表元数据对数据文件以分区和列级统计信息进行修剪

Iceberg 旨在解决最终一致的云对象存储中的正确性问题:

  • 可与任何云存储一起使用,并且通过避免列出(list)和重命名,可以在 HDFS 中减少 NN 拥塞
  • 可序列化的隔离,表更改是原子性的,对外永远不会有部分更改或未提交的更改
  • 多个并发写入器使用乐观并发,即使写入冲突,也将重试以确保兼容更新成功
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(1)
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
1 评论
49 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部