Apache CarbonData 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache CarbonData 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache CarbonData 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据存储
开源组织 Apache
地区 国产
投 递 者 步影随月
适用人群 未知
收录时间 2016-05-19

软件简介

Apache® CarbonData™是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景,并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应,与大数据生态Apache Hadoop、Apache Spark等无缝集成。

特点:

  • 列式存储

  • 丰富的索引支持

  • 全局字典编码

  • 自适应类型转换

  • 标准SQL和API

  • 数据生态集成

  • 开源开放

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(4)
发表于AI & 大数据专区
2018/10/25 22:42

Apache CarbonData 1.5.0 发布,华为大数据存储方案

CarbonData 1.5.0 发布了,该版本更贴近于统一分析。我们希望能够从更多的引擎/库中读取CarbonData文件,以支持各种用例。在这方面,我们增加了支持从C++库读取 CarbonData 文件的支持。此外,可以使用Java SDK、Spark 文件格式接口、Spark、Presto 等读取 CarbonData 文件。 此外 CarbonData 添加了多个优化以减少存储大小,以便可以利用较小的IO进行查询。对来自 CarbonData 的流支持进行了一些改进。 在该版本中,包含了超过...

1
15
发表了资讯
2017/05/20 07:44

Apache CarbonData 1.1.0,提高 20-50% 扫描性能

Apache CarbonData 1.1.0 发布了,CarbonData 是一个为了更快的交互查询而生的 Hadoop 原生文件格式,用于大数据的快速分析和多维度查询 hadoop 本地数据存储设计。 该版本亮点包括: 推出名为 V3 的新数据格式,以提高扫描性能(〜20〜50%)。 改变表格支持。 (针对 Spark 2.1) 支持批量排序以提高数据加载性能。 通过升级到最新的 netty 框架并为每次加载启动 dictionary 客户端,改进了单次传递负载。 支持将范围内的 fi...

0
11
发表了资讯
2017/04/21 10:38

Apache® CarbonData™ 成 Apache 软件基金会顶级项目

Apache软件基金会正式宣布CarbonData从Apache孵化器毕业,正式成为Apache顶级项目(TLP),这也是首个由中国公司发起并捐献给Apache基金会的开源项目。 Apache® CarbonData™是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景,并...

14
44
发表了资讯
2017/01/29 09:18

Apache CarbonData 1.0.0 发布(第4个稳定版本)

Apache CarbonData是一种新的高性能数据存储格式,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景,并通过多级索引、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应。 Apache CarbonData 1.0.0完成了80+ 特性,100+ bugfixs,亮点特性如下: 1.New load data so...

3
25
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
4 评论
146 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部