Apache® CarbonData™是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景，并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能，实现百亿数据级秒级响应，与大数据生态Apache Hadoop、Apache Spark等无缝集成。
特点：
列式存储
丰富的索引支持
全局字典编码
自适应类型转换
标准SQL和API
数据生态集成
开源开放
CarbonData 1.5.0 发布了，该版本更贴近于统一分析。我们希望能够从更多的引擎/库中读取CarbonData文件，以支持各种用例。在这方面，我们增加了支持从C++库读取 CarbonData 文件的支持。此外，可以使用Java SDK、Spark 文件格式接口、Spark、Presto 等读取 CarbonData 文件。 此外 CarbonData 添加了多个优化以减少存储大小，以便可以利用较小的IO进行查询。对来自 CarbonData 的流支持进行了一些改进。 在该版本中，包含了超过...
Apache CarbonData 1.1.0 发布了，CarbonData 是一个为了更快的交互查询而生的 Hadoop 原生文件格式，用于大数据的快速分析和多维度查询 hadoop 本地数据存储设计。 该版本亮点包括： 推出名为 V3 的新数据格式，以提高扫描性能（〜20〜50％）。 改变表格支持。 （针对 Spark 2.1） 支持批量排序以提高数据加载性能。 通过升级到最新的 netty 框架并为每次加载启动 dictionary 客户端，改进了单次传递负载。 支持将范围内的 fi...
Apache软件基金会正式宣布CarbonData从Apache孵化器毕业，正式成为Apache顶级项目（TLP），这也是首个由中国公司发起并捐献给Apache基金会的开源项目。 Apache® CarbonData™是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景，并...
Apache CarbonData是一种新的高性能数据存储格式，针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景，并通过多级索引、字典编码、列存等特性提升了IO扫描和计算性能，实现百亿数据级秒级响应。 Apache CarbonData 1.0.0完成了80+ 特性，100+ bugfixs，亮点特性如下： 1.New load data so...
评论