Apache CarbonData

华为大数据存储方案 Apache CarbonData

Apache
Java
跨平台
Apache
2016-05-19
步影随月

Apache® CarbonData™是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景,并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应,与大数据生态Apache Hadoop、Apache Spark等无缝集成。

特点:

  • 列式存储

  • 丰富的索引支持

  • 全局字典编码

  • 自适应类型转换

  • 标准SQL和API

  • 数据生态集成

  • 开源开放

的码云指数为
超过 的项目
加载中
此软件有 4 条评论,请先登录后再查看。

Apache CarbonData 1.5.0 发布,华为大数据存储方案

CarbonData 1.5.0 发布了,该版本更贴近于统一分析。我们希望能够从更多的引擎/库中读取CarbonData文件,以支持各种用例。在这方面,我们增加了支持从C++库读取 CarbonData 文件的支持。此外...

2018/10/25 22:42

Apache CarbonData 1.1.0,提高 20-50% 扫描性能

Apache CarbonData 1.1.0 发布了,CarbonData 是一个为了更快的交互查询而生的 Hadoop 原生文件格式,用于大数据的快速分析和多维度查询 hadoop 本地数据存储设计。 该版本亮点包括: 推出名...

2017/05/20 07:42

Apache® CarbonData™ 成 Apache 软件基金会顶级项目

Apache软件基金会正式宣布CarbonData从Apache孵化器毕业,正式成为Apache顶级项目(TLP),这也是首个由中国公司发起并捐献给Apache基金会的开源项目。 Apache® CarbonData™是由华为开源贡...

2017/04/21 10:38

Apache CarbonData 1.0.0 发布(第4个稳定版本)

Apache CarbonData是一种新的高性能数据存储格式,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“任意维度组合...

2017/01/29 09:18

没有更多内容

加载失败,请刷新页面

没有更多内容

2
回答
Apache CarbonData 性能初体验

背景介绍 Apache CarbonData是由华为开发并贡献至Apache基金会的开源项目,目前处于孵化阶段。据其官网称,CarbonData是基于一系...

2016/12/20 16:01

没有更多内容

加载失败,请刷新页面

没有更多内容

Apache CarbonData 1.5.0编译及安装

一、编译环境描述 OpenStack创建五个虚拟机,其中1个主节点(hostname为bigdatamaster),4个从节点(hostname分别为,bigdataslave1、bigdataslave2、bigdataslave3、bigdataslave4) OS:C...

2019/04/21 14:45
384
1
Apache CarbonData 2.0 线上发布会

点击上方“开源社”关注我们 | 主办方:Apache CarbonData、开源社 | 编辑:陈梅梅 | 设计:叶修缘丶 Apache CarbonData 2.0 线上发布会 2020/06/03 (周三)19:30 - 21:00 Apache CarbonData...

05/30 18:45
14
0
在CDH上用外部Spark2.2.1安装和配置 CarbonData

在CDH上用外部Spark2.2.1 (hadoop free版本)standalone 模式安装和配置 CarbonData 一、cdh中外部spark(standalone模式安装) 1、把安装包和配置文件拷贝到其他机器 1.1复制hdfs、hive等配...

2018/09/08 19:31
27
0
大数据小视角3:CarbonData,来自华为的中国力量

连续两篇文章都聊了不同的存储格式,这篇我们继续深入来看看在存储格式的演变之上有什么新的**"黑科技"**。华为公司在2016年开源了类parquet的列存格式:CarbonData,并且贡献给了Apache社区...

2018/06/20 09:33
30
0
华为云FusionInsight MRS融合大数据平台进阶之路

大数据诞生之初聚焦在海量数据的批分析,实际使用场景基本都是海量数据T+1的跑批业务,随着用户业务的不断发展,对数据使用维度的复杂性和T+0时效性要求也在不断增加,而且每个需求上都有细粒...

07/25 10:52
9
0
Apache CarbonData:大数据生态一种新的高性能数据格式

Apache CarbonData是一种新的高性能数据存储格式,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“任意维度组合...

2016/12/19 16:57
3.7K
2
客户端埋点实时OLAP指标计算方案

背景 产品经理想要实时查询一些指标数据,在新版本的APP上线之后,我们APP的一些质量指标,比如课堂连接掉线率,课堂内崩溃率,APP崩溃率等指标,以此来看APP升级之后上课的体验是否有所提升...

2019/04/10 10:10
13
0
刚哥谈架构(六)-大数据的文件存储

上一次我们谈到了各种类型的数据库,今天我们来谈谈在大数据,尤其是Hadoop栈下的数据和文件的存储。 我们知道为了解决大数据的存储和处理问题,google最先设计了推出了Map/Reduce的算法,而...

04/26 13:57
2.2W
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部