华为大数据存储方案 Apache CarbonData

Apache CarbonData - 华为大数据存储方案

Apache
Java
跨平台
华为
2016-05-19
花仲马

Apache® CarbonData™是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景,并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应,与大数据生态Apache Hadoop、Apache Spark等无缝集成。

特点:

  • 列式存储

  • 丰富的索引支持

  • 全局字典编码

  • 自适应类型转换

  • 标准SQL和API

  • 数据生态集成

  • 开源开放

加载中

评论(2)

蔡小峰
蔡小峰
Gooooood
A
Aaron

Apache CarbonData 1.5.0 发布,华为大数据存储方案

CarbonData 1.5.0 发布了,该版本更贴近于统一分析。我们希望能够从更多的引擎/库中读取CarbonData文件,以支持各种用例。在这方面,我们增加了支持从C++库读取 CarbonData 文件的支持。此外...

10/25 22:42

Apache CarbonData 1.1.0,提高 20-50% 扫描性能

Apache CarbonData 1.1.0 发布了,CarbonData 是一个为了更快的交互查询而生的 Hadoop 原生文件格式,用于大数据的快速分析和多维度查询 hadoop 本地数据存储设计。 该版本亮点包括: 推出名...

2017/05/20 07:42

Apache® CarbonData™ 成 Apache 软件基金会顶级项目

Apache软件基金会正式宣布CarbonData从Apache孵化器毕业,正式成为Apache顶级项目(TLP),这也是首个由中国公司发起并捐献给Apache基金会的开源项目。 Apache® CarbonData™是由华为开源贡...

2017/04/21 10:38

Apache CarbonData 1.0.0 发布(第4个稳定版本)

Apache CarbonData是一种新的高性能数据存储格式,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“任意维度组合...

2017/01/29 09:18

CarbonData —— Hadoop原生文件格式

CarbonData是一个为了更快的交互查询而生的新的Hadoop原生文件格式,用于大数据的快速分析和多维度查询hadoop本地数据存储设计。 在客户基准上,CarbonData已经展示出管理运行在非常低成本的...

2016/06/05 08:09

没有更多内容

加载失败,请刷新页面

没有更多内容

2
回答
Apache CarbonData 性能初体验

背景介绍 Apache CarbonData是由华为开发并贡献至Apache基金会的开源项目,目前处于孵化阶段。据其官网称,CarbonData是基于一系...

2016/12/20 16:01

没有更多内容

加载失败,请刷新页面

没有更多内容

【演讲视频+实录】美团点评:基于Druid的Kylin存储引擎实践

8月11日,由 Kyligence 主办、美团点评协办的 Apache Kylin Meetup@北京,在美团公司总部圆满落幕。本文整理自当天美团大数据工程师、Apache Kylin Committer 康凯森的演讲实录,全文共6,600...

09/14 10:40
14
0
Apache大数据子项目

Accumulo,HBase BigTable实现 Airavata 微服务框架 Ambari Hadoop集群管理监控工具。由Restful和WEB管理界面组成 Apex,Samza,Flink,Flume,Storm 流式框架 Helix 通用集群管理框架,可实现管理...

06/24 09:32
5
0
大数据统一服务接口---Alluxio

我所接触的大数据----统一接口的理解 之前做大数据平台开发的时候,对于不用的业务场景匹配不同的大数据技术: 计算层技术: MR + sparkSQL + sparkStreaming + flink 存储层基本使用的都是 ...

11/07 12:17
20
0
LC3大会微服务Workshop来袭 | 深入解读ServiceComb

Apache基金会孵化项目ServiceComb将于LC3大会期间,6月27日(星期三)上午11点至下午17点30分在国家会议中心举办为期一天的开放日Meetup活动—Apache ServiceComb (incubating) Day。 本次开...

apache顶级项目简介

apache顶级项目 https://www.apache.org/ Accumulo Apache Accumulo is a sorted, distributed key/value store that provides robust, scalable data storage and retrieval. Apache Accumu...

11/09 09:52
17
0
TiDB 助力客如云餐饮 SaaS 服务

>作者:客如云 BigData Infra Team ## 公司介绍 客如云成立于 2012 年,是全球领先、 国内最大的 SaaS 系统公司。 目前面向餐饮、 零售等服务业商家, 提供软硬一体的新一代智能化前台、收银...

05/28 14:44
77
0
Apache CarbonData:大数据生态一种新的高性能数据格式

Apache CarbonData是一种新的高性能数据存储格式,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“任意维度组合...

2016/12/19 16:57
2.8K
2
如何打造100亿SDK累计覆盖量的大数据系统

大数据系统需要的是什么?

2016/08/05 17:35
54
0
大数据与机器学习 2016年中盘点

本文将分以下几个部分进行盘点。 一、里程碑事件 二、开源项目(国际篇) 三、业界动态(国际篇) 四、开源项目(国内篇) 五、业界动态(国内篇) 六、下半年展望 七、周报集锦 里程碑事件 Hadoop 1...

2016/07/24 23:41
56
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部