基于 MPP 的交互式 SQL 数据仓库 Apache Doris (incubating)

基于 MPP 的交互式 SQL 数据仓库 Apache Doris (incubating)

Apache License v2.0
Java C/C++
Linux
百度
2017-08-12
leanderlee

代码:https://github.com/apache/incubator-doris
官网:http://doris.apache.org

Apache Doris (incubating)(原Palo)是一款百度大数据团队自主研发的MPP数据库,其功能和性能已达到或超过国内外同类产品。自2017年在GitHub上开源以来,先后被小米、美团、链家、品友互动、瓜子、搜狐等十多家互联网公司使用。同时,Doris 在公司内部署超过1000台机器,服务超200业务,单业务最大容量500TB;在百度云上,Doris作为大数据分析工具中的数据仓库有着广泛的用户。2018年7月,Doris获得了全球著名开源社区Apache基金会的认可,通过投票成功进入Apache孵化器。之后将通过社区的力量,提供更加稳定、高效、易用的数据仓库服务。

平台架构

Doris 的定位是面向在线报表和分析的数据仓库系统,可以对标于商业的MPP 数据仓库系统,比如Greenplum、Vertica、Teradata 等。Doris架构如下:

系统架构

Doris 主要基于C++ 和Java 开发,集成了Google Mesa 和Apache Impala 的技术。将Mesa 与Impala 进行组合的基础上,Doris 被设计为一个不依赖于其他系统的简单且单一紧密耦合的系统,并实现了MySQL协议,使得用户可以像使用MySQL 一样无门槛的过渡到Doris,包括各种报表应用都可以通过MySQL协议连接Doris,同时获得高并发低延迟点查询性能,而且还能进行高吞吐量的即席分析查询。Doris 不仅提供大批量数据加载,而且还提供近乎实时的小批量,甚至流数据加载。此外Doris还具备高可用性,可靠性,容错性和可扩展性。

特点优势

Doris博采众长,形成了自己独特的优势:1)完全兼容MySQL协议;2)采用列式存储、对数据以高压缩比进行压缩存储、向量化执行等先进技术,因此获得了极高的查询效率;3)支持多种存储模型:同时支持类似于Mesa将列分为Key和Value的存储模型,同时支持Unique Key和Dup Key的存储模型。用户可以根据自己的业务场景,选用不同的存储模型;4)支持两层分区;5)支持多种数据导入方式;6)安全资源隔离扩容缩容;7)备份和恢复;8)支持web监控和管理;

适用场景

Doris适用场景主要包括:

1)高并发的点查询场景;

2)高吞吐的即席查询

3)BI报表分析

4)实时查询

更广泛地,Doris 支持本地文件、实时数据和HDFS文件的导入,通过兼容MySQL协议,用户可以将原来通过各种主流BI工具和可视化平台业务切换到Doris,改为直接连接Doris集群。

加载中

评论(5)

leanderlee
leanderlee 软件作者
代码:https://github.com/apache/incubator-doris 官网:http://doris.apache.org
M
Migga
谁能告诉我哪里可以下载安装文档?
格洛米借给你
搭建palo,只有一篇文档,用了4天,各种bug
Seifon
Seifon
百度的东西,可难用。
ming133
ming133
沙发,不知道好不好用!

全票通过,百度 Doris 项目进入 Apache 基金会孵化器​​​​​​​

根据最新的 Apache 基金会邮件列表,百度开源项目 Doris 已全票通过投票,正式成为 Apache 基金会的孵化器项目。 投票结果是,在包含 8 个约束性投票(binding votes)和 6 个无约束性投票(no...

07/14 07:57

百度开源 OLAP 引擎 Palo,高可用的 MPP 数据仓库

百度昨日正式开源 Palo ,这是一个百度自研的基于 MPP 的交互式 SQL 数据仓库,主要用于解决报表和多维分析。 Palo 主要集成了 Google Mesa 和 Cloudera Impala 技术。和其他流行的 SQL-on-H...

2017/08/12 08:02

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

Palo, Palo

什么是 Palo, Palo 是常驻型(memory resident)多维数据库(MOLAP),主要作为 BI 工具在 Spreadsheet 软件中实现 Controlling 和 Budgeting 的目的。通过 Palo,多个用户可以分析集中存储...

2010/10/20 00:52
384
0
大数据现状和未来展望--百度大数据主任架构师马如悦访谈

导读:6 月 1 ~ 2 日,GIAC 全球互联网架构大会将于深圳举行。GIAC 是一个面向架构师、技术负责人及高端技术从业人员的技术架构大会。今年的 GIAC 已经有腾讯、阿里巴巴、百度、今日头条、科...

05/24 16:29
15
0
键盘侧录app安全危机?恐有恶意可携式执行档

安全公司Palo Alto近日发现Google Play有145个感染Windows键盘侧录执行文件的app。而Google在获报后也将之移除。这145个app中的APK档分别在不同地点感染不同名称的Windows恶意可携式执行档(...

08/03 15:40
1
0
只用一台笔记本发动DDoS攻击 就能让大型服务器下线?

最近有研究人员发现了一种被称为BlackNurse的简单攻击方式,能够让独立入侵者能用有限的资源(一个有15Mbps带宽的笔记本)驱动大规模DDoS攻击,直接将大型服务器踢下线。

2016/11/23 16:17
29
0
新蠕虫出现:以Linux和Windows为目标

Palo Alto Networks的Unit 42研究团队发现了一种新的恶意软件类,能够针对Linux和Windows服务器,将硬币挖掘,僵尸网络和勒索软件功能结合在一个自我扩展的蠕虫软件包中。 正如Unit 42研究团...

09/26 17:02
0
0
嵌入式数据库

  Actian PSQL:Pervasive Software公司开发的ACID兼容的DBMS,在应用程序中嵌入了优化;   BerkeleyDB:为键/值数据提供一个高性能的嵌入式数据库的一个软件库;   HanoiDB:Erlang LS...

2016/08/20 16:49
31
0
苹果的侵权问题

本文中文来源:网站建设专家奥杰cms下载 抢滩登陆 2009-5-12 14:05:13 在2002年,苹果公司被认定为侵犯了OPTI公司的“predictive snooping”专利权,虽然苹果公司试图将专利抛弃,但还是被责...

2009/06/09 12:20
57
0
新蠕虫出现:以Linux和Windows为目标

正如Unit 42研究团队所详述的那样,名为Xbash的新恶意软件系列与Iron Group有关,Iron Group是一个以前知道可以执行勒索软件攻击的威胁行为者,显然已经转向更复杂的攻击媒介。 据观察,Xba...

09/26 09:09
9
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部