Apache Doris 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache Doris 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: Apache License v2.0
开发语言: Java C/C++
操作系统: Linux
开发厂商: Apache
收录时间: 2017-08-12
提 交 者: leanderlee

Apache Doris (incubating)(原Palo)是一款百度大数据团队自主研发的MPP数据库,其功能和性能已达到或超过国内外同类产品。自2017年在GitHub上开源以来,先后被小米、美团、链家、品友互动、瓜子、搜狐等十多家互联网公司使用。同时,Doris 在公司内部署超过1000台机器,服务超200业务,单业务最大容量500TB;在百度云上,Doris作为大数据分析工具中的数据仓库有着广泛的用户。2018年7月,Doris获得了全球著名开源社区Apache基金会的认可,通过投票成功进入Apache孵化器。之后将通过社区的力量,提供更加稳定、高效、易用的数据仓库服务。

平台架构

Doris 的定位是面向在线报表和分析的数据仓库系统,可以对标于商业的MPP 数据仓库系统,比如Greenplum、Vertica、Teradata 等。Doris架构如下:

系统架构

Doris 主要基于C++ 和Java 开发,集成了Google Mesa 和Apache Impala 的技术。将Mesa 与Impala 进行组合的基础上,Doris 被设计为一个不依赖于其他系统的简单且单一紧密耦合的系统,并实现了MySQL协议,使得用户可以像使用MySQL 一样无门槛的过渡到Doris,包括各种报表应用都可以通过MySQL协议连接Doris,同时获得高并发低延迟点查询性能,而且还能进行高吞吐量的即席分析查询。Doris 不仅提供大批量数据加载,而且还提供近乎实时的小批量,甚至流数据加载。此外Doris还具备高可用性,可靠性,容错性和可扩展性。

特点优势

Doris博采众长,形成了自己独特的优势:1)完全兼容MySQL协议;2)采用列式存储、对数据以高压缩比进行压缩存储、向量化执行等先进技术,因此获得了极高的查询效率;3)支持多种存储模型:同时支持类似于Mesa将列分为Key和Value的存储模型,同时支持Unique Key和Dup Key的存储模型。用户可以根据自己的业务场景,选用不同的存储模型;4)支持两层分区;5)支持多种数据导入方式;6)安全资源隔离扩容缩容;7)备份和恢复;8)支持web监控和管理;

适用场景

Doris适用场景主要包括:

1)高并发的点查询场景;

2)高吞吐的即席查询

3)BI报表分析

4)实时查询

更广泛地,Doris 支持本地文件、实时数据和HDFS文件的导入,通过兼容MySQL协议,用户可以将原来通过各种主流BI工具和可视化平台业务切换到Doris,改为直接连接Doris集群。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Apache Doris 的相关博客

Palo, Palo

什么是 Palo, Palo 是常驻型(memory resident)多维数据库(MOLAP),主要作为 BI 工具在 Spreadsheet 软件中实现 Controll...

Palo Alto GlobalProtect上的PreAuth RCE

0x00 前言 SSL VPN虽然可以保护企业资产免受互联网被攻击的风险影响,但如果SSL VPN本身容易受到攻击呢?它们暴露在互联网上,...

从Google Mesa到百度PALO(数仓)

最近在研究OLAP相关的技术,正好看到Google 2014年的论文《Mesa: Geo-Replicated, Near RealTime, Scalable Data Warehousin...

Palo Alto PAN-OS 10.0 VM 百度网盘下载,全球首个基于机器学习的新一代防火墙

Palo Alto Networks PAN-OS 10.0: World's First ML-Powered NGFW PA-VM-ESX-10.0.0.ova 关键新特性: SSL Decryption Suppo...

聚力战“疫”,赋能安全暨2020信息安全网络峰会开启报名!

聚力战“疫”,赋能安全 一场突如其来的新冠“疫情”正在全球肆虐,面对这场没有硝烟的战“疫”,全中国,乃至全世界都在众志...

CentOS 上使用vscode 调试百度大数据分析框架Apache Doris BE

A: 前期准备工作 1. 安装vscode,详细请参见vscode官网https://code.visualstudio.com/docs/setup/linux,摘要如下: sudo r...

聚力战“疫”,赋能安全暨2020信息安全网络峰会开启报名!

聚力战“疫”,赋能安全 一场突如其来的新冠“疫情”正在全球肆虐,面对这场没有硝烟的战“疫”,全中国,乃至全世界都在众志...

聚力战“疫”,赋能安全暨2020信息安全网络峰会开启报名!

聚力战“疫”,赋能安全 一场突如其来的新冠“疫情”正在全球肆虐,面对这场没有硝烟的战“疫”,全中国,乃至全世界都在众志...

聚力战“疫”,赋能安全暨2020信息安全网络峰会开启报名!

聚力战“疫”,赋能安全 一场突如其来的新冠“疫情”正在全球肆虐,面对这场没有硝烟的战“疫”,全中国,乃至全世界都在众志...

思科等多款企业级VPN因允许黑客绕过身份认证被点名

美国电脑网路危机处理暨协调中心(CERT/CC)上周指出,有多家业者所开发的虚拟私人网路(Virtual Private Network,VPN)含有...

评论 (9)

加载中
欢迎关注ApacheDoris官方wx公众号~ 搜索wx号morningman-cmy进开源用户社区群共同探讨~
04/03 14:47
回复
举报

引用来自“格洛米借给你”的评论

搭建palo,只有一篇文档,用了4天,各种bug
俺已经花了3天了,第一天直接编译,死活不出来,第二天用docker编译,还好OK了,第三天到fe卡住了,9030的服务没起来是怎么搞的?
2019/05/22 14:14
回复
举报

引用来自“leanderlee”的评论

代码:https://github.com/apache/incubator-doris 官网:http://doris.apache.org

引用来自“tomcccc”的评论

看到doris很兴奋,立马下载编译完,fe部署后的jps,有PaloFe进程,netstat -lntp 查看端口,只有9010,8030没有看到9030端口,是不是有问题?BE不能注册,这个是哪里配置有问题?
Doris能建个QQ群吗,方便使用者交流。
2019/05/22 14:11
回复
举报

引用来自“leanderlee”的评论

代码:https://github.com/apache/incubator-doris 官网:http://doris.apache.org
看到doris很兴奋,立马下载编译完,fe部署后的jps,有PaloFe进程,netstat -lntp 查看端口,只有9010,8030没有看到9030端口,是不是有问题?BE不能注册,这个是哪里配置有问题?
2019/05/22 14:08
回复
举报
打分: 力荐
代码:https://github.com/apache/incubator-doris 官网:http://doris.apache.org
2018/11/12 14:49
回复
举报
谁能告诉我哪里可以下载安装文档?
2018/09/04 16:15
回复
举报
搭建palo,只有一篇文档,用了4天,各种bug
2018/03/14 08:28
回复
举报
百度的东西,可难用。
2017/08/23 00:52
回复
举报
沙发,不知道好不好用!
2017/08/12 08:11
回复
举报
更多评论
9 评论
208 收藏
分享
返回顶部
顶部