资讯评论 - 版本通告｜Apache Doris 0.15 Release 版本正式发布！ - OSCHINA

亲爱的社区小伙伴们，历时数个月精心打磨，我们很高兴地宣布， Apache Doris 于 2021 年 11 月 29 日迎来了 0.15.0 Release 版本的正式发布！有 99 位 Contributor为 Apache Doris 提交了近 700 项优化和修复，在此我们也对所有贡献者表示最真诚的感激！

在 0.15.0 Release 版本中，我们增加了诸多新功能，对 Apache Doris 的查询性能、易用性、稳定性方面等进行了全面优化：新增资源划分和隔离功能，用户可以通过资源标签的方式将集群中的 BE 节点划分为资源组，实现对在线、离线业务的统一管理和资源隔离；增加了 Runtime Filter 及 Join Reorder 功能，对多表 Join 场景的查询效率进行了大幅提升，在 Star Schema Benchmark 测试数据集下有 2-10 倍的性能提升；新增导入方式 Binlog Load ，使 Doris 可以增量同步 MySQL 中对数据更新操作的 CDC ；支持 String 列类型，长度最大支持 2GB ；支持 List 分区功能，可以通过枚举值创建分区；支持 Unique Key 模型上的 Update 语句；Spark-Doris-Connector 支持数据写入 Doris …… 还有更多重要特性。

我们欢迎大家在使用过程中，有任何问题通过 GitHub Discussion 或者 Dev 邮件组与我们取得联系，也期待大家参与社区讨论和建设中。

重要更新

资源划分与隔离

用户可以通过资源标签的方式将一个 Doris 集群中的 BE 节点划分成多个资源组，从而可以进行在线、离线业务的统一管理和节点级别的资源隔离。

同时，还可以通过限制单个查询任务的 CPU、内存开销以及复杂度，来控制单个查询的资源开销，从而降低不同查询之间的资源抢占问题。

性能优化

新增 Runtime Filter 及 Join Reorder 功能。Runtime Filter 功能通过使用 Join 算子中右表的 Join Key 列条件来过滤左表的数据，在大部分 Join 场景下可以显著提升查询效率。如在 Star Schema Benchmark (TPCH 的精简测试集) 下可以获得 2-10 倍的性能提升。

Join Reorder 功能可以通过通过代价模型自动帮助调整 SQL 中 Join 的顺序，以帮助获得最优的 Join 效率。可通过会话变量 set enable_cost_based_join_reorder=true 开启。

新增功能

支持直接对接 Canal Server 同步 MySQL binlog 数据。
支持 String 列类型，长度范围 1-2GB 。
支持 List 分区功能，可以针对枚举值创建分区。
支持事务性 Insert 语句功能。可以通过 begin ; insert ; insert; ,… ; commit ; 的方式批量导入数据。
支持在 Unique Key 模型上的 Update 语句功能。可以在 Unique Key 模型表上执行 Update Set where 语句。
支持 SQL 阻塞名单功能。可以通过正则、Hash 值匹配等方式阻止部分 SQL 的执行。
支持 LDAP 登陆验证。

拓展功能

支持 Flink-Doris-Connector 。
支持 DataX doriswriter 插件。
Spark-Doris-Connector 支持数据写入 Doris 。

功能优化

查询

支持在 SQL 查询规划阶段，利用 BE 的函数计算能力计算所有常量表达式。

导入

支持导入文本格式文件时，指定多字节行列分隔符或不可见分隔符。
支持通过 Stream Load 导入压缩格式文件。
Stream Load 支持导入多行格式的 Json 数据。

导出

支持 Export 导出功能指定 where 过滤条件。支持导出文件使用多字节行列分隔符。支持导出到本地文件。
Export 导出功能支持仅导出指定的列。
支持通过 outfile 语句导出结果集到本地磁盘，并支持导出后写入导出成功的标记文件。

易用性

动态分区功能支持创建、保留指定的历史分区、支持自动冷热数据迁移设置。
支持在命令行使用可视化的树形结构展示查询、导入的计划和 Profile。
支持记录并查看 Stream Load 操作日志。
通过 Routine Load 消费 Kafka 数据时，可以指定时间点进行消费。
支持通过 show create routine load 功能导出 Routine Load 的创建语句。
支持通过 pause/resume all routine load 命令一键启停所有 Routine Load Job。
支持通过 alter routine load 语句修改 Routine Load 的 Broker List 和 Topic。
支持 create table as select 功能。
支持通过 alter table 命令修改列注释和表注释。
show tablet status 增加表创建时间、数据更新时间。
支持通过 show data skew 命令查看表的数据量分布，以排查数据倾斜问题。
支持通过 show/clean trash 命令查看 BE 文件回收站的磁盘占用情况并主动清除。
支持通过 show view 语句展示一个表被哪些视图所引用。

新增函数

bitmap_min , bit_length
yearweek , week , makedate
percentile 精确百分位函数
json_array，json_object，json_quote
支持为 AES_ENCRYPT 和 AES_DECRYPT 函数创建自定义公钥。
支持通过 create alias function 创建函数别名来组合多个函数。

其他

支持访问 SSL 连接协议的 ES 外表。
支持在动态分区属性中指定热点分区的数量，热点分区将存储在 SSD 磁盘中。
支持通过 Broker Load 导入 Json 格式数据。
支持直接通过 libhdfs3 库访问 HDFS 进行数据的导入导出，而不需要 Broker 进程。
select into outfile 功能支持导出 Parquet 文件格式，并支持并行导出。
ODBC 外表支持 SQLServer。

下载使用

下载地址

http://doris.apache.org/master/zh-CN/downloads/downloads.html

升级说明

您可以从 Apache Doris 0.14.0 或 0.14.x 发行版本直接升级到 0.15.0 Release 版本，升级过程请参考文档：

http://doris.apache.org/master/zh-CN/installing/upgrade.html

更新日志

详细 Release Note 请查看链接：

https://github.com/apache/incubator-doris/issues/6806

意见反馈

如果您遇到任何使用上的问题，欢迎随时通过 GitHub Discussion 论坛或者 Dev 邮件组与我们取得联系。

GitHub 论坛：https://github.com/apache/incubator-doris/discussions

Dev 邮件组：dev@doris.apache.org

致谢

Apache Doris 0.15.0 Release 版本的发布离不开所有社区用户的支持，在此向所有参与版本设计、开发、测试、讨论的社区贡献者们表示感谢，他们分别是：

一贡献者名单一

@924060929
@acelyc111
@Aimiyoo
@amosbird
@arthur-zhang
@azurenake
@BiteTheDDDDt
@caiconghui
@caneGuy
@caoliang-web
@ccoffline
@chaplinthink
@chovy-3012
@ChPi
@copperybean
@crazyleeyang
@dh-cloud
@DinoZhang
@dixingxing0
@dohongdayi
@e0c9
@EmmyMiao87
@eyesmoons
@francisoliverlee
@Gabriel39
@gaodayue
@GoGoWen
@HappenLee
@harveyyue
@Henry2SS
@hf200012
@huangmengbin
@huozhanfeng
@huzk8
@hxianshun
@ikaruga4600
@JameyWoo
@Jennifer88huang
@JinLiOnline
@jinyuanlu
@JNSimba
@killxdcj
@kuncle
@liutang123
@luozenglin
@luzhijing
@MarsXDM
@mh-boy
@mk8310
@morningman
@Myasuka
@nimuyuhan
@pan3793
@PatrickNicholas
@pengxiangyu
@pierre94
@qidaye
@qzsee
@shiyi23
@smallhibiscus
@songenjie
@spaces-X
@stalary
@stdpain
@Stephen-Robin
@Sunt-ing
@Taaang
@tarepanda1024
@tianhui5
@tinkerrrr
@TobKed
@ucasfl
@Userwhite
@vinson0526
@wangbo
@wangliansong
@wangshuo128
@weajun
@weihongkai2008
@weizuo93
@WindyGao
@wunan1210
@wuyunfeng
@xhmz
@xiaokangguo
@xiaoxiaopan118
@xinghuayu007
@xinyiZzz
@xuliuzhe
@xxiao2018
@xy720
@yangzhg
@yx91490
@zbtzbtzbt
@zenoyang
@zh0122
@zhangboya1
@zhangstar333
@zuochunwei