导读：本文是货拉拉大数据引擎负责人杨秋吉在 DataFunSummit 2022 多维分析架构峰会上的演讲分享，分享的主题是《货拉拉基于 Apache Doris 的 OLAP 体系演进及建设方法》，详细讲解了货拉拉从 OLAP1.0 到 3.0 的演进过程，其中不乏有值得借鉴的方法论以及深刻的技术思考，希望能对大家有所帮助。 分享人｜货拉拉大数据引擎负责人 杨秋吉 业务背景 货拉拉成立于 2013 年，成长于粤港澳大湾区，是一家从事同城、跨城货运、企业版物...

目录 查询重写介绍 示例：外连接消除Outer2Inner 查询重写介绍 SQL语言是丰富多样的，非常的灵活，不同的开发人员依据经验的不同，手写的SQL语句也是各式各样，另外还可以通过工具自动生成。SQL语言是一种描述性语言，数据库的使用者只是描述了想要的结果，而不关心数据的具体获取方式，输入数据库的SQL语言很难做到是以最优形式表示的，往往隐含了一些冗余信息，这些信息可以被挖掘用来生成更加高效的SQL语句。查询重写就是把用...

Pencil 网易游戏数据与平台的离线平台组高级开发工程师，目前负责 Trino(Presto)/Doris 等组件的开发和业务支持工作。离线平台小组目前为广州互娱的大数据离线计算提供了接近 EB 级别的大数据存储集群服务，以及 Hive/Spark/Presto/Doris/ClickHouse 等计算框架的开发与业务支持。 一、背景 随着公司游戏业务的高速发展，越来越多的分析需求涌现，例如：各类游戏用户行为分析、商业智能分析、数仓报表等。这些场景的数据体量都较...

原创｜ 得物技术-魏巍 一、背景 现货业务目前基于算法模型+运营配置得出订单预计履约时长，由于时效策略调整需求且现货订单数据回收周期较长，因此需要建设时效仿真平台能力，产品自行根据业务需要进行时效仿真实验并得到对应结果。 1.1 目标 缩短决策周期，分钟级获取时效仿真实验结果； 搭建自助时效仿真平台，节约开发人力； 固化时效仿真能力，提升时效预估模型优化效率； 1.2 难点 每次圈定的时效仿真订单数据超过百万，分...

摘要：在传统数据库中SQL引擎一般指对用户输入的SQL语句进行解析、优化的软件模块。SQL的解析过程主要分为：词法、语法和语义分析。 本文分享自华为云社区《 openGauss内核分析（三)：SQL解析》，作者：Gauss松鼠会。 在传统数据库中SQL引擎一般指对用户输入的SQL语句进行解析、优化的软件模块。 SQL的解析过程主要分为： • 词法分析：将用户输入的SQL语句拆解成单词(Token)序列，并识别出关键字、标识、常量等。 • 语法分析：...

导语 PostgreSQL数据库是功能强大的开源数据库，越来越多的公司开始使用PostgreSQL。存储系统是PostgreSQL的最底层模块，它向下通过操作系统接口访问物理数据，向上为上层模块提供存储操作的接口和函数。本文通过对PostgreSQL的存储结构进行浅析，帮助大家了解这一强大的关系型数据库是如何存储数据的。 - 数据目录 - PostgreSQL安装完成后必须先使用initdb程序初始化磁盘上的数据存储区，生成模板数据库和相应的目录、文件信息...

> 本文首发于 **[Nebula Graph Community 公众号](https://c1n.cn/06ghR)**  ## 一、项目背景 微澜是一款用于查询技术、行业、企业、科研机构、学科及其关系的知识图谱应用，其中包含着百亿级的关系和数十亿级的实体，为了使这套业务能够完美运行起来，经过...

MongoDB在腾讯零售优码中的应用 CSIG腾讯优码团队/腾讯云MongoDB团队 本文主要分享腾讯智慧零售团队优码业务在MongoDB中的应用，采用MongoDB作为主存储服务给业务带来了较大收益，主要包括：高性能、快捷的DDL操作、低存储成本、超大存储容量等收益，极大的降低了业务存储成本，并提升了业务迭代开发效率。 业务场景 腾讯优码从连接消费者到连接渠道终端，实现以货的数字化为基础的企业数字化升级，包含营销能力升级和动销能力升...

编者荐语：随着领创集团的快速发展，为了满足十亿级数据量的实时报表统计与决策分析，领创集团选择了 Flink + Doris 的实时数仓方案。本篇文章详尽了介绍了此方案的实践过程。 以下文章来源于领创集团Advance Group， 作者苏浩 原文链接：https://mp.weixin.qq.com/s/qg_4nsfo5gxwe8_1OiWVSA 业务背景 Advance Intelligence Group（领创集团）成立于 2016 年，是一家以 AI 技术驱动的科技集团，致力于通过科技创新的本地化应用，...

随着累积的数据量的增大，大数据业务量的增多，数据存储和处理的成本越来越高，企业数据基础设施的投资越来越大。同时，大数据处理组件多，不同组件使用不同的数据处理格式，比如大家熟悉的数据湖、数据仓库使用的就是不同的格式，多样化的数据格式导致数据存储变得复杂，系统中应对不同的场景，往往同样的数据需要存储多份，不同组件之间还需要大量的数据拷贝和格式转换，消耗大量的资源。 在当前越来越强调云原生的环境下，存...

 > **导读**：很多同学在使用Go和数据库打交道的过程中，经常会遇到一些异常不知道为什么，本文从SQL连接池的原理进行分析，模拟了一些例子对异常的现象进行解读分析，并给出一些常见的应对手段，期望能帮助到大家。 > > > > _全文12795字，预计阅读时间32分钟_ 有很多同学遇到了 MySQL 查询缓慢的问...

应用实践 | Apache Doris 整合 Iceberg + Flink CDC 构建实时湖仓一体的联邦查询分析架构 导读：这是一篇非常完整全面的应用技术干货，手把手教你如何使用 Doris+Iceberg+Flink CDC 构建实时湖仓一体的联邦查询分析架构。按照本文中步骤一步步完成，完整体验搭建操作的完整过程。 作者｜Apache Doris PMC 成员 张家锋 1.概览 这篇教程将展示如何使用 Doris+Iceberg+Flink CDC 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供...

目录 存储方式比较 优缺点比较 行存与列存实验 选择建议 注意事项 好多人最开始学习数据库的时候，是关系数据库，数据以表格形式存储，一行表示一条记录。其实这种就是典型的行存储（Row-based store），将表按行存储到磁盘分区上。 而一些数据库还支持列存储（Column-based store），它将表按列存储到磁盘分区上。 存储方式比较 这两者的差异如下图： 从图上可以看出，行存的时候，一行记录的属性值存储在临近的空间，然后接着...

原文来源：https://tidb.net/blog/7747fec7 故事背景 上周同事收到tidb生产集群告警，node_exporter组件发生了重启，与同事交流了一下相关历史告警，发现node_exporter组件总是时不时的重启，并触发告警，并且整个集群各个节点都有发生过这个现象。 这里先简单介绍下node_exporter组件相关背景以及它的作用：TiDB 使用开源时序数据库 Prometheus 作为监控和性能指标信息存储方案，而node_exporter是Prometheus的指标数据收集组件...

作者： Zeratulll 原文来源：https://tidb.net/blog/9468d259 MySQL中，一般情况下我们不需要关注有序数据的写入在Innodb的Btree上是否存在热点，因为它能承担的吞吐量是比较大的，在单机的范畴内不太容易达到瓶颈。 但是在TiDB中，写入有序数据很容易导致热点，这个热点与单机数据库不同。如果一个节点成为了热点（只有它在工作，或者所有请求都需要访问它），那整个集群无论增加多少台机器，都对提升数据库的性能容量毫无帮助...

作者： Ann_ann 原文来源：https://tidb.net/blog/6035684e 理想型的数据库应该具备的特点 强一致性和高可用； 高吞吐、高并发、低延迟； 标准SQL、支持 ACID 事务； 大数据生态友好； 有水平扩张能力，并且尽量做到不侵入业务； 数据库架构选型 TiDB与MySQL对比 TiDB 和 MySQL 兼容策略 可参考：https://docs.pingcap.com/zh/tidb/stable/mysql-compatibility 截至 4.0 版本，TiDB 与 MySQL 的区别总结： 对于海量数据及大表的...

\n> 原文来源：https://tidb.net/blog/b29eb6fd\n\n# 背景 在 v6.0.0 版本，针对悲观事务引入了内存悲观锁的优化（In-memory lock），从压测数据来看，带来的性能提升非常明显（Sysbench 工具压测 oltp_write_only 脚本）。 Tps 提升 30% 左右 减少 Latency 在 15% 左右 TiDB 事务模型从最初的乐观事务到悲观事务；在悲观事务上，又针对悲观锁进行的 ”Pipelined 写入“ 和 ”In-memory lock“ 优化，从功能特性上可以看出演进过...

\n> 原文来源：https://tidb.net/blog/845e490e\n\n本文演示如何使用C#语言实现对TiDB的基础增删改查操作，包含了C#中常用的几种数据库访问方式。 相关环境 Ubuntu 18.04 .NET 6.0 C# 10 Visual Studio Code 1.63.2 TiDB 6.0-DMR 创建TiDB测试集群 你可以使用以下方式快速搭建一个TiDB测试集群： 使用TiDB Cloud免费创建在线集群 使用TiUP部署本地测试集群 使用TiUP部署标准TiDB集群 使用 TiDB Operator在Kubernetes中部署TiDB集...

> 本文首发于 **[Nebula Graph Community 公众号](https://c1n.cn/mUzKD)** > 本次实践是基于业务需求及后续扩展，通过技术选型确定了 Nebula Graph 图数据库，首先需要验证 Nebula Graph 数据库在实际业务场景下批量导入性能并验证。通过 Spark On Yarn 分布式任务执行导入工作，CSV 文件放在 HDFS 上，分享下个人 Nebula Spark Connector 最佳实践。。 ## 一、Nebula Spark Connector 概念、适用场景、优势 这里不做赘述，仅截...

摘要：本文将围绕WITH，以及更高阶的WITH RECURSIVE表达式介绍其语法特征和具体使用规范，以及在GaussDB(DWS)中如何进行WITH表达式的调优 本文分享自华为云社区《GaussDB(DWS) SQL进阶之SQL操作之WITH表达式》，作者： 两杯咖啡 。 SQL标准1999中，在传统SQL语法的基础上增加了with表达式的使用，使得SQL语句的编程可以更加灵活和具备可扩展性。本文将围绕with，以及更高阶的with recursive表达式介绍其语法特征和具体使用规范，...