本专区由 数据库 团队提供资讯和技术支持,欢迎社区成员申请加入管理小组。
数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
本专区由 数据库 团队提供资讯和技术支持,欢迎社区成员申请加入管理小组。
11月17日,StarRocks 年度大型技术交流峰会 StarRocks Summit 2023 在上海举行,来自平安银行、华润、腾讯游戏、阿里云、伊利、美的、京东等头部企业的大数据专家,均分享了自家在大数据分析领域的最新技术和最佳实践,吸引了数百名企业用户代表和开发者到场聆听交流。 这是 StarRocks 第三次举行年度技术交流峰会了。作为一款技术领先的开源 OLAP 数据库产品,StarRocks 一直备受大用户青睐,截至目前,已有超过300家市值10亿美... 展开更多
刚刚获悉,全球领先的IT研究和咨询公司IDC发布的《IDC MarketScape:中国分布式关系型数据库 2023年厂商评估》报告(以下称“报告”)显示,腾讯云位居中国分布式关系型数据库“领导者”类别,并在市场份额上取得国内领先成绩。 报告对腾讯云企业级分布式数据库TDSQL给出高度评价,认为TDSQL数据库拥有金融级分布式和云原生多引擎融合的完整数据库产品体系,提供业界领先的金融级高可用、计算存储分离、企业级安全等能力。客户覆... 展开更多
一、前言 SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持的SQL标准(默认支持SQL2、SQL3和SQL4的主要特性)。 本系列将以《云数据库GaussDB—SQL参考》为主线进行介绍。 二、GaussDB SQL 中的BOOLEAN表达式介绍 1、概念 在GaussDB数据库中,BOOLEAN表达式是一种很常见的表达式类型,它用于比较两个条件,来确定其是否为真或假。BOOLEAN表达式可以用于条件判断或在循环语句中作为终止条件。其语法非常简单,只需要使用... 展开更多
自从上世纪 70 年代数据库开始普及以来,DBA 们就不停地遭遇各种各样的数据库管理难题,其中最为显著的,可能就是日常的开发任务中,研发人员们对于核心库进行变更带来的一系列风险。 由于针对数据库的数据变更是一项非常常见的任务,几乎所有开发者都会涉及对核心数据库的结构、数据内容的修改,如果企业缺乏有效的数据安全方案,就可能导致一系列严重的问题,例如: 删库跑路:没有比这更坏的情况了,笔者知道的实际事件就有好... 展开更多
**本文导读:** 信息服务行业可以提供多样化、便捷、高效、安全的信息化服务,为个人及商业决策提供了重要支撑与参考。本文以某工商信息商业查询平台为例,介绍其从传统 Lambda 架构到基于 Doris Multi-Catalog 的湖仓一体架构演进历程。同时通过一系列实践,展示了如何保证数据的准确性和实时性,以及如何高效地处理和分析大规模数据,为信息服务行业提供了有价值的参考思路,有助于推动整个行业的发展和创新。 作者:某工商信... 展开更多
11月29日,中国信通院 2023 年下半年“可信数据库”评估评测结果正式发布,由 KaiwuDB 研发的开务数据库系统 KaiwuDB V2.0 达到信通院时序数据库性能、稳定性测试标准。 至此,KaiwuDB 已完成时序数据库基础能力、性能、稳定性全项评测,能够满足海量时序数据存储、处理、应用等各类场景数据管理需求。 KaiwuDB 分布式多模数据库系统具备分布式数据库的强一致性、高可用性、分布式架构、分布式水平扩展、高性能和企业级安全等特... 展开更多
11月19-21日,由各相关政府部门共同主办的“2023 中国 5G+工业互联网大会”在湖北武汉盛大举行。作为我国“5G+工业互联网”领域的国家级顶会,本届大会以“数实融合,大力推进新型工业化”为主题,聚焦新型基础设施、产业转型升级、技术创新能力、产业发展生态等热门领域。 KaiwuDB 受邀亮相大会,展示现代数据库技术在工业互联网领域的融合创新及业务实践,旗下产品分布式多模数据库及“Powered by KaiwuDB”的智慧能源解决方案... 展开更多
一、介绍 KaiwuDB 具备完善的行为数据采集功能,此功能要求 KaiwuDB 数据库系统 C/E/T 端不同进程的不同维度的指标采集功能十分完善;在不同进程完成指标采集后,会通过 Opentelemetry 和 Collector 将指标存入 Prometheus,以便查找展示。 Opentelemetry 是一个用于跨多个服务和系统进行分布式跟踪和性能监测的工具,可以帮助收集、记录和分析应用程序的各种数据。 Opentelemetry Collector 是其中的一个组件,它提供了一个通用... 展开更多
本期技术贴主要介绍查询执行引擎的优化。查询执行引擎负责将 SQL 优化器生成的执行计划进行解释,通过任务调度执行从存储引擎里面把数据读取出来,计算出结果集,然后返回给客户。 在关系型数据库发展的早期,受制于计算机 IO 能力的约束,计算在查询整体的耗时占比并不明显,这个时候关注重点主要放在对于查询的优化。优化器的好坏,对于执行计划的优劣有着重要的意义,查询执行引擎的作用在数据库优化中对应等级是相对弱化的。... 展开更多
10月28-29日,第八届中国开源年会(COSCon's23)在四川成都高新区菁蓉汇成功举办。作为开源领域的年度盛会,本次以“开源:川流不息、山海相映”为主题,吸引了众多行业学者、技术专家、开源爱好者的共同到场,KaiwuDB CTO 魏可伟受邀于主论坛发表《万物互联,探索新一代数据底座》主题演讲。 AI4DB—从数据中获取“知识”,提升数据活力 万物互联时代激发了数据应用的多样可能性,但同时也对数据管理这一课题提出更多诉求。在 ... 展开更多
单体架构下锁的实现方案 1. ReentrantLock全局锁 ReentrantLock(可重入锁),指的是一个线程再次对已持有的锁保护的临界资源时,重入请求将会成功。 简单的与我们常用的Synchronized进行比较: ReentrantLock Synchronized 锁实现机制 依赖AQS 监视器模式 灵活性 支持响应超时、中断、尝试获取锁 不灵活 释放形式 必须显示调用unlock()释放锁 自动释放监视器 锁类型 公平锁 & 非公平锁 非公平锁 条件队列 可关联多个条件队列 ... 展开更多
本文来自网易杭研大数据技术专家、Apache Kyuubi PMC Member、Apache Spark Committer 尤夕多, 内容主要围绕 Apache Spark 与 Native Engine 展开,分享什么是 Native Engine,为什么要做 Native Engine,以及怎么做 Native Engine。 前言 Apache Spark 是基于 JVM 语言开发的分布式计算引擎,其 SQL 单个算子的执行性能已经很长时间没有得到提升,比如 Aggregation,Join 等。我们从 Spark2 迁移升级到 Spark3 的主要性能收益... 展开更多
本文分享自华为云社区《GaussDB(DWS)查询优化技术大揭秘》,作者: 胡辣汤。 大数据时代,数据量呈爆发式增长,经常面临百亿、千亿数据查询场景,当数据仓库数据量较大、SQL语句执行效率低时,数据仓库性能会受到影响。本期《GaussDB(DWS)查询优化技术大揭秘》的主题直播中,我们邀请到华为云GaussDB(DWS)技术布道师王跃老师,深入讲解在GaussDB(DWS)中如何进行表结构设计,如何进行SQL优化,如何查找慢SQL和高频SQL。 一、认识... 展开更多
Pika 社区近期发布了备受期待的 v3.5.2 版本 https://github.com/OpenAtomFoundation/pika/releases/tag/v3.5.2-alpha ,不仅解决了历史遗留的 Bug问题,还引入了多项新特性。这些新特性主要包括 Pika 支持 Redis 事务、Pika 上层增加缓存层实现冷热数据分离、提升读性能、Codis-Proxy 支持动态修改配置参数等等,无疑将会让用户感受到更为高效和稳定的使用体验。 # 1 新特性 * Pika 支持 Redis 事务,使得 Pika 的数据够在一系... 展开更多
EXPLAIN 执行计划 有了慢查询语句后,就要对语句进行分析。一条查询语句在经过 MySQL 查询优化器的各种基于成本和规则的优化会后生成一个所谓的执行计划,这个执行计划展示了接下来具体执行查询的方式,比如多表连接的顺序是什么,对于每个表采用什么访问方法来具体执行查询等等。EXPLAIN 语句来能够查看某个查询语句的具体执行计划,要搞懂 EPLATN 的各个输出项都有什么作用,从而可以有针对性的提升查询语句的性能。 通过使用... 展开更多
网易杭州研究院、网易数帆大数据专家燕青再添新头衔,这一次,是 Apache Incubator PMC 成员。 近日,Apache Incubator PMC(Apache 软件基金会孵化器项目管理委员会,简称 IPMC)宣布,接纳燕青(Kent Yao)为 Apache Incubator PMC 成员,参与对是否接纳项目进入 Apache 基金会孵化的表决。 Apache 软件基金会是全球顶尖的开源基金会,是超过 350 个开源项目和计划的全志愿开发者、管理者和孵化者。此次燕青通过投票成为 Apac... 展开更多
查询并聚合一个「给定长度的时间范围的数据」,是时序数据中常见的一种查询模式。例如 `PromQL` 中的 `Range selector`,就原生地支持了这种时序查询。但对于通用的数据库查询语言 SQL ,这类时序查询很难通过原生的 SQL 完成,所以我们在 GreptimeDB 中引入了扩展的 SQL `Range` 查询语法,将时序查询能力与 SQL 高度灵活的表达能力相结合,实现了 SQL 对时序数据查询的原生支持。 > ✨ 让数据动起来! > 使用 SQL 在 Greptime... 展开更多
## 开源故事 也许在进入软件行业的第一天,我们就已经与开源结缘。 很难想象没有开源的世界会是什么样子,非要举个例子的话,就好比菜谱不再公开,那所有人都只能自研,说不好连麻婆豆腐都需要远赴蜀地才能品上一品。正因为开源,我们得以共享珍贵的的食谱,所以也愿意将自研的食谱无私贡献出去。 作为一个现代的软件从业者,怎么能不在开源的世界里有些许经验呢?Greptime 三位创始人从职业早期就融入到了开源社区中,在受益的... 展开更多