本专区由 数据库 团队提供资讯和技术支持，欢迎社区成员申请加入管理小组。
数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
加载中
置顶
发表了博客
05/23 16:30
经常关注慢查询日志的读者，和 Lock_time 应该算是老相识了，大家对这位老相识了解有多少呢？ 研究 Lock_time 之前，我对它的了解，仅限于它表示锁等待时间。至于它包含哪些锁等待时间、怎么计算得到的，我并不清楚。 所以，我一直有个困惑：为什么有些 SQL 执行时间很长，Lock_time 却很小（例如：0.001 秒）? 今天我们就一起来看看，Lock_time 包含哪些锁等待时间、以及是怎么计算得到的？ 本文基于 MySQL 8.0.32 源码，存储引... 展开更多
置顶
运营/编辑
发表了博客
05/25 19:16
全球开源技术峰会（Global Open-source Technology Conference，简称 GOTC）是由开放原子开源基金会、 Linux 基金会亚太区、上海浦东软件园和开源中国联合发起的，面向全球开发者的一场盛大开源技术盛宴。 GOTC 2023 将于 5 月 27 日至 28 日在上海张江科学会堂召开。大会将以行业展览、主题发言、特别论坛、分论坛的形式展现，与会者将一起探讨元宇宙、3D 与游戏、eBPF、Web3.0、区块链等热门技术主题，以及开源社区、AIGC、汽... 展开更多
置顶
运营/编辑
发表了博客
05/25 13:11
全球开源技术峰会（Global Open-source Technology Conference，简称 GOTC）是由开放原子开源基金会、 Linux 基金会亚太区、上海浦东软件园和开源中国联合发起的，面向全球开发者的一场盛大开源技术盛宴。 GOTC 2023 将于 5 月 27 日至 28 日在上海张江科学会堂召开。大会将以行业展览、主题发言、特别论坛、分论坛的形式展现，与会者将一起探讨元宇宙、3D 与游戏、eBPF、Web3.0、区块链等热门技术主题，以及开源社区、AIGC、汽... 展开更多
置顶
发表了博客
05/25 14:34
作者：SelectDB 高级研发工程师、Apache Doris Committer 邹新一 背景 Apache Doris 作为基于 MPP 架构的 OLAP 数据库，数据从磁盘加载到内存后，会在算子间流式传递并计算，在内存中存储计算的中间结果，这种方式减少了频繁的磁盘 I/O 操作，充分利用多机多核的并行计算能力，可在性能上呈现巨大优势。 在面临内存资源消耗巨大的复杂计算和大规模作业时，有效的内存分配 、统计、 管控对于系统的稳定性起着十分关键的作用——更... 展开更多
置顶
发表了博客
05/25 10:37
在Elasticsearch这样的分布式系统中执行类似SQL的join连接是代价是比较大的，然而，Elasticsearch却给我们提供了基于水平扩展的两种连接形式 。这句话摘自Elasticsearch官网，从“然而”来看，说明某些场景某些情况下我们还是可以使用的 ## **一、join总述** ### **1、关系类比** 在关系型数据库中，以MySQL为例，尤其B端类系统且数据量不是特别大的场景，我们经常用到join关键字对有关系的两张或者多张表进行关联查询。但是当数... 展开更多
置顶
发表了博客
05/25 10:18
## 1 前言  京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展 Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次深度分页导出导致ES宕机、不能精确去重统计，多个字段聚合计算时性能下降明显。所以引入ClickHouse来处理这些弊端。 数据... 展开更多
置顶
发表了博客
05/22 16:30
作者：李锡超 一个爱笑的江苏苏宁银行数据库工程师，主要负责数据库日常运维、自动化建设、DMP 平台运维。擅长 MySQL、Python、Oracle，爱好骑行、研究技术。 本文来源：原创投稿 * 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 一、问题现象 研发同学反馈某测试应用系统存在异常，分析应用的错误日志、CPU、内存和磁盘 IO 等指标后，未发现相关异常。请求配合确认数据库运行情况。 关键配置... 展开更多
置顶
发表了博客
05/24 09:50
1 背景 京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次分页导出导致宕机、存储成本较高。 Elasticsearch的查询语句维护成本较高、在聚合计算场景下出现数据不精确等问题。Clickhouse是列式数据库，列式型数据库天然适合OLAP场景，类似SQL语法降低开发和学习成本，采用快速压缩算法节省存储成本，采用向量执行... 展开更多
置顶
发表了博客
05/23 13:28
背景 目前随着公司业务的不断扩展，各个业务线的数据也越来越多，如果所有数据都集中管理比较错综复杂。MaxCompute的跨项目访问资源比较适合这样的场景。每个业务线创建对应的project，自行管理数据。如果有需要访问其他业务线数据的诉求，可以基于Package实现数据共享的诉求，下面我们来介绍下基于Package实现跨项目访问资源的具体操作，本文以共享自建udf函数为例。 前期准备 MaxCompute项目projectA 和 projectB，详情参考 ... 展开更多
置顶
发表了博客
05/22 11:18
摘要：本文详细梳理分析了DWS服务面临软硬件故障场景和对应的修复原理，希望借此能够让你对DWS的集群故障修复有个全面深入的了解。 本文分享自华为云社区《GaussDB(DWS)故障修复系统性介绍》，作者： 闻鲜生。 DWS是一个分布式架构的MPP集群，物理部署上涉及数百数千台主机和对应的磁盘，以及这些主机所在的大规模分布式高速组网环境。在逻辑上，MPPDB包括CM、GTM、CN、DN各种实例组件的配合工作。因此DWS的故障场景较多，不过我... 展开更多
置顶
发表了博客
05/17 16:30
作者：许祥 爱可生 MySQL DBA 团队成员，负责处理客户 MySQL 及我司自研 DMP 平台日常运维中的问题。 本文来源：原创投稿 * 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 背景 之前碰到客户咨询定位 DDL 阻塞的相关问题，整理了一下方法，如何解决 DDL 被阻塞的问题。下面，就这个问题，整理了一下思路： 怎么判断一个 DDL 是不是被阻塞了？ 当 DDL 被阻塞时，怎么找出阻塞它的会话？ 1. 如何... 展开更多
置顶
发表了博客
05/22 10:41
摘要：MySQL一张表最多能存多少数据？ 本文分享自华为云社区《为什么MySQL单表不能超过2000万行？》，作者： GaussDB 数据库 。 最近看到一篇《我说MySQL每张表最好不要超过2000万数据，面试官让我回去等通知》的文章，非常有趣。 文中提到，他朋友在面试的过程中说，自己的工作就是把用户操作信息存到MySQL里，因为数据量超大（5000万条左右），需要每天定时生成3张表，然后将数据取模分别存到这三张表里。 下面是两人的对话：... 展开更多
置顶
发表了博客
05/22 10:15
导读 本文是线上问题处理案例系列之一，旨在通过真实案例向读者介绍发现问题、定位问题、解决问题的方法。本文讲述了从垃圾回收耗时过长的表象，逐步定位到数据库连接池保活问题的全过程，并对其中用到的一些知识点进行了总结。 一、问题描述 大促期间，某接口超时次数增多，经排查直接原因是GC耗时过长，查看监控FullGC达500ms以上，接口超时时间与FullGC发生时间吻合。 图1 FullGC耗时监控 二、应用基本情况 容器：8C12G； JV... 展开更多
置顶
发表了博客
05/19 14:51
摘要：有一种数据泄露的死敌，叫全密态！ 本文分享自华为云社区《这年头怕数据泄露？全密态数据库：无所谓，我会出手》，作者：GaussDB 数据库。 吊炸天的全密态数据库，到底是个啥？ 藏不住了，这全密态数据库真上头！ 有一种数据泄露的死敌，叫全密态！ 数据被标价售卖 莫名其妙接到诈骗电话 企业数据泄露事件让人恐慌 ...... 表面上看 似乎是个人数据信息的泄露 再深究 其实是掌握着个人数据信息的企业 面临的数据泄露、数据... 展开更多
置顶
发表了博客
05/19 18:48
## **1.背景** 2020年以来内容标注结果搜索就是社区中后台业务的核心高频使用场景之一，为了支撑复杂的后台搜索，我们将社区内容的关键信息额外存了一份到Elasticsearch中作为二级索引使用。随着标注业务的细分、迭代和时间的推移，这个索引的文档数和搜索的RT开始逐步上升。下面是这个索引当前的监控情况。  本文介绍社区**利用IndexSorting，将亿级文档搜索性能由最开始2... 展开更多
置顶
发表了博客
05/16 19:02
导读： 随着天眼查近年来对产品的持续深耕和迭代，用户数量也在不断攀升，业务的突破更加依赖于数据赋能，精细化的用户/客户运营也成为提升体验、促进消费的重要动力。在这样的背景下正式引入 Apache Doris 对数仓架构进行升级改造，实现了数据门户的统一，大大缩短了数据处理链路，数据导入速率提升 75 %，500 万及以下人群圈选可以实现毫秒级响应，收获了公司内部数据部门、业务方的一致好评。 作者： 王涛，天眼查实时计算负... 展开更多
置顶
发表了博客
05/18 11:36
摘要：本文提供一种GaussDB DWS迁移CONNECT BY语法方案。 本文分享自华为云社区《GaussDB(DWS)迁移 - oracle兼容 -- CONNECT BY迁移》，作者： 譡里个檔 。 CONNECT BY NOCYCLE 1) 预置对象定义 DROP SCHEMA IF EXISTS "sdifin" CASCADE; CREATE SCHEMA "sdifin"; DROP TABLE IF EXISTS "sdifin"."ogg_ets_bas_instrument_t_2670"; SET search_path = sdifin; CREATE TABLE ogg_ets_bas_instrument_t_2670 ( bas_instrume...... 展开更多
置顶
发表了博客
05/19 09:29
目录 一、实验环境 二、登录华为云创建测试库表 1、登录GaussDB云数据库 2、建库、建表,用于测试 3、新增普通角色（用户）用于登录及访问测试（可选） 4、获取对应的公网IP 三、创建java工程 1、创建java工程 2、添加jar包 3、编辑Java代码 四、执行并查看测试结果 一、实验环境 1、本地JDB版本：本实验版本：JDK版本：Java 11.0.17 (登录网址：Java Downloads | Oracle ，选择对应jdk版本下载安装即可) 2、华为云环境：广州-友... 展开更多
置顶
运营/编辑
发表了博客
05/18 18:39
一个词来介绍我，我是个经历者，但更像一个观察者。我其实是整个软件行业过去 20 多年的一个见证者和观察者。作为观察者要有客观总结能力，然后包括对未来的一些看法，但是未来的看法不一定对，比如说 GPT 的看法没有人能打包票。 ——PingCAP 副总裁 刘松 每个时代都需要观察者，尤其是在技术变革加速的今天。在 GPT 带来的震荡之中，各领域技术都在寻找新的方向， 数据库技术也不例外，动作快的数据库和服务厂商也已经集成了 ... 展开更多
置顶
发表了博客
05/17 18:14
 数据库的内存管理是数据库内核设计中的重要模块，内存的可度量、可管控是数据库稳定性的重要保障。同样的，内存管理对图数据库 NebulaGraph 也至关重要。 图数据库的多度关联查询特性，往往使图数据库执行层对内存的需求量巨大。本文主要介绍 NebulaGraph v3.4 版本中引入的新特性 Memory Tracker，希望通过 Memory Track... 展开更多
没有更多内容
加载失败，请刷新页面
