摘要：MySQL一张表最多能存多少数据？ 本文分享自华为云社区《为什么MySQL单表不能超过2000万行？》，作者： GaussDB 数据库 。 最近看到一篇《我说MySQL每张表最好不要超过2000万数据，面试官让我回去等通知》的文章，非常有趣。 文中提到，他朋友在面试的过程中说，自己的工作就是把用户操作信息存到MySQL里，因为数据量超大（5000万条左右），需要每天定时生成3张表，然后将数据取模分别存到这三张表里。 下面是两人的对话：... 展开更多
导读 本文是线上问题处理案例系列之一，旨在通过真实案例向读者介绍发现问题、定位问题、解决问题的方法。本文讲述了从垃圾回收耗时过长的表象，逐步定位到数据库连接池保活问题的全过程，并对其中用到的一些知识点进行了总结。 一、问题描述 大促期间，某接口超时次数增多，经排查直接原因是GC耗时过长，查看监控FullGC达500ms以上，接口超时时间与FullGC发生时间吻合。 图1 FullGC耗时监控 二、应用基本情况 容器：8C12G； JV... 展开更多
摘要：有一种数据泄露的死敌，叫全密态！ 本文分享自华为云社区《这年头怕数据泄露？全密态数据库：无所谓，我会出手》，作者：GaussDB 数据库。 吊炸天的全密态数据库，到底是个啥？ 藏不住了，这全密态数据库真上头！ 有一种数据泄露的死敌，叫全密态！ 数据被标价售卖 莫名其妙接到诈骗电话 企业数据泄露事件让人恐慌 ...... 表面上看 似乎是个人数据信息的泄露 再深究 其实是掌握着个人数据信息的企业 面临的数据泄露、数据... 展开更多
## **1.背景** 2020年以来内容标注结果搜索就是社区中后台业务的核心高频使用场景之一，为了支撑复杂的后台搜索，我们将社区内容的关键信息额外存了一份到Elasticsearch中作为二级索引使用。随着标注业务的细分、迭代和时间的推移，这个索引的文档数和搜索的RT开始逐步上升。下面是这个索引当前的监控情况。  本文介绍社区**利用IndexSorting，将亿级文档搜索性能由最开始2... 展开更多
导读： 随着天眼查近年来对产品的持续深耕和迭代，用户数量也在不断攀升，业务的突破更加依赖于数据赋能，精细化的用户/客户运营也成为提升体验、促进消费的重要动力。在这样的背景下正式引入 Apache Doris 对数仓架构进行升级改造，实现了数据门户的统一，大大缩短了数据处理链路，数据导入速率提升 75 %，500 万及以下人群圈选可以实现毫秒级响应，收获了公司内部数据部门、业务方的一致好评。 作者： 王涛，天眼查实时计算负... 展开更多
摘要：本文提供一种GaussDB DWS迁移CONNECT BY语法方案。 本文分享自华为云社区《GaussDB(DWS)迁移 - oracle兼容 -- CONNECT BY迁移》，作者： 譡里个檔 。 CONNECT BY NOCYCLE 1) 预置对象定义 DROP SCHEMA IF EXISTS "sdifin" CASCADE; CREATE SCHEMA "sdifin"; DROP TABLE IF EXISTS "sdifin"."ogg_ets_bas_instrument_t_2670"; SET search_path = sdifin; CREATE TABLE ogg_ets_bas_instrument_t_2670 ( bas_instrume...... 展开更多
目录 一、实验环境 二、登录华为云创建测试库表 1、登录GaussDB云数据库 2、建库、建表,用于测试 3、新增普通角色（用户）用于登录及访问测试（可选） 4、获取对应的公网IP 三、创建java工程 1、创建java工程 2、添加jar包 3、编辑Java代码 四、执行并查看测试结果 一、实验环境 1、本地JDB版本：本实验版本：JDK版本：Java 11.0.17 (登录网址：Java Downloads | Oracle ，选择对应jdk版本下载安装即可) 2、华为云环境：广州-友... 展开更多
一个词来介绍我，我是个经历者，但更像一个观察者。我其实是整个软件行业过去 20 多年的一个见证者和观察者。作为观察者要有客观总结能力，然后包括对未来的一些看法，但是未来的看法不一定对，比如说 GPT 的看法没有人能打包票。 ——PingCAP 副总裁 刘松 每个时代都需要观察者，尤其是在技术变革加速的今天。在 GPT 带来的震荡之中，各领域技术都在寻找新的方向， 数据库技术也不例外，动作快的数据库和服务厂商也已经集成了 ... 展开更多
 数据库的内存管理是数据库内核设计中的重要模块，内存的可度量、可管控是数据库稳定性的重要保障。同样的，内存管理对图数据库 NebulaGraph 也至关重要。 图数据库的多度关联查询特性，往往使图数据库执行层对内存的需求量巨大。本文主要介绍 NebulaGraph v3.4 版本中引入的新特性 Memory Tracker，希望通过 Memory Track... 展开更多
使用开源时序数据库 GreptimeDB 存储开源实时监控 HertzBeat 的指标度量数据 什么是 GreptimeDB GreptimeDB 是一款开源、分布式、云原生时序数据库，融合时序数据处理和分析。 完善的生态系统，支持大量开放协议，与 MySQL/PostreSQL/PromQL/OpenTSDB 等兼容，学习成本低，开箱即用。 时序、分析混合负载，支持高并发的读/写；原生支持 PromQL， 支持 SQL/Python 进行强大的库内分析。 高效存储与计算，通过对象存储和高数据压缩... 展开更多
在群雄逐鹿的 OLAP 数据库市场，开源引擎 ClickHouse 凭借其出色的性能成为公认的黑马。官方称其性能超过了市场上同类的列式数据库，每台服务器每秒可处理数亿到超过十亿行、体积达数十 GB 的数据，运行速度比传统数据库快 100-1000 倍。 高效运行速度的另一面，还隐含着成本、性能、容量等诸多问题，比如不支持事务，不能够保证数据的一致性和完整性，不存在隔离级别，不支持高并发等等。这导致 2016 年开源的 ClickHouse 难以... 展开更多
全球开源技术峰会（Global Open-source Technology Conference，简称 GOTC）是由开放原子开源基金会、 Linux 基金会亚太区、上海浦东软件园和开源中国联合发起的，面向全球开发者的一场盛大开源技术盛宴。 GOTC 2023 将于 5 月 27 日至 28 日在上海张江科学会堂召开。大会将以行业展览、主题发言、特别论坛、分论坛的形式展现，与会者将一起探讨元宇宙、3D 与游戏、eBPF、Web3.0、区块链等热门技术主题，以及开源社区、AIGC、汽... 展开更多
> 作者：谢其骏 > > 北京航空航天大学在读硕士， Databend 研发工程师实习生 > > https://github.com/jun0315 **论文原文：** [Zhaoguo Wang, Zhou Zhou, Yicun Yang, Haoran Ding, Gansen Hu, Ding Ding, Chuzhe Tang, Haibo Chen, Jinyang Li. WeTune: Automatic Discovery and Verification of Query Rewrite Rules. 2022 ACM SIGMOD International Conference on Management of Data (SIGMOD'22)](https://ipads.se.sjtu.e... 展开更多
作者：张乾 外星人2号，现兼任六位喵星人的资深铲屎官。 本文来源：原创投稿 * 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 背景 测试在做 OceanBase 纯读性能压测的时候，发现对数据做过更新操作后，读性能会有较为明显的下降。具体复现步骤如下。 复现方式 环境预备 部署 OB 使用 OBD 部署单节点 OB。 版本 IP OceanBase 4.0.0.0 CE 10.186.16.122 参数均为默认值，其中内存以及转储合并等... 展开更多
作者：吴斯亮 某金融行业 DBA，数据库技术爱好者。 本文来源：原创投稿 * 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 背景 生产环境中 select count(*) from table 语句执行很慢，已经远超 long_query_time 参数定义的慢查询时间值，但是却没有记录到慢日志中。在测试环境也很容易复现出该问题，慢查询日志确实没有记录 select count(*) 语句。 慢查询相关参数设置如下： slow_query_log .... 展开更多
在企业级应用中，数据的安全性和隐私保护是极其重要的。[Spark](https://www.dtstack.com/resources?src=szsm) 作为[数栈底层计算引擎](https://www.dtstack.com/resources?src=szsm)之一，必须确保数据只能被授权的人员访问，避免出现数据泄露和滥用的情况。为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性，数栈基于 [Apache Ranger](https://www.dtstack.com/resources?src=szsm) 实现了 Spark SQL 对数据处... 展开更多
文章目录 1.1 前言 1.2 升级须知 升级流程 升级方式 升级约束 1.3 升级前准备 1.4 升级操作 1.5 升级验证 1.6 提交升级 1.1 前言 openGauss是一款开源关系型数据库管理系统，采用木兰宽松许可证v2发行。之前基于3.0.0版本进行了一些实践，本篇就详细介绍如何将openGauss数据库从3.0.0升级到最新发布的5.0.0版本。 1.2 升级须知 升级流程 升级方式 用户挑选升级方式后，系统会自动判断并选择合适的升级策略。 就地升级：升级期间... 展开更多
报名注册倒计时，错过等一年！ 全球开源技术峰会（Global Open-source Technology Conference） GOTC 2023 由开放原子开源基金会、 上海浦东软件园、Linux 基金会亚太区和开源中国联合发起， 将于 5 月 27 日至 28 日在上海张江科学会堂隆重举行。 大会报名通道： https://www.bagevent.com/event/8387611 为期 2 天的开源行业盛会，将以行业展览、主题发言、论坛、圆桌、快闪演讲、开源市集等形式来诠释此次大会主题 ——“Ope... 展开更多
作者：陈慧明 爱可生测试团队成员，主要参与dmp和dble自动化测试项目。 本文来源：原创投稿 * 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 一、简介 OceanBase中的写入限速机制旨在控制系统中写入操作（一般写入操作包括插入、更新和删除等）的速率，目的是为了提高数据库系统的稳定性。本文主要通过以下2个参数来解释写入限速的实现机制。 writing_throttling_trigger_percentage：设置写入... 展开更多
作者：操盛春 技术专家，任职于爱可生，专注研究 MySQL、OceanBase 源码。 本文来源：原创投稿 * 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 1. 背景介绍 前段时间，客户线上 MySQL 版本从 5.7.29 升级到 8.0.25。 升级完成之后，放业务请求进来，没到一分钟就开始出现慢查询，然后，慢查询越来越多，业务 SQL 出现堆积。 整个过程持续了大概一个小时，直到给某条业务 SQL 对应的表加上索引... 展开更多