数据库
数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
关注
181.9W
README badge
![README Badge]()
加载中
网易数帆
发表了博客
背景 企业级存储中，SSD+HDD的混合盘是一种典型应用场景，可以兼顾成本、性能与容量。 但网易数帆存储团队经过测试(4k随机写)发现，加了NVMe SSD做Ceph的WAL和DB后，性能提升不足一倍且NVMe盘性能余量较大。所以我们希望通过瓶颈分析，探讨能够进一步提升性能的优化方案。 测试环境 Ceph性能分析一般先用单OSD来分析，这样可以屏蔽很多方面的干扰。 我们的测试环境如下所示，1个OSD：
usrname@hostname:~/cluster$ sudo ceph ...
KaiwuDB
发表了博客
导读 KaiwuDB 是浪潮开源的 NewSQL 分布式数据库，拥有强一致、高可用的分布式架构。在高负载的情况下，分布式数据库能够将负载压力平衡到不同的物理机节点上，充分利用不同节点的资源。本文将介绍 KaiwuDB 在面对高负载存储过程中采用的负载均衡策略。 负载均衡 作为分布式数据库，为了更有效利用不同物理机节点的资源， 避免服务器性能的浪费，在数据库高负载的情况下需要尽量将压力平衡到各个物理机节点上。这也是分布式数据...
架构精进之路
架构师
发表了博客
写在前面 前面一讲我们介绍了B-树的特性，以及与平衡二叉树的对比得出B-树这类数据结构的优势。 《面试官：谈谈你对索引的认知》系列之B-树 那B+树作为B树的一个升级版，那它又有哪些优势呢？本讲继续为大家揭开B+树的神秘面纱，让它不再成为你前进的羁绊！ B+树 简介 B+树是B-树的一个升级版，也是一种多路搜索树，相对于B树来说B+树更充分的利用了节点的空间，让查询速度更加稳定，其速度完全接近于二分法查找。 从上图B-树的...
KaiwuDB
发表了博客
作者：管延信 上期回顾：深入解析 Raft 模块在 KaiwuDB 中的优化改造（上） 导读 KaiwuDB 是由浪潮开源的一款 NewSQL 分布式数据库，具备 HTAP 特性，拥有强一致、高可用的分布式架构。其中，KaiwuDB 各方面的强一致性都依靠 Raft 算法实现。我们在上一篇文章中介绍了 Raft 一致性算法在分布式数据库中发挥的重要作用，以及 KaiwuDB 根据自身需求对 Raft 算法进行了优化改造，为其新增了三种角色设计。本文将继续介绍 KaiwuDB ...
KaiwuDB
发表了博客
作者：管延信 导读 KaiwuDB 是由浪潮开源的一款 NewSQL 分布式数据库，具备 HTAP 特性，拥有强一致、高可用的分布式架构。对于一个高可用的分布式系统来说，为了保障不同集群不同节点的数据一致，一致性算法尤为重要。Raft 是一种管理日志复制的分布式一致性算法，包括 KaiwuDB 在内的很多分布式系统都采用 Raft 作为底层的一致性协议。本系列文章将为大家介绍 Raft 一致性算法在 KaiwuDB 中的落地实践，并深入解析 KaiwuDB 技术...
大东BE
发表了博客
作者：马静伟 编辑：大东BE 导读 TP 与 AP 融合的 HTAP 数据库正成为业内的发展趋势。但由于大规模数据场景下 TP 与 AP 系统本身的复杂性，要在一套数据库系统中融合两种使用场景的功能并不容易。浪潮推出的 HTAP 数据库 ZNBase 采用多模存储引擎的方案实现 HTAP 特性，在 OLTP 的基础上引入列存引擎支撑 OLAP 场景。本文将着重介绍列存引擎技术在 HTAP 数据库 ZNBase 中扮演的重要角色。 OLTP 与 OLAP 名词释义 OLTP，全称 On...
网易数帆
发表了博客
本文基于 Apahce Spark 3.1.1 版本，讲述 AQE 自适应查询优化的原理，以及网易数帆在 AQE 实践中遇到的痛点和做出的思考。 前言 自适应查询优化(Adaptive Query Execution, AQE) 是 Spark 3.0 版本引入的重大特性之一，可以在运行时动态的优化用户的 SQL 执行计划，很大程度上提高了 Spark 作业的性能和稳定性。AQE 包含动态分区合并、Join 数据倾斜自动优化、动态 Join 策略选择等多个子特性，这些特性可以让用户省去很多需要根...
涛思数据TDengine
发表了博客
作者：尹飞 小T导读 ：顺丰科技大数据集群每天需要采集海量监控数据，以确保集群稳定运行。之前虽然采用了OpenTSDB+HBase作为大数据监控平台全量监控数据的存储方案，但有不少痛点，必须对全量监控数据存储方案进行改造。通过对IoTDB、Druid、ClickHouse、TDengine等时序数据存储方案的调研，最终我们选择了TDengine。大数据监控平台采用 TDengine 后，在稳定性、写入性能、查询性能等方面都有较大的提升，并且存储成本降低为原...
TiDB
发表了博客
前不久，PingCAP 刚刚度过六岁生日。对于数据库这样一个古老的行业，六年只是刚刚起步。TiDB 5.0 的发布就像一个庆祝成长的生日礼物，为 TiDB 带来了一个具有里程碑意义的版本。通过引入 MPP （Massively Parallel Processing，大规模并行处理）架构，年轻的 TiDB 已经成为一款具备完整 HTAP 能力的分布式数据库。 **PingCAP 联合创始人兼 CTO 黄东旭在 TiDB 5.0 发布会上进行了《What’s Next? 新一代数据库的构想》的精彩演讲...
xlecho
高级程序员
发表了博客
> 分库分表、分区能解决很多的问题，这也是我们在优化的时候常常听到的一些可行的方案，不过提到优化就来分库分表是不是不太合适，本文所阐述的就是分库分表、分区，什么时候用，应该怎么用，怎么选择。 ### 话题起点 最近听到一些学员的面试复述，基本很多的人去面试的时候都会碰到要对MySQL进行优化这样的题目，很多学员很有经验的学员也在这上面栽了跟头。基本回答有几种 - 加索引 - 分库分表 - 分区 - 读写分离 - 冷热数据处...
网易数帆
发表了博客
Copyset模块结合chunk的放置共同解决了集群数据如何分布的问题，这里主要的设计考虑点是数据分布的均衡性以充分利用磁盘空间和避免热点。 1. 背景 Curve是网易数帆在2020年7月份开源的一个高性能、高可用、高可靠的分布式存储系统，主打高性能、低延迟。 Github代码仓库：https://github.com/opencurve/curve Curve存储系统的基础设计框架与经典的GFS基本类似，采⽤有中心节点的架构，核心服务由4个部分组成： 元数据节点MDS，主...
TARS基金会
发表了博客
 **作者 | Eaton** **导语 |** 随着微服务与云的发展，分布式架构的需求变得越来越普遍，Web 上的数据类型不再单一，数据量呈爆发式增长。传统的 SQL 结构化存储方案已经跟不上脚步， NoSQL 便出现了。DCache 作为基于 TARS 的分布式 NoSQL 缓存系统，完美支持 TARS 服务，能够方便地在 TARS 服务中使用，本系列文章将着重介绍 DCache 的安装与使用。那么如何拥有这...
温安适
后端工程师
发表了博客
引言 2021年，2月底，一个超级疲惫的下午，离下班还有30分钟，小航拿了一袋每日坚果，对我说：”温哥，来来来，吃个坚果，开心下” 有了前几次的，经验，我意识到，这兄弟又要问题问题，委婉的回绝到：”谢谢好意，你吃吧，我不饿”。 小航，一看我有所防备，有拿出了安慕希，并且抓住了我的手臂，说道：“大神，我有困惑，请您帮帮我” 看他如此诚恳，我不好意思的说道：“大神不敢当，水平有限，恐无法为你解惑”。 小航一看有...
TARS基金会
发表了博客
 **作者 | Eaton** **导语 |** 随着微服务与云的发展，分布式架构的需求变得越来越普遍，传统的 SQL 结构化存储方案已经跟不上脚步，于是 NoSQL 出现了。DCache 作为基于 TARS 的分布式 NoSQL 缓存系统，完美支持 TARS 服务。前一篇文章中，我们介绍了怎么创建并使用 KV 模块，本文将继续介绍如何创建和使用 DCache 中的 K-K-Row 缓存模块。 **系列文章** > - [DCa...
TARS基金会
发表了博客
随着微服务与云的发展，分布式架构的需求变得越来越普遍，Web 上的数据类型不再单一，数据量呈爆发式增长。传统的 SQL 结构化存储方案已经跟不上脚步， NoSQL 便出现了。DCache 作为基于 TARS 的分布式 NoSQL 缓存系统，完美支持 TARS 服务，能够方便地在 TARS 服务中使用，本系列文章将着重介绍 DCache 的安装与使用。那么如何拥有这套系统呢？本文将对 DCache 的安装和应用创建方式进行介绍。 简介 SQL 与 NoSQL DCache 安装 ...
吴里斯蒂亚诺_翀纳尔多
高级程序员
发表了博客
 # 前言 我们都知道，所谓的数据结构，都是我们在为了更好的对数据的增删改查而创造出来的对数据的结构设计，但是我们要知道的是，这些数据结构都是抽象的逻辑结构，并不是真实的物理上的存储结构，大部分时候，我们对数据结构的讨论，也都是讨论的是逻辑上的数据结构，并不是对真实的存储在硬盘中的数据的存储结构的讨论。 真实的物理上的...
阿里云云原生
发表了博客
 作者| 王涛（扬礼）、车漾（必嘫） 来源|[阿里巴巴云原生公众号](https://mp.weixin.qq.com/s/cvj5_0Hxb84-wj6Q-19P4A) # 什么是 Fluid [Fluid](https://github.com/fluid-cloudnative/fluid?spm=a2c6h.12873639.0.0.402225d2609DW9) 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据...
程序员小饭
发表了博客
前言 程序员平时和mysql打交道一定不少，可以说每天都有接触到，但是mysql一张表到底能存多少数据呢？计算根据是什么呢？接下来咱们逐一探讨 知识准备 数据页 在操作系统中，我们知道为了跟磁盘交互，内存也是分页的，一页大小4KB。同样的在MySQL中为了提高吞吐率，数据也是分页的，不过MySQL的数据页大小是16KB。（确切的说是InnoDB数据页大小16KB）。详细学习可以参考官网 我们可以用如下命令查询到。 mysql> SHOW GLOBAL ...
华为云开发者联盟
发表了博客
摘要：为了解决磁盘存储空间限制的问题，提出分盘存储手段，从而实现备集群备份文件分散存储的目的。 1. 摘要 双集群容灾场景下，需要将主集群中的数据备份到备集群。然而，随着主集群数据量的增大，备集群不存在一个单独的大容量磁盘用于存放主集群发来的备份集，或存放备份集的盘符空间不足以存储主集群发来的所有备份文件。但是，容灾场景中仍然要能支持双集群的备份恢复。因此，为了解决磁盘存储空间限制的问题，提出分盘存...
没有更多内容
加载失败，请刷新页面
