数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

加载中
置顶
发表了博客
2021/07/08 15:03

开务数据库分布式存储的负载均衡

导读 开务数据库是浪潮开源的 NewSQL 分布式数据库,拥有强一致、高可用的分布式架构。在高负载的情况下,分布式数据库能够将负载压力平衡到不同的物理机节点上,充分利用不同节点的资源。本文将介绍开务数据库在面对高负载存储过程中采用的负载均衡策略。 负载均衡 作为分布式数据库,为了更有效利用不同物理机节点的资源, 避免服务器性能的浪费,在数据库高负载的情况下需要尽量将压力平衡到各个物理机节点上。这也是分布式数... 展开更多

收藏 25
5
置顶
发表了博客
2021/05/31 11:03

深入解析 Raft 模块在开务数据库中的优化改造(下)

作者:管延信 上期回顾:深入解析 Raft 模块在开务数据库中的优化改造(上) 导读 开务数据库是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架构。其中,开务数据库各方面的强一致性都依靠 Raft 算法实现。我们在上一篇文章中介绍了 Raft 一致性算法在分布式数据库中发挥的重要作用,以及开务数据库根据自身需求对 Raft 算法进行了优化改造,为其新增了三种角色设计。本文将继续介绍开务... 展开更多

收藏 24
8
置顶
发表了博客
2021/05/31 11:01

深入解析 Raft 模块在开务数据库中的优化改造(上)

作者:管延信 导读 开务数据库是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架构。对于一个高可用的分布式系统来说,为了保障不同集群不同节点的数据一致,一致性算法尤为重要。Raft 是一种管理日志复制的分布式一致性算法,包括开务数据库在内的很多分布式系统都采用 Raft 作为底层的一致性协议。本系列文章将为大家介绍 Raft 一致性算法在开务数据库中的落地实践,并深入解析开务数据... 展开更多

收藏 27
9
置顶
发表了博客
2021/05/21 10:47

提效 7 倍,Apache Spark 自适应查询优化在网易的深度实践及改进

本文基于 Apahce Spark 3.1.1 版本,讲述 AQE 自适应查询优化的原理,以及网易数帆在 AQE 实践中遇到的痛点和做出的思考。 前言 自适应查询优化(Adaptive Query Execution, AQE) 是 Spark 3.0 版本引入的重大特性之一,可以在运行时动态的优化用户的 SQL 执行计划,很大程度上提高了 Spark 作业的性能和稳定性。AQE 包含动态分区合并、Join 数据倾斜自动优化、动态 Join 策略选择等多个子特性,这些特性可以让用户省去很多需要根... 展开更多

收藏 16
0
置顶
发表了博客
2021/04/30 14:25

TDengine助力顺丰科技大数据监控改造

作者:尹飞 小T导读 :顺丰科技大数据集群每天需要采集海量监控数据,以确保集群稳定运行。之前虽然采用了OpenTSDB+HBase作为大数据监控平台全量监控数据的存储方案,但有不少痛点,必须对全量监控数据存储方案进行改造。通过对IoTDB、Druid、ClickHouse、TDengine等时序数据存储方案的调研,最终我们选择了TDengine。大数据监控平台采用 TDengine 后,在稳定性、写入性能、查询性能等方面都有较大的提升,并且存储成本降低为原... 展开更多

收藏 14
7
置顶
发表了博客
2021/04/27 11:40

数据库领域正在发生巨变,从 TiDB 5.0 发布会看未来的数据库发展趋势

前不久,PingCAP 刚刚度过六岁生日。对于数据库这样一个古老的行业,六年只是刚刚起步。TiDB 5.0 的发布就像一个庆祝成长的生日礼物,为 TiDB 带来了一个具有里程碑意义的版本。通过引入 MPP (Massively Parallel Processing,大规模并行处理)架构,年轻的 TiDB 已经成为一款具备完整 HTAP 能力的分布式数据库。 **PingCAP 联合创始人兼 CTO 黄东旭在 TiDB 5.0 发布会上进行了《What’s Next? 新一代数据库的构想》的精彩演讲... 展开更多

收藏 0
1
置顶
高级程序员
发表了博客
2021/04/25 18:55

【ShardingSphere】做优化上来就分库分表?请慎重分库分表

> 分库分表、分区能解决很多的问题,这也是我们在优化的时候常常听到的一些可行的方案,不过提到优化就来分库分表是不是不太合适,本文所阐述的就是分库分表、分区,什么时候用,应该怎么用,怎么选择。 ### 话题起点 最近听到一些学员的面试复述,基本很多的人去面试的时候都会碰到要对MySQL进行优化这样的题目,很多学员很有经验的学员也在这上面栽了跟头。基本回答有几种 - 加索引 - 分库分表 - 分区 - 读写分离 - 冷热数据处... 展开更多

收藏 3
0
置顶
后端工程师
发表了博客
2021/02/26 16:37

缓存你问题真不少!

引言 2021年,2月底,一个超级疲惫的下午,离下班还有30分钟,小航拿了一袋每日坚果,对我说:”温哥,来来来,吃个坚果,开心下” 有了前几次的,经验,我意识到,这兄弟又要问题问题,委婉的回绝到:”谢谢好意,你吃吧,我不饿”。 小航,一看我有所防备,有拿出了安慕希,并且抓住了我的手臂,说道:“大神,我有困惑,请您帮帮我” 看他如此诚恳,我不好意思的说道:“大神不敢当,水平有限,恐无法为你解惑”。 小航一看有... 展开更多

收藏 4
3
置顶
高级程序员
发表了博客
2021/02/19 14:24

从头开始学习->java数据结构(一):物理上的存储结构

![](https://oscimg.oschina.net/oscnet/up-0988e29225e1cccf2b4d46a2e183db1719a.JPEG) # 前言 我们都知道,所谓的数据结构,都是我们在为了更好的对数据的增删改查而创造出来的对数据的结构设计,但是我们要知道的是,这些数据结构都是抽象的逻辑结构,并不是真实的物理上的存储结构,大部分时候,我们对数据结构的讨论,也都是讨论的是逻辑上的数据结构,并不是对真实的存储在硬盘中的数据的存储结构的讨论。 真实的物理上的... 展开更多

收藏 7
0
置顶
发表了博客
2021/02/19 14:14

拥抱云原生,Fluid 结合 JindoFS:阿里云 OSS 加速利器

![头图.png](https://ucc.alicdn.com/pic/developer-ecology/427fcf79dc9b4403be9d14c1e0f9c008.png) 作者| 王涛(扬礼)、车漾(必嘫) 来源|[阿里巴巴云原生公众号](https://mp.weixin.qq.com/s/cvj5_0Hxb84-wj6Q-19P4A) # 什么是 Fluid [Fluid](https://github.com/fluid-cloudnative/fluid?spm=a2c6h.12873639.0.0.402225d2609DW9) 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据... 展开更多

收藏 0
0
置顶
发表了博客
2021/02/01 10:56

分盘存储:实现数据库备集群备份文件分散存储

摘要:为了解决磁盘存储空间限制的问题,提出分盘存储手段,从而实现备集群备份文件分散存储的目的。 1. 摘要 双集群容灾场景下,需要将主集群中的数据备份到备集群。然而,随着主集群数据量的增大,备集群不存在一个单独的大容量磁盘用于存放主集群发来的备份集,或存放备份集的盘符空间不足以存储主集群发来的所有备份文件。但是,容灾场景中仍然要能支持双集群的备份恢复。因此,为了解决磁盘存储空间限制的问题,提出分盘存... 展开更多

收藏 0
0
置顶
发表了博客
2021/01/27 11:56

Redis为什么快呢?而查询为何会变慢呢?

越努力,越幸运, 本文已收藏在Gitee中[JavaCommunity](https://gitee.com/JavaCommunity/JavaCommunity), 里面有面试分享、源码分析系列文章,欢迎收藏,点赞 https://gitee.com/JavaCommunity/JavaCommunity 在实际开发,`Redis`使用会频繁,那么在使用过程中我们该如何正确抉择数据类型呢?哪些场景下适用哪些数据类型。而且在面试中也很常会被面试官问到Redis数据结构方面的问题: + **Redis为什么快呢?** + **为什么查询操... 展开更多

收藏 4
3
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部