数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

加载中
置顶
发表了博客
2021/09/24 11:47

数据仓库之数据质量建设(深度好文)

数仓建设真正的难点不在于数仓设计,而在于后续业务发展起来,业务线变的庞大之后的数据治理,而数据治理的范围非常广,包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中,大家想下最重要的治理是什么?当然是数据质量治理,因为数据质量是数据分析结论有效性和准确性的基础,也是这一切的前提。所以如何保障数据质量,确保数据可用性是数据仓库建设中不容忽视的环节。 数据质量涉及的范围也很广,贯穿... 展开更多

收藏 14
1
置顶
发表了博客
2021/07/19 08:14

用好组合索引,性能提升10倍不止!

大家好,我是飘渺! 相信各位在面试时,通常会被问到“什么是索引?” 而你肯定可以脱口而出:索引是提升查询速度的一种数据结构。而索引之所以能提升查询速度,在于它在插入时对数据进行了排序。 在实际业务中,我们会遇到很多复杂的场景,比如对多个列进行查询。这时,可能会要求用户创建多个列组成的索引,如列 a 和 b 创建的组合索引,但究竟是创建(a,b)的索引,还是(b,a)的索引,结果却是完全不同的。 今天,我们就来... 展开更多

收藏 12
1
置顶
程序员
发表了博客
2021/07/15 09:08

SQL 查询并不是从 SELECT 开始的

> 原文地址:[SQL queries don't start with SELECT](https://jvns.ca/blog/2019/10/03/sql-queries-don-t-start-with-select/) > > 原文作者:Julia Evans(已授权) > > 译者 & 校正:HelloGitHub-小熊熊 & 卤蛋 ![](https://img2020.cnblogs.com/blog/759200/202107/759200-20210714202902134-1310221295.jpg) 日常使用中写 SQL 查询命令都是以 SELECT 开始的(注意:本文仅探讨 SELECT 查询,不涵盖 insert 或其他 SQL 命令... 展开更多

收藏 7
0
置顶
发表了博客
2021/06/29 20:08

老大让我优化数据库,我上来就分库分表,他过来就是一jio。。。

记得,如果有人问你做数据库优化最有效的方式是什么? SQL优化、分布式集群、分库分表!干就完了~ **但上来就考虑分库分表真的合适么,你对分库分表又理解多少呢?什么时候分?有几种分法儿?** 首先我们要知道分库、分表都是干啥的,本文主角还是我们的MySQL为第一视角。首先从字面意思来看: **分库:** 由单个数据库实例拆分成多个数据库实例,将数据分布到多个数据库实例中。 **分表:** 由单张表拆分成多张表,将数据划分到... 展开更多

收藏 4
0
置顶
高级程序员
发表了博客
2021/06/27 17:22

面试官问一个数据表字段怎么表示多种业务含义?我愣了五分钟

欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章,主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等,同时欢迎大家加我个人微信「java_front」一起交流学习 1 需求背景 在系统中用户一共有三种角色:普通用户,管理员,超级管理员,现在需要设计一张用户角色表记录这类信息。我们不难设计出如下方案: 我们使用1表示是,0表示否,那么观察上表不难得出,用户一有用超级管理员角色,用户二具有管理员角色,用... 展开更多

收藏 8
4
置顶
发表了博客
2021/06/25 15:07

数仓备机DN重建:快速修复你的数仓DN单点故障

摘要:大规模分布式系统中的故障无法避免。当DN发生单点故障时,恢复手段有哪些,又是如何恢复的,本节重点介绍操作gs_ctl build是如何修复DN单点故障的。 本文分享自华为云社区《华为云数仓备机DN重建,快速修复DN单点故障!》,原文作者:welblupen。 1. 技术背景 GaussDB(DWS)的DN高可用架构为主、备、从备架构。即在分布式环境中,完整的集群数据采用分片技术分布在多个DN组上,每组DN承担一个数据分片,包括:一个主DN、一个... 展开更多

收藏 1
0
置顶
发表了博客
2021/06/07 11:18

从原理到实践,手把手带你轻松get数仓双集群容灾

摘要:本文通过介绍双集群的架构、log结构、分析步骤来介绍双集群容灾的问题分析方法。 本文分享自华为云社区《从原理到实践,手把手带你轻松get数仓双集群容灾》,原文作者:Puyol 。 双集群原理 GaussDB(DWS) 的容灾方案是一个双集群同步的架构,即两套独立集群定期同步数据以达到容这的目的。目前数据同步的方式是通过roach(GaussDB(DWS)备份、恢复工具)定期做增量备份和恢复同步。双集群框架是一个复杂的分布式系统,在出现... 展开更多

收藏 1
0
置顶
发表了博客
2021/06/07 11:15

使用 Prometheus + Grafana 打造 TiDB 监控整合方案

> 作者介绍:王天宜 Prometheus + Grafana 作为一套普适的监控系统广泛应用于各种应用环境中。 本文主要介绍能否将 TiDB + Prometheus 新搭建的监控系统,迁移到已有的监控系统的方案。 对资源比较紧张,高可用需求不强烈的用户,我们建议直接通过 Prometheus Label 进行集群的划分,做到 All in One 的 Prometheus 监控环境。对资源宽裕,高可用需求比较强烈的用户,可以考虑使用 Prometheus 多租户的解决方案。 Grafana 作为一... 展开更多

收藏 5
0
置顶
发表了博客
2021/05/31 11:03

深入解析 Raft 模块在开务数据库中的优化改造(下)

作者:管延信 上期回顾:深入解析 Raft 模块在开务数据库中的优化改造(上) 导读 开务数据库是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架构。其中,开务数据库各方面的强一致性都依靠 Raft 算法实现。我们在上一篇文章中介绍了 Raft 一致性算法在分布式数据库中发挥的重要作用,以及开务数据库根据自身需求对 Raft 算法进行了优化改造,为其新增了三种角色设计。本文将继续介绍开务... 展开更多

收藏 24
8
置顶
发表了博客
2021/05/31 11:01

深入解析 Raft 模块在开务数据库中的优化改造(上)

作者:管延信 导读 开务数据库是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架构。对于一个高可用的分布式系统来说,为了保障不同集群不同节点的数据一致,一致性算法尤为重要。Raft 是一种管理日志复制的分布式一致性算法,包括开务数据库在内的很多分布式系统都采用 Raft 作为底层的一致性协议。本系列文章将为大家介绍 Raft 一致性算法在开务数据库中的落地实践,并深入解析开务数据... 展开更多

收藏 27
9
置顶
发表了博客
2021/05/28 16:45

数据库连接池到底应该设多大?

数据库连接池的配置是开发者们常常搞出坑的地方,在配置数据库连接池时,有几个可以说是和直觉背道而驰的原则需要明确。 **1万并发用户访问** 想象你有一个网站,压力虽然还没到Facebook那个级别,但也有个1万上下的并发访问——也就是说差不多2万左右的TPS。那么这个网站的数据库连接池应该设置成多大呢?结果可能会让你惊讶,因为这个问题的正确问法是: “这个网站的数据库连接池应该设置成多小呢?” 下面这个视频是Oracle ... 展开更多

收藏 21
2
置顶
发表了博客
2021/05/28 10:08

ORACLE悬疑分布式事务问题处理

当需要在多个Oracle数据库之间进行数据一致性操作时,就会用到分布式事务。 例如: insert into T_log@remote_db; --远程数据库插入 insert into T_local; --本地数据库插入 commit; 分布在本地和远程两个db的事务同时操作,这就构成了一个分布式事务。 分布式事务采用Two-Phase Commit提交机制,保证分布在各个节点的子事务能够全部提交或全部回滚的原子性。在这种机制下,事务处理过程分为三个阶...... 展开更多

收藏 1
0
置顶
发表了博客
2021/05/18 14:25

Elasticsearch数据库优化实战:让你的ES飞起来

摘要:ES已经成为了全能型的数据产品,在很多领域越来越受欢迎,本文旨在从数据库领域分析ES的使用。 本文分享自华为云社区《Elasticsearch数据库加速实践》,原文作者:css_blog 。 一、方案说明 Elasticsearch主要功能是什么,不同的场景有不同的定位,在日志场景我们可以用ELK生态搭建日志分析系统,在搜索领域ES是当前最热门的搜索引擎。在大数据领域,ES可以对标Hbase提供海量日志的数据仓库;在数据库领域ES可以作为查询分... 展开更多

收藏 7
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部