数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

加载中
置顶
发表了博客
昨天 17:09

时序数据库Influx-IOx源码学习二(环境搭建)

> 欢迎关注微信公众号:atoildw (数据库技术研究) 上一篇介绍了InfluxDB IOx的一些项目背景及现有架构中存在的问题,详情见:https://my.oschina.net/u/3374539/blog/5015114 ### 1.克隆仓库 ``` git clone https://github.com/influxdata/influxdb_iox.git ``` ### 2.安装基础语言依赖 根据`readme`文件中的的描述,项目依赖两个基础环境,分别是`rust`和`clang`。 `rust`是使用`rustup`来进行版本管理的。默认的情况下,会为你... 展开更多

收藏 0
0
置顶
发表了博客
04/10 19:35

时序数据库Influx-IOx源码学习一(项目背景)

## 为什么会发起IOx项目 > 原文请参见: https://www.influxdata.com/blog/announcing-influxdb-iox/ ### 1. 下一步的目标 原文中介绍到,过去的7年时间的发展中,`InfluxDB` 在 `metrics` 数据的处理上已经成为了非常出色的数据库,并且在 `analytics` 方面也很不错。但对于现有的架构来讲有一个限制就是不能处理非常大的基数 (`significant cardinality`),也就是说`tags`里不能设置太多的值。比如说:不能处理分布式追踪数据 ... 展开更多

收藏 0
1
置顶
发表了博客
04/08 16:00

我是小M,老板不当人子(MySQL的故事)

我是小M,在卡拉巴拉星球。 是一个立志建立 MySQL 帝国的男人。 1 上回说到我入职了 Y 公司,建了个叫 B+ 树的玩意来管理数据。 但是老板最后加了个需求,他需要通过姓名来查询用户的信息。 用户结构 这....我是拿用户的 ID 来排序组装成索引的呀。 如果查询条件是姓名的话,这个索引就用不上了,那就得每页都翻阅过去,这就是全表扫描了呀! 查询的速度又会降下来了! 我盯着手上的奶茶思考了一会儿。 没办法,只能根据姓名再建... 展开更多

收藏 2
2
置顶
发表了博客
04/08 09:38

DolphinDB内存管理详解

DolphinDB是一款支持多用户多任务并发操作的高性能分布式时序数据库软件(distributed time-series database)。针对大数据的高效的内存管理是其性能优异的原因之一。本教程涉及的内存管理包括以下方面: 变量的内存管理:为用户提供与回收编程环境所需内存。 分布式表的缓存管理:多个session共享分区表数据,以提高内存使用率。 流数据缓存:流数据发送节点提供持久化和发送队列缓存,订阅节点提供接收数据队列缓存。 DFS数据库... 展开更多

收藏 0
1
置顶
发表了博客
04/07 10:25

数栈SQL优化案例:OR条件优化

本文整理自:袋鼠云技术荟 | SQL优化案例(2):OR条件优化 数栈是云原生—站式数据中台PaaS,我们在github上有一个有趣的开源项目:https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~ 在MySQL中,同样的查询... 展开更多

收藏 11
0
置顶
架构师
发表了博客
04/07 08:55

ClickHouse性能优化?试试物化视图

![mark](https://oscimg.oschina.net/oscnet/up-21e2bd40d1663fb34ea4ca4104f803e8f50.png) ## 一、前言 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS);目前我们使用CH作为实时数仓用于统计分析,在做性能优化的时候使用了 `物化视图` 这一特性作为优化手段,本文主要分享物化视图的特性与如何使用它来优化ClickHouse的查询性能。 ## 二、概念 数据库中的 `视图(View)` 指的是通过一张或多张表查询出来的 **... 展开更多

收藏 3
0
置顶
架构师
发表了博客
04/06 08:30

踩坑 MySQL 索引,看看你真的会用吗?

关于 MySQL 索引,对于研发同学,尤其是后端研发同学,一定不会陌生。我们工作中经常会用到 MySQL 数据库,就肯定会经常用到性能优化方面的设计和考量,常常用涉及到 MySQL 索引。但是关于 MySQL 索引,你真的用对了么? 对了,在开始正式知识点讲解之前,还需要来个不那么正式的自我介绍吧,哈哈哈~ 我多年后端研发经验,“混迹”于多个互联网大厂,专注软件架构技术研究学习,希望能够持续发挥自身多余的热量,将自己工作中的... 展开更多

收藏 12
1
置顶
发表了博客
04/02 11:16

TiFS 能存数据,为什么不能存文件?

本篇文章的作者为龙姐姐说的都队的李晨曦,他们团队在本次 Hackathon 比赛中构建了一个基于 TiKV 的分布式 POSIX 文件系统 TiFS,继承了 TiKV 强大的分区容错和严格一致性特性,为 TiKV 生态开辟了一个新的领域。 ## 起源 一次给朋友安利 TiDB 时,得知他只有一台机器,那跑 TiDB 集群有什么优势呢?我告诉他可以每块盘跑一个 TiKV 实例,这样实现了多磁盘容灾,就不需要组 RAID 了。 当然最后一句只是玩笑话,毕竟 TiDB 是个数... 展开更多

收藏 0
1
置顶
发表了博客
04/06 09:10

DolphinDB脚本语言的混合范式编程

开发大数据应用,不仅需要一个能支撑海量数据的分布式数据库,一个能高效利用多核多节点的分布式计算框架,更需要一门能与分布式数据库和分布式计算有机融合,高性能易扩展,表达能力强,满足快速开发和建模需要的编程语言。DolphinDB从流行的SQL和Python语言汲取了灵感,设计了大数据处理脚本语言。本教程讲解如何通过混合范式编程,快速开发大数据分析的应用。从中你也可以了解DolpinDB的编程语言(以下简称DolphinDB)如何与... 展开更多

收藏 0
0
置顶
发表了博客
04/06 09:55

我被删库了

**社会很单纯,复杂的是人** 如题,我被人删库了 几天没发文了,正在赶一篇工具分享的文章 按我的习惯总会先跑个`demo`演示下,本想打开`Navicat`建个表 ,额~ ,几天没打开这是什么局面? ![](https://img-blog.csdnimg.cn/20210405104029388.png?) 又接连尝试连了几次未果,我就有种不好的预感 用的云数据库不是本地,而且我好些天没操作,误删的几率不太大 赶紧登上云服务器,发现`MySQL`服务还在, `show databases;`命令看... 展开更多

收藏 3
0
置顶
发表了博客
03/24 17:59

openGauss动态数据脱敏

数据脱敏背景及介绍 1.1数据库脱敏背景 伴随着互联网大数据、云服务等新兴技术的飞速发展和普及,业务上云、数据集中存储、数据共享等数据应用方式已成为未来发展的趋势,云数据库和云计算服务具有易部署、低成本、高效率、高可靠的优势,使得越来越多的消费者更倾向于将个人数据存储在云上而非个人移动硬盘中。实际上,由于数据使用场景愈加复杂,个人隐私数据泄露、被窃取的风险越来越高,仅近年来就发生数起重大数据库信息泄... 展开更多

收藏 3
0
置顶
发表了博客
04/01 18:22

集群通信:从心跳说起

> 本文首发 Nebula Graph 官网:[https://nebula-graph.com.cn/posts/cluster-communication-heartbeat/](https://nebula-graph.com.cn/posts/cluster-communication-heartbeat/) 在用户使用 Nebula Graph 的过程中,经常会遇到各种问题,通常我们都会建议先通过 `show hosts` 查看集群状态。可以说,整个 Nebula Graph 的集群状态都是靠心跳机制来构建的。本文将从心跳说起,帮助你了解 Nebula Graph 集群各个节点之间通信的机... 展开更多

收藏 3
0
置顶
架构师
发表了博客
03/03 12:37

MySQL 数据库图形化管理界面应用种草之 Navicat Premium 如何使用

文章目录 前言 一、工具/原料 二、安装和建立连接 2.1、连接本地数据库 2.2、连接远程数据库 三、Navicat Premium 的“增删改查”功能操作 3.1、数据库操作(基本) 3.1.1、新建数据库 3.1.2、删除数据库 3.1.3、修改数据库 3.1.4、查询数据库 3.2、数据库表格操作 3.2.1、新建数据库表 3.2.2、删除数据库表 3.2.3、修改数据表 3.2.4、查询数据库表 四、导入数据库(创建数据库) 4.1、运行 SQL 文件 4.2、数据传输 五、标记连接... 展开更多

收藏 2
1
置顶
发表了博客
04/01 11:50

一文掌握GaussDB(DWS) SQL进阶技能:全文检索

摘要:本文简要介绍了GaussDB(DWS)全文检索的原理和使用方法。 本文分享自华为云社区《GaussDB(DWS) SQL进阶之全文检索》,原文作者:Zhang Jingyao 。 全文检索(Text search)顾名思义,就是在给定的文档中查找指定模式(pattern)的过程。GaussDB(DWS)支持对表格中文本类型的字段及字段的组合做全文检索,找出能匹配给定模式的文本,并以用户期望的方式将匹配结果呈现出来。 本文结合笔者的经验和思考,对GaussDB(DWS)的全文... 展开更多

收藏 1
0
置顶
发表了博客
04/01 09:23

DolphinDB内存表详解

内存表是DolphinDB数据库的重要组成部分。内存表不仅可以直接用于存储数据,实现高速数据读写,而且可以缓存计算引擎的中间结果,加速计算过程。本教程主要介绍DolphinDB内存表的分类、使用场景以及各种内存表在数据操作以及表结构(schema)操作上的异同。 1. 内存表类别 根据不同的使用场景以及功能特点,DolphinDB内存表可以分为以下四种: 常规内存表 键值内存表 流数据表 MVCC内存表 1.1 常规内存表 常规内存表是DolphinDB... 展开更多

收藏 16
0
置顶
发表了博客
03/31 09:50

我叫小M,立志建立MySQL帝国。

我是小M,我在卡拉巴拉星球。 我喜欢数据,我立志成为一个数据管理者。 所以我来 Y 公司应聘,听说他们的数据量挺大的。 面试过程还是挺简单的。 我用 007 这三个数字就轻易打败了一堆吹嘘 996 的应聘者。 此刻,我独领风骚。 # 1 今天是我第一天上班,我笔直地坐在工位上,等着老板的宠幸。 下午两点。 Y 老板推门而入,打着哈欠看着我:“007,你背有问题?坐得这么直?” “老板你好,我叫小M,不是叫 007 ,007 是我对公司的... 展开更多

收藏 11
7
置顶
后端工程师
发表了博客
03/31 10:40

Prometheus时序数据库-报警的计算

# Prometheus时序数据库-报警的计算 在前面的文章中,笔者详细的阐述了Prometheus的数据插入存储查询等过程。但作为一个监控神器,报警计算功能是必不可少的。自然的Prometheus也提供了灵活强大的报警规则可以让我们自由去发挥。在本篇文章里,笔者就带读者去看下Prometheus内部是怎么处理报警规则的。 ## 报警架构 Prometheus只负责进行报警计算,而具体的报警触发则由AlertManager完成。如果我们不想改动AlertManager以完成自... 展开更多

收藏 2
0
置顶
发表了博客
03/29 09:26

干货丨DolphinDB内存分区表的加载和操作

DolphinDB的内存数据表可以是非分区的,也可以是分区的。除了组合分区以外的所有分区方式都适用于内存数据表。使用分区内存表进行运算能充分发挥多核CPU并行计算的优势。 1. 创建内存数据表 1.1 创建非分区内存表 使用table函数可以创建非分区内存表。table函数的用法非常灵活: 第一种用法:table(X, [X1], [X2], .....) 这里的X, X1, X2可以是向量、矩阵或元组,其中每个向量、矩阵和元组中每个元素的长度必须相同。 例1. 如果... 展开更多

收藏 0
0
置顶
架构师
发表了博客
03/29 09:24

全量同步Elasticsearch方案之Canal

![file](https://oscimg.oschina.net/oscnet/up-2f6057cce7f25dd90d0d9b893dc074cf547.png) ## 一、前言 `Canal` 是阿里的一款开源项目,纯 `Java` 开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了 `MySQL`(也支持 `mariaDB`)。 ![file](https://oscimg.oschina.net/oscnet/up-6fe5379e7114d4ee264e5d3497a70e8f1ac.png) `Canal` 除了支持 `binlog` 实时 **增量同步** 数据库之外也支持 **全量同步** ,本... 展开更多

收藏 8
0
置顶
发表了博客
03/27 14:09

数据加密:你应该知道的数仓安全

摘要:数据加密作为有效防止未授权访问和防护数据泄露的技术,在各种信息系统中广泛使用。作为信息系统的核心,GaussDB(DWS)数仓也提供数据加密功能,包括透明加密和使用SQL函数加密。 本文分享自华为云社区《你应该知道的数仓安全——加密函数》,原文作者:zhangkunhn 。 数据泄露防护 数据作为信息系统中的核心资产,其机密性、完整性和可用性必须得到保证,以避免数据被非法泄漏或非法篡改。当前数据泄露事件层出不穷,给个... 展开更多

收藏 4
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部