精彩博客

ELK构建MySQL慢日志收集平台详解

上篇文章《中小团队快速构建SQL自动审核系统》我们完成了SQL的自动审核与执行,不仅提高了效率还受到了同事的肯定,心里美滋滋。但关于慢查询的收集及处理也耗费了我们太多的时间和精力,如何...

08/16 09:35
495
3
postgres服务器为每一个连接用户创建的cache

postgres连接用户的cache内核 前言 pg客户端通过libpq连接到服务器后,postmaster进程会为此客户端创建一个postgres进程,来处理此客户端发送来的各种请求。客户端发来的任何请求,都需要pos...

08/14 23:49
125
2
Redis字符串类型内部编码剖析

概述 我们平时用 Redis都是处于用户层面,我们可能会不加思索地操作一个 key-value 对来方便地存取数据,感觉方便之至。但你知道这些数据在背后是如何存储以及编码的吗? 了解清楚了这个问题...

08/09 06:33
398
0
wm_concat 函数在PG中替代

WM_CONCAT 经常使用到行转列上,早期的代码里这个函数用的会比较多,但是可惜在12c中,这个函数已经过期了: WM_CONCAT is gone in 12c. Use LISTAGG instead https://asktom.oracle.com/pl...

08/07 10:02
108
1
【静默】在RHEL 6.5上静默安装Oracle 18c

【静默】在RHEL 6.5上静默安装Oracle 18c Oracle 18c。18c其实就是12.2.0.2,19c就是12.2.0.3。db_home.zip 安装包大概4.25G,解压后有8.9G,数据库软件安装完成后有9.4G,创建完数据库后有1...

08/07 09:20
196
0
PostgreSQL 分离json数组来统计用户局数

最近又遇到了一个需求(每次都是用这个开头,感觉自己都腻了-_-||),是根据已有的牌局记录表统计归纳出每天每个玩家在每个游戏上面进行的局数。首先牌局记录表的结构大致如下: 其中log_dat...

07/30 15:49
372
1
为什么选择 Percona?

背景 提到 MySQL, 我们不得不说说其两大重要的时间点 2008 年 Sun 收购 MySQL AB 2010 年 Oracle 收购 Sun 在 MySQL 两次易主的过程中,开发者们普遍担心某一天 MySQL 会成为一个非开源的收...

07/13 15:39
906
1
Windows下安装MongoDB

Windows下安装MongoDB 一、下载 以下是MongoDB的官方下载网站: https://www.mongodb.com/download-center?jmp=nav#production 根据页面提示选择需要的版本进行下载,我在这里下载了两个版本...

07/08 16:37
357
0
数据库Mysql自增锁问题原来可以这么解决

最近在学习群里答疑的时候,常会有同学问我:在做基准测试时候,批量插入数据时,有很多自增锁等待,我告诉他解决办法: 1.innodb_autoinc_lock_mode=2 2.innodb_autoextend_increment参数再...

07/07 10:41
449
1
oracle11g自动分区使用

为什么使用自动分区? 在oracle11g之前,oracle是不支持自动分区功能的,这就可能导致我们系统在运行一段时间之后,就需要看看分区是否创建或者写触发器进行创建分区,否则就会导致数据无法入...

06/23 14:58
202
0
informix数据库在linux中的安装以及用java/c/c++访问

一、安装前准备 安装JDK(略) 到IBM官网上下载informix软件:iif.12.10.FC9DE.linux-x86_64.tar放在某个大家都可以访问的目录比如:/mypkg,并解压到该目录下。 我也放到了百度云和天翼云上...

06/23 01:21
59
0
十问 TiDB :关于架构设计的一些思考

作者:黄东旭 >“我希望能够把 TiDB 的设计的一些理念能够更好的传达给大家,相信大家理解了背后原因后,就能够把 TiDB 用的更好。” 做 TiDB 的缘起是从思考一个问题开始的:为什么在数据库...

06/21 11:04
4.1K
22
从删库到跑路or恢复,记一次MySQL数据库文件损坏恢复经历

## 一、 前言 2018年5月28日,北京晴有轻度沙尘暴。 坐上公交车走在上班的路上,想起老罗经常说起的一句话:想成盛田昭夫时代的索尼,想成乔布斯时代的苹果,于是继续研读着 **《日本制造:盛...

06/20 20:40
338
0
什么是事务、事务特性、事务隔离级别、spring事务传播特性

1.什么是事务: 事务是程序中一系列严密的操作,所有操作执行必须成功完成,否则在每个操作所做的更改将会被撤销,这也是事务的原子性(要么成功,要么失败)。 2.事务特性: ...

06/08 08:58
730
6
TiDB 源码阅读系列文章(九)Hash Join

>作者:张建 ## 什么是 Hash Join Hash Join 的基本定义可以参考维基百科:[Hash join](https://en.wikipedia.org/wiki/Hash_join)。简单来说,A 表和 B 表的 Hash Join 需要我们选择一个 In...

06/07 10:25
444
0
基于前序遍历的无递归的树形结构的数据库表设计

本文介绍的方法基于多叉树的前序遍历序列,是所有数据库树结构存储方案中查询子树速度最快的方案。最早发表在这里"http://drinkjava2.iteye.com/blog/2353983",但那篇文章太啰嗦了,这是整理...

05/25 13:50
690
0
高并发大容量NoSQL解决方案探索

大数据时代,企业对于DBA也提出更高的需求。同时,NoSQL作为近几年新崛起的一门技术,也受到越来越多的关注。本文将基于个推SRA孟显耀先生所负责的DBA工作,和大数据运维相关经验,分享两大方...

05/14 15:39
4.6K
6
在MySQL中使用explain查询SQL的执行计划

1、什么是MySQL执行计划 要对执行计划有个比较好的理解,需要先对MySQL的基础结构及查询基本原理有简单的了解。 MySQL本身的功能架构分为三个部分,分别是 应用层、逻辑层、物理层,不只是M...

05/05 18:16
1K
5

没有更多内容

加载失败,请刷新页面

下一页

MongoDB副本集配置和数据迁移实战

MongoDB副本集配置和数据迁移实战 https://gitee.com/et/ops/blob/master/MongoDB副本集配置和数据迁移实战.md 环境:Ubuntu 16.04, MongoDB 3.6 基本概念 MongoDB 的副本集就是有自动故障恢...

06/30 16:48
848
0
TiDB 源码阅读系列文章(九)Hash Join

>作者:张建 ## 什么是 Hash Join Hash Join 的基本定义可以参考维基百科:[Hash join](https://en.wikipedia.org/wiki/Hash_join)。简单来说,A 表和 B 表的 Hash Join 需要我们选择一个 In...

06/07 10:25
444
0
高并发大容量NoSQL解决方案探索

大数据时代,企业对于DBA也提出更高的需求。同时,NoSQL作为近几年新崛起的一门技术,也受到越来越多的关注。本文将基于个推SRA孟显耀先生所负责的DBA工作,和大数据运维相关经验,分享两大方...

05/14 15:39
4.6K
6
在MySQL中使用explain查询SQL的执行计划

1、什么是MySQL执行计划 要对执行计划有个比较好的理解,需要先对MySQL的基础结构及查询基本原理有简单的了解。 MySQL本身的功能架构分为三个部分,分别是 应用层、逻辑层、物理层,不只是M...

05/05 18:16
1K
5
十个实用MySQL函数

十个实用MySQL函数,你要不要进来领走...

2017/12/29 09:46
3.3K
7
谈谈开源(一)

作者 申砾 源码面前,了无秘密 ---- 侯捷 ### 前言 很多人的『开源』是一个比较时髦且有情怀的词汇,不少公司也把开源当做 KPI 或者是技术宣传的手段。但是在我们看来,大多数人开源做的并不...

2017/09/25 19:35
1K
2
浅析开源数据库MySQL架构

数据库是所有应用系统的核心,故保证数据库稳定、高效、安全地运行是所有企业日常工作的重中之重。数据库系统一旦出现问题无法提供服务,有可能导致整个系统都无法继续工作。所以,一个成功的...

2017/09/14 15:35
2.4K
1
MySQL 死锁与日志二三事

最近线上 MySQL 接连发生了几起数据异常,都是在凌晨爆发,由于业务场景属于典型的数据仓库型应用,白天压力较小无法复现。甚至有些异常还比较诡异,最后 root cause 分析颇费周折。那实际业...

2017/07/24 02:00
8.6K
19
数据库中间件 MyCAT 源码分析 —— SQL ON MongoDB

![wechat_mp](http://www.yunai.me/images/common/wechat_mp.jpeg) > 🙂🙂🙂关注**微信公众号**有福利: > 1. RocketMQ / MyCAT / Sharding-JDBC **所有**源码分析文章列表 > 2. Rocke...

2017/07/20 01:32
1K
2
数据库中间件 MyCAT源码分析 —— 跨库两表Join

![wechat_mp](http://www.yunai.me/images/common/wechat_mp.jpeg) > 🙂🙂🙂关注**微信公众号**有福利: > 1. RocketMQ / MyCAT / Sharding-JDBC **所有**源码分析文章列表 > 2. Rocke...

2017/07/13 21:46
1K
3
如何理解并正确使用MySql索引

1、概述 索引是存储引擎用于快速查找记录的一种数据结构,通过合理的使用数据库索引可以大大提高系统的访问性能,接下来主要介绍在MySql数据库中索引类型,以及如何创建出更加合理且高效的索...

2017/07/10 22:19
7.1K
30
MySQL基于gtid特性与xtrabackup的数据恢复

通过备份文件新建从库,将binlog跑到指定的gtid位置,可以将数据恢复到指定的时间点。

2017/07/05 17:38
1K
2
对MySQL交换分区的实践

前言 在介绍交换分区之前,我们先了解一下 mysql 分区。 数据库的分区有两种:水平分区和垂直分区。而MySQL暂时不支持垂直分区,因此接下来说的都是水平分区。水平分区即:以行为单位对表进行...

2017/07/03 17:55
2.1K
5
三篇文章了解 TiDB 技术内幕 —— 谈调度

任何一个复杂的系统,用户感知到的都只是冰山一角,数据库也不例外。 前两篇文章介绍了 TiKV、TiDB 的基本概念以及一些核心功能的实现原理,这两个组件一个负责 KV 存储,一个负责 SQL 引擎,...

2017/06/08 12:00
1K
1
Mongodb高可用集群搭建

最近公司项目要求Mongodb集群且高可用,在查询了一系列文章,再结合项目实际情况,所以采用了这一套高可用集群方案

2017/05/26 14:56
2.1K
7
实验:MySQL使用JDBC执行批处理性能测试

实验:MySQL使用JDBC执行批处理性能测试

2017/03/10 10:57
2K
6
记一次mysql性能优化过程

所谓mysql的优化,三分是配置的优化,七分是sql语句的优化,通过一些案例分析,希望给大家在工作中带来一些思路

2017/03/02 14:59
6.7K
36
NoSQL介绍

对nosql出现背景、nosql类型做介绍,并解答nosql相关问题

2017/02/23 14:50
1K
4
Linux服务器安装Oracle服务端总结

通过ssh远程连接linux服务器,上传Oracle11g的安装包,在无图形化界面的情况,安装Oracle服务器端。本例中linux服务器系统为CentOS6.5.

2017/01/13 23:45
3.6K
4
【技术解密】SequoiaDB复制组选举原理说明

1.SequoiaDB介绍 SequoiaDB是国内一款自主研发的分布式文档型数据库。它与过去开发者所熟悉的关系型数据库不同,它的数据结构是BSON类型,一种与JSON结构非常相近的数据类型。 SequoiaDB与关...

2017/01/09 17:48
806
1

没有更多内容

加载失败,请刷新页面

下一页

PostgreSQL记录不存在则插入,存在则更新的做法

表结构如下: 假设想要实现当记录存在时account值加1,而记录不存在时插入记录,可以这样来实现: INSERT INTO A (ID, username, account) VALUES (1, 'aa', 0) ON conflict (ID) DO UPDATE...

昨天 15:38
1
0
【华为云开发者扶持计划】0元体验2核4G云主机、100GMySql数据库、DevCloud、开发课程等4项福利

超级好用的华为云热门产品、业界领先的Devcloud、 精华凝结的应用服务 、最新最前沿的开发课程,快来免费领取!还有开发者中心众多的资源,将助您获取8万+华为研发员工使用、历经30年磨练的软件开发精华。

华为云广告

《10步完全理解SQL》收获

先贴蓝色神秘串:http://blog.jobbole.com/55086/#article-comment 非常好的一篇文章啊,读后收获颇多。虽然在校刚刚学完数据库系统,但课程重在讲述数据库系统原理,SQL只是讲了基本语法。自...

前天 20:56
2
0
SQL基础-多表操作

外键 作为外键一定要和关联主键的数据类型保持一致,被绑定的表为主表,需要绑定的表为子表 语法示例 示例方式,详细示例参考下文实例 创建外键 CREATE TABLE 动物表(ID int primary key,动物...

前天 18:15
2
0
SQL基础-匹配模式

% % 表示任意0个或多个字符。 示例 Select * FROM user Where name LIKE '%三%'; 将会把name为“张三”,“三脚猫”,“唐三藏”等等 有“三”的全找出来。%三:表示左匹配。三%:表示右匹配...

前天 18:15
2
0
MySQL架构

我们先下图看看MySQL整体逻辑架构(MySQL’s Logical Architecture) 图1 第一层,即最上一层,所包含的服务并不是MySQL所独有的技术。它们都是服务于C/S程序或者是这些程序所需要的 :连接处理...

08/17 14:33
4
0
MongoDB:16-MongoDB-索引数组字段和索引子文档字段

MongoDB允许深入文档内部,对嵌套字段和数组建立索引; 嵌套对象和数组字段可以和复合索引中的顶级字段一起使用,多数情况下与“正常”索引字段的行为也是一致的。 考虑以下文档集合(user ...

08/17 10:13
3
0
mysql 8本地源码安装注意事项

1.安装依赖 yum -y install wget cmake gcc gcc-c++ ncurses ncurses-devel libaio-devel openssl openssl-devel   2.下载源码包 wget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-...

08/16 17:39
12
0
MySQL explain (查看sql 执行顺序)

通过explain sql 可以分析出 ,sql 执行顺序及是否使用索引等 https://www.cnblogs.com/butterfly100/archive/2018/01/15/8287569.html https://www.cnblogs.com/xuanzhi201111/p/4175635.h...

08/16 13:56
6
0
15分钟了解TiDB

由于目前的项目把mysql换成了TiDb,所以特意来了解下tidb。其实也不能说换,由于tidb和mysql几乎完全兼容,所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换,TiDB 是一个分布式...

08/15 21:23
6
0
MongoDB分片配置

简单注解: mongos 路由进程, 应用程序接入mongos再查询到具体分片,监听端口默认27017 config server 路由表服务, 每一台都具有全部chunk的路由信息 shard为数据存储分片, 每一片都可以是...

08/15 18:50
7
0
Postgresql backup & restore 备份和恢复

更多详情参考 https://stackoverflow.com/questions/2732474/restore-a-postgres-backup-file-using-the-command-line 1. 110 down vote create backup pg_dump -i -h localhost -p 5432 -U ...

08/15 16:35
6
0
Ubuntu Linux 安装Postgresql 10

  PostgreSQL是加州大学伯克利分校计算机系开发的对象关系型数据库管理系统,目前拥有活跃的开源社区贡献,最近排名也不断前进,pgsql中其实有很多有点和设计理念都要比mysql更好一些,比如...

08/15 16:26
6
0
MySQL主从配置

两台服务器:主(master_mysql): 192.168.1.1,从(slave_mysql): 192.168.1.2。 1.主配置(master_mysql配置) 在my.cnf添加: server-id=1 #服务器id (主从必须不一样) log-bin=mysql-bin #...

08/15 16:23
0
0
Oracle APEX 数据库视图清单

视图名称 说明 APEX_WORKSPACES 可用应用程序Express(APEX)工作区 APEXWSAPPLICATIONS Websheet应用程序 APEXWSDATA_GRID Websheet数据网格定义 APEXWSDATAGRIDCOL Websheet Data Grid列的...

08/15 15:45
6
0
mysql错误日志:Forcing close of thread xxx user: 'root'

#缘由 最近后台网站总是崩,发现是由于数据库异常引起的,由于登录上服务器,mysql进程运行正常,但就是连接不上去好像进入‘假死’状态一样; #排查 打开mysql错误日志,一般是/usr/local/...

08/15 15:09
2
0
一行命令:从 ELK 迁移日志服务

概述 日志服务相比自建 ELK 在功能、性能、规模和成本等方面有诸多优势,参阅自建ELK vs 日志服务(SLS)全方位对比。对于已经存储在 Elasticsearch 中的数据,用户只需要一行命令就能方便地将...

08/15 13:40
2
0
redis数据结构

1.数据结构 1.1 简单动态字符串 sds struct sdshdr { int len; // buf数组中记录的字符串长度 int free; //bug数组未使用的长度 char buf[]; //字节数组,用于保存字符串 } sds与c字符串的区...

08/15 12:47
6
0
mysql创建用户并授权

一,创建数据库 create database XXX; 二,创建用户 CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 例子: CREATE USER 'dog'@'localhost' IDENTIFIED BY '123456'; 三,给用户授...

08/15 11:50
8
0
PowerDesigner p f m

(非原创) P:PirmaryKey 主键 F:ForeignKey 外键 M:Mandatory 强制要求(不能为空) 主键: 主键是数据表的唯一索引,比如学生表里有学号和姓名,姓名可能有重名的,但学号确是唯一的,你要从...

08/15 11:28
0
0

没有更多内容

加载失败,请刷新页面

下一页

返回顶部
顶部