精彩博客

开源分布式数据库SequoiaDB在去哪儿网的实践

编者注: 中国的数据库行业也迎来了一波新的热点事件。分布式数据库这块新消息不断,也让大家开始关注中国的分布式数据库。首先是短短一周内,Pingcap和SequoiaDB巨杉数据库陆续宣布了C轮的数...

10/10 21:31
261
0
关于MySQL 通用查询日志和慢查询日志分析

MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。 1)通用查询日志:记录建立的客户端连接和执行的...

10/09 14:36
2.7K
5
雷神 Thor —— TiDB 自动化运维平台

作者:瞿锴,同程艺龙资深 DBA 背景介绍 随着互联网的飞速发展,业务量可能在短短的时间内爆发式地增长,对应的数据量可能快速地从几百 GB 涨到几百个 TB,传统的单机数据库提供的服务,在系...

10/08 11:03
542
0
使用KETTLE从mysql同步增量数据到oracle

初次使用ETL工具抽取并同步数据,搜索之后决定使用kettle,使用后感觉很方便。 本次是基于一个很小的需求,需要把老系统的mysql数据在一段新老系统共存时期内产生的数据实时传输到新系统ora...

09/29 11:33
473
0
关于Greenplum的那点事儿

Greenplum是什么鬼?干啥用的?能吃吗? 下面是来自官网的一段英文: 大概翻译一下: Greenplum Database是一个大规模并行处理(MPP)数据库服务器,其架构专门用于管理大规模分析数据仓库和...

09/28 10:02
145
0
redis 一主二从三哨兵的搭建

环境准备 三台独立的linux主机 内网IP分别为: 172.31.175.142、172.31.175.143、172.31.175.144 分别创建带主目录的普通用户, 比如useradd wx -m 安装redis 分别在各个主机上安装redis,以172...

09/28 04:30
570
1
Redis 避不开的五种数据结构

Redis 中有 5 种数据结构,分别是字符串(String)、哈希(Hash)、列表(List)、集合(Set)和有序集合(Sorted Set),因为使用 Redis 场景的开发中肯定是无法避开这些基础结构的,所以熟...

09/21 15:36
3.7K
21
Python以太坊交互将区块链数据存入sql数据库

关于区块链介绍性的研讨会通常以易于理解的点对点网络和银行分类账这类故事开头,然后直接跳到编写智能合约,这显得非常突兀。因此,想象自己走进丛林,想象以太坊区块链是一个你即将研究的奇...

09/05 09:49
2.7K
2
Nosql数据库开发之Couchabse———安装介绍篇

前言: 入职新公司有两个多月了,项目使用的是couchabse,springcloud+couchabse,开始整个项目只有我一个人,因此独自踩了两个月的坑后,特此记录下血泪史;主要是发现网上竟然找不到相关的...

09/03 11:26
313
1
NoSQL——MongoDB副本集和文档管理

一. 副本集 1. 介绍 副本集也称为MongoDB复制 在多个服务器上存储数据,实现数据同步 提高数据可用性、安全性,方便数据故障恢复 2. MongoDB复制原理 至少需要两个节点,其中一个是主节点,负...

08/29 17:04
444
0
Redis 哈希结构内存模型剖析

本文共 1231字,阅读大约需要 5分钟 ! 概述 在前文《Redis字符串类型内部编码剖析》之中已经剖析过 Redis最基本的 String类型的内部是怎么编码和存储的,本文再来阐述 Redis中使用 最为频繁...

08/27 09:00
4.2K
11
pg_lightool-postgres数据分布查看工具

一、前言 数据库在经过长时间的运行之后,有效数据不规则的分散在数据文件的各个地方。如何能得知每个page,每个segment到底存储了多少数据呢?作者DIY了这个功能'datadis'到pg_lightool工具...

08/26 21:24
285
0
pg_lightool-postgres数据库基于wal日志的坏页修复

一、前言 当前postgres数据库可选的恢复工具(PITR,pg_rman)都需要一个基础备份。恢复原理就是以基础备份为base,通过重演wal日志使数据库达到一个用户满意 的状态。 如果没有基础备份,那么...

08/21 15:33
1K
11
MySQL 8 在 Windows 下安装及使用

MySQL 8 带来了全新的体验,比如支持 NoSQL、JSON 等,拥有比 MySQL 5.7 两倍以上的性能提升。本文讲解如何在 Windows 下安装 MySQL 8,以及基本的 MySQL 用法。 下载 下载地址 https://dev....

08/21 01:46
1K
2
PostgreSQL中的数据位对齐——MAXALIGN

最近在看PG的xlog的源代码时,发现了一个这样的宏定义 #define SizeOfXLogLongPHD MAXALIGN(sizeof(XLogLongPageHeaderData)) 其实理解起来很简单,就是取得XLogLongPageHeaderData结构体的s...

08/20 16:12
304
1
ELK构建MySQL慢日志收集平台详解

上篇文章《中小团队快速构建SQL自动审核系统》我们完成了SQL的自动审核与执行,不仅提高了效率还受到了同事的肯定,心里美滋滋。但关于慢查询的收集及处理也耗费了我们太多的时间和精力,如何...

08/16 09:35
875
3
postgres服务器为每一个连接用户创建的cache

postgres连接用户的cache内核 前言 pg客户端通过libpq连接到服务器后,postmaster进程会为此客户端创建一个postgres进程,来处理此客户端发送来的各种请求。客户端发来的任何请求,都需要pos...

08/14 23:49
266
2
Redis字符串类型内部编码剖析

概述 我们平时用 Redis都是处于用户层面,我们可能会不加思索地操作一个 key-value 对来方便地存取数据,感觉方便之至。但你知道这些数据在背后是如何存储以及编码的吗? 了解清楚了这个问题...

08/09 06:33
575
1
wm_concat 函数在PG中替代

WM_CONCAT 经常使用到行转列上,早期的代码里这个函数用的会比较多,但是可惜在12c中,这个函数已经过期了: WM_CONCAT is gone in 12c. Use LISTAGG instead https://asktom.oracle.com/pl...

08/07 10:02
249
1
【静默】在RHEL 6.5上静默安装Oracle 18c

【静默】在RHEL 6.5上静默安装Oracle 18c Oracle 18c。18c其实就是12.2.0.2,19c就是12.2.0.3。db_home.zip 安装包大概4.25G,解压后有8.9G,数据库软件安装完成后有9.4G,创建完数据库后有1...

08/07 09:20
345
0

没有更多内容

加载失败,请刷新页面

如何让 J2Cache 在多种编程语言环境中使用

现在的系统是越来越复杂了,不仅仅是功能复杂,系统结构也非常复杂,而且经常在一个系统里包含几种不同语言编写的子系统。例如用 JavaScript 做前端开发、用 Java/PHP 等等做后端,C/C++/Go ...

前天 09:04
1K
2
go http 框架性能大幅下降原因分析

最近在开发一个web 框架,然后业务方使用过程中,跟我们说,压测qps 上不去,我就很纳闷,httprouter + net/http.httpserver , 性能不可能这么差啊,网上的压测结果都是10w qps 以上,几个m...

10/16 17:11
2.1K
9
为什么前后端分离了,你比从前更痛苦?

你有没有遇到过: 前端代码刚写完,后端的接口又变了。 接口文档永远都是不对的。 测试工作永远只能临近上线才能开始。 为什么前后端分离了,你比从前更痛苦?   前后端分离早已经不是新闻...

10/16 09:01
7.8K
15
Node.js股票模拟交易后台

我曾经花了一周时间开发了一个股票模拟交易后台程序,使用Node.js。代码量很少,能完成基本功能。下面给大家介绍一下其实现步骤。 基本功能 开户 搜索股票 挂单(多单、空单) 撤单(主动、被...

10/13 22:37
1K
3
前端安全系列之二:如何防止CSRF攻击?

背景 随着互联网的高速发展,信息安全问题已经成为企业最为关注的焦点之一,而前端又是引发企业安全问题的高危据点。在移动互联网时代,前端人员除了传统的 XSS、CSRF 等安全问题之外,又时常...

10/12 10:43
3.1K
25
从源码分析如何优雅的使用 Kafka 生产者

前言 在上文 设计一个百万级的消息推送系统 中提到消息流转采用的是 Kafka 作为中间件。 其中有朋友咨询在大量消息的情况下 Kakfa 是如何保证消息的高效及一致性呢? 正好以这个问题结合 Ka...

10/11 08:13
1K
4
Go 内存管理

1. 前言 编写过C语言程序的肯定知道通过malloc()方法动态申请内存,其中内存分配器使用的是glibc提供的ptmalloc2。 除了glibc,业界比较出名的内存分配器有Google的tcmalloc和Facebook的jem...

10/09 16:55
1K
14
关于MySQL 通用查询日志和慢查询日志分析

MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。 1)通用查询日志:记录建立的客户端连接和执行的...

10/09 14:36
2.7K
5
使用golang写一个redis-cli

使用golang写一个redis-cli 0. redis通信协议 redis的客户端(redis-cli)和服务端(redis-server)的通信是建立在tcp连接之上, 两者之间数据传输的编码解码方式就是所谓的redis通信协议。所以,...

10/08 19:23
2.8K
7
揭密 Vue 的双向绑定

Vue 中需要输入什么内容的时候,自然会想到使用 的方式来实现双向绑定。下面是一个最简单的示例 What's your name:

10/05 11:31
2.2K
5
谈谈机器学习模型的部署

随着机器学习的广泛应用,如何高效的把训练好的机器学习的模型部署到生产环境,正在被越来越多的工具所支持。我们今天就来看一看不同的工具是如何解决这个问题的。 上图的过程是一个数据科学...

10/05 03:00
1K
2
iOS 的组件化开发

在一个APP开发过程中,如果项目较小且团队人数较少,使用最基本的MVC、MVVM开发就已经足够了,因为维护成本比较低。 但是当一个项目开发团队人数较多时,因为每个人都会负责相应组件的开发,...

10/03 22:59
550
0
jvm误区--动态对象年龄判定

虚拟机并不是永远地要求对象的年龄必须达到了MaxTenuringThreshold才能晋升老年代,如果在Survivor空间中相同年龄所有对象大小的总和大于Survivor空间的一半,年龄大于或等于该年龄的对象就可...

09/29 20:01
985
1
为什么我们做分布式使用Redis?

绝大部分写业务的程序员,在实际开发中使用 Redis 的时候,只会 Set Value 和 Get Value 两个操作,对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结,解决大家的知识盲点。 1、...

09/29 16:03
7.3K
21
似懂非懂 Comparable和 Comparator

在java中提供了两种排序方式:Comparable和 Comparator,它们两个看起来非常的相似,在不是很了解的情况下不知道如何使用,什么情况下使用哪个进行排序,接下来就看下它们的一个区别和使用方...

09/29 10:51
1K
3
快速了解 Git Git仓库

一、Git介绍 (1)Git是一个开源(Linus Torvalds 为了帮助管理 Linux 内核开发而开发)的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目,与常用的版本控制工具 CVS, SVN等不同...

09/28 15:38
1K
4
SpringBoot | 第二十九章:Dubbo的集成和使用

前言 今年年初时,阿里巴巴开源的高性能服务框架dubbo又开始了新一轮的更新,还加入了Apache孵化器。原先项目使用了spring cloud之后,已经比较少用dubbo。目前又抽调回原来的行业应用部门,...

09/28 09:39
2.2K
5
聊聊 Go Socket 框架 Teleport 的设计思路

项目源码 teleport:https://github.com/henrylee2cn/teleport 背景 大家在进行业务开发时,是否是否遇到过下列问题,并且无法在Go语言开源生态中找到一套完整的解决方案? 高性能、可靠地通...

09/27 10:05
1K
3
微服务写的最全的一篇文章

今年有人提出了2018年微服务将疯狂至死,可见微服务的争论从未停止过。在这我将自己对微服务的理解整理了一下,希望对大家有所帮助。 1.什么是微服务 1)一组小的服务(大小没有特别的标准,...

09/26 22:46
4.1K
34
EventBus原理深度解析

一、问题描述 在工作中,经常会遇见使用异步的方式来发送事件,或者触发另外一个动作:经常用到的框架是MQ(分布式方式通知)。如果是同一个jvm里面通知的话,就可以使用EventBus。由于Event...

09/26 01:29
3K
10

没有更多内容

加载失败,请刷新页面

阿里云数据库HybridDB for PostgreSQL使用教程

云数据库HybridDB for PostgreSQL(ApsaraDB HybridDB for PostgreSQL)是一种在线MPP大规模并行处理数据仓库服务。云数据库HybridDB for PostgreSQL基于Greenplum Database开源数据库项目,...

14分钟前
0
0
数据库安全审计

随着互联网的快速发展,企业通过各种应用产生在数据库中的所有关于商业以及公共安全性的数据,已经成为各企事业单位最具有价值的资产。通常企业为了防止这些敏感数据被竞争对手或者黑客非法获...

昨天 17:03
5
0
Replica Set Member States

最近写MongoDB监控脚本,要判断节点状态,这里整理了所有的节点状态值,对应 命令 rs.status().members 中的 state 和 stateStr 字段,如: "state" : 3, "stateStr" : "RECOVERING" 0 START...

昨天 16:40
6
0
甲骨人-MySQL网络课-day01

一、MySQL简介 1、MySQL运维DBA工作内容: 初级DBA: 安装配置,基本使用,基本故障处理 中级DBA: 体系结构、备份策略设计,故障恢复,基础高可用的运维(搭建、监控、故障处理、架构演变)...

昨天 15:06
4
0
Redis知识总结--五种基础数据结构

string string应该是redis最常被用到的数据结构,简单的get、set即可操作。 为了避免内存空间不够造成频繁扩容,通常会分配一块大于value长度的内存空间,空间大小使用capicity表示,value长...

昨天 14:19
2
0
一句话说清分布式锁,进程锁,线程锁

转载自: https://www.cnblogs.com/intsmaze/p/6384105.html 在分布式集群中的开发中,线程锁往往不能支持全部场景的使用,必须引入新的分布式锁。 线程锁,进程锁,分布式锁 线程锁: 主要用...

昨天 11:44
9
0
pg数据库 upsert使用

原文地址 https://blog.csdn.net/rudygao/article/details/50498908 --创建测试数据表 create table t (id int constraint idx_t_id primary key,name varchar(20) constraint cst_name not ...

昨天 11:38
6
0
mongoDB数据库在压测情况下突然挂掉

问题描述 在一处业务场景中使用过程中,需要往mongoDB大量的放入数据,然后从测试程序开始,不到10分钟,出现大量报错,查看日志发现,是mongoDB数据连接不上,查看所在机器,发现该机器上的...

昨天 10:56
8
0
简单几招提高MySQL安全性

导读 如何提高MySQL的安全性 数据库的安全性无疑很重要,这里教大家几招简单方法提高安全性。 1. 正确设置 datadir 权限模式 关于 datadir 正确的权限模式是 0750,甚至是 0700。 也就是最多...

昨天 10:43
0
0
从ibdata文件恢复mysql数据

DROP TABLE 恢复【一】 Recover InnoDB dictionary Percona Data Recovery Tool 单表恢复

前天 22:48
4
0
误删除innodb ibdata数据文件恢复

今天在群里看到有人说不熟悉innodb把ibdata(数据文件)和ib_logfile(事务日志)文件误删除了。不知道怎么解决。当时我也不知道怎么办。后来查阅相关资料。终找到解决方法。其实恢复也挺简单...

前天 22:35
4
0
ORACEL学习--理解over()函数

二、理解over()函数 1.1、两个order by的执行时机 分析函数是在整个sql查询结束后(sql语句中的order by的执行比较特殊)再进行的操作, 也就是说sql语句中的order by也会影响分析函数的执行结果...

前天 21:13
5
0
ORACEL学习--ORACLE统计分析函数

文章来自:ORACLE统计分析函数 一:准备条件 本文讲述Oracle分析函数用法,首先建库:Sql代码 create table earnings -- 打工赚钱表 ( earnmonth varchar2(6), -- 打工月份 area varchar2(20...

前天 21:07
3
0
从xtrabackup完整备份恢复单个innodb表

现在大多数同学在线上采取的备份策略都是xtrabackup全备+binlog备份,那么当某天某张表意外的删除那么如何从xtrabackup全备中恢复呢?从mysql 5.6版本开始,支持可移动表空间(Transportable...

前天 19:33
2
0
Windows下mySql安装

参考:http://www.runoob.com/mysql/mysql-install.html 下载MySQL 下载地址 压缩包解压到:E:\software\mysql-8.0.12-winx64 配置MySql 进入E:\software\mysql-8.0.12-winx64,在该文件夹下...

前天 18:20
6
0
MySQL忘记root密码--不重启mysqd重置root密码

先提个问题:如何不重启mysqld,且没有权限修改用户账号和权限的情况下,如何重新设置root密码?不知道没关系,在此之前我也是不知道如何操作的,先看看下面的几种重置root密码的方法。 1、s...

前天 18:14
1
0
oracle的resetlogs机制浅析

oracle的resetlogs机制浅析 alter database open resetlogs 这个命令我想大家都很熟悉了,那有没有想过这个resetlogs选项为什么要用?什么时候用? 它的原理机制是什么?他都起哪些作用? 我...

前天 17:12
3
0
Innodb中的事务隔离级别和锁的关系

#一次封锁or两段锁? 因为有大量的并发访问,为了预防死锁,一般应用中推荐使用一次封锁法,就是在方法的开始阶段,已经预先知道会用到哪些数据,然后全部锁住,在方法运行之后,再全部解锁。...

前天 16:52
10
0
linux 源码安装mysql8

1.安装依赖 yum -y install wget cmake gcc gcc-c++ ncurses ncurses-devel libaio-devel openssl openssl-devel   2.下载源码包 wget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-...

前天 15:39
3
0
Mysql 通过frm&ibd 恢复数据

mysql存储在磁盘中,各种天灾人祸都会导致数据丢失。大公司的时候我们常常需要做好数据冷热备,对于小公司来说要做好所有数据备份需要支出大量的成本,很多公司也是不现实的。万一还没有做好...

前天 14:54
5
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部