活动报名地址：https://www.oschina.net/event/2324376 PostgreSQL亚洲技术大会-PGConf.Asia，时隔一年，重装回归。 这一年，PostgreSQL在中国、亚洲乃至全球，正以前所未有的速度向前发展。我们见证了全球数据库市场的行业变革，目睹了一批技术领袖的崛起，同时亲历了数百家生态企业创新成长。 大会亮点 今年大会线上线下结合，全程云端免费参与，前沿数据干货、最新产品解密、大咖互动提问，足不出户让您尽情体验！ 全球专家，...

在使用PostgreSQL的时候，我们某些时候会往库里插入大量数据，例如，导入测试数据，导入业务数据等等。本篇文章介绍了在导入大量数据时的一些可供选择的优化手段。可以结合自己的情况进行选择。 一、关闭自动提交 关闭自动提交，并且只在每次(数据拷贝)结束的时候做一次提交。 如果允许每个插入都独立地提交，那么PostgreSQL会为所增加的每行记录做大量的处理。而且在一个事务里完成所有插入的动作的最大的好处就是，如果有一条...

Created in the name of FOSS. 被访者：冯若航（ Pigsty 创始人） 编辑：lola 出品：OSCHINA 开源中国 冯若航最近很忙，6 月一场创业营路演下来，他一次性加了两三百个投资人。 不过，这也是他“自找”的。 此前，他是一名 PostgreSQL DBA，为了减少自己的工作量，写了一个开源软件 —— Pigsty 帮自己干活，日子越发好过了起来。明明可以“摸鱼”度日，冯若航却非要选择出来全职创业。 “创业这种事儿吧，一般人一辈子也就是一...

PostgreSQL 15 版本正在开发中，不远的将来就会与大家见面，一起来看看未来的一些新功能吧！ 1. 删除public 模式的创建权限 直到今天，使用 PostgreSQL 14，每个人都可以默认写入public模式。使用 PostgreSQL 15，这将受到限制。public模式现在由“pg_database_owner”拥有。让我们做一个简短的测试。 postgres=# create user test; CREATE ROLE postgres=# \du                             ...

文章转载自公众号：AustinDatabases 这是这个系列的第五期，本期到了SQL 执行计划中经常会出现的两个熟悉的面庞， hash-base sort-Merge ，当然还有nested loops ,顺便这期还的说说索引，其中包含b-tree 索引以及bitmaps 数据结构，所以这期东西是异常混乱的。跟好了，别掉队哦 首先还是从我们熟悉的 b-tree 说起，这个数据结构组成的方式是每种数据库都支持的快速查找数据的存储结构，并为之在他的基础上建立的算法，这样的组合...

文章转自公众号：SQL编程思想 基本概念 服务器系统错误、硬件故障或者人为失误都可能导致数据的丢失或损坏。因此，备份和恢复对于数据库的高可用性至关重要。数据库管理员应该根据业务的需求制定合适的备份策略，并提前演练各种故障情况下的恢复过程，做到有备无患。 在升级 PostreSQL 版本之前，通常也需要先进行数据库的备份。另外，备份也可以用于主从复制结构中的从节点初始化。 备份（backup），通过某种方式（物理复制或者...

翻译：魏 波 中国PG分会培训认证执行总监、资深数据库工程师，十多年的数据库运维管理及培训经验，掌握PostgreSQL架构部署、性能优化等，致力于推动PostgreSQL在中国的发展。 作者：维涅什瓦兰 C（Vigneshwaran C） 2022 年 2 月 10 日 在这篇文章中，我想讨论富士通 OSS 团队与 PostgreSQL 开源社区合作为即将推出的 PostgreSQL 15 添加的新功能，以实现模式中所有表的逻辑复制。 背景 PostgreSQL 14 支持数据库中特定表或所有...

译者：魏 波 中国PG分会培训认证执行总监、资深数据库工程师，十多年的数据库运维管理及培训经验，掌握PostgreSQL架构部署、性能优化等，致力于推动PostgreSQL在中国的发展。 作者：沙扬·慕克吉（Shayon Mukherjee） 我是一名具有产品和基础设施工程经验的软件工程师。我喜欢构建和扩展以软件为主导的基础设施。我感兴趣的一些领域（没有特定的顺序或类别）：分布式系统、站点可靠性、事件管理、运行、Gulab Jamun和Biryani。 ...

了解更多Greenplum相关内容，欢迎访问Greenplum中文社区网站 在2021年12月14-17日举行的PostgresConf.CN&PGConf.Asia 2021大会上，来自Greenplum原厂的VMware研发工程师王晓冉发表了《PostgreSQL 空闲空间管理》主题演讲。在演讲中，王晓冉结合PostgreSQL存储引擎，分析了FSM的实现机制，并结合源代码，分析了FSM代码中主要数据结构，存储、并发及recovery的实现。 在大会上，王晓冉将整个演讲内容分为了四个部分进行讲解，分别...

作者：徐浩 近10年PostgreSQL/MySQL/Oracle/数据库乙方运维经验；美创科技运维负责人、资深DBA、资深架构师；中国开源软件推进联盟中国PG分会认证讲师；美创科技PGCA/PGCE/PGCM认证培训讲师；Oracle OCM、Oracle OCP、MySQL OCP、认证培训讲师；书籍《DBA攻坚指南：左手Oracle，右手MySQL》作者。 repmgr是一个开源工具套件，用于管理 PostgreSQL 服务器集群中的复制和故障转移。它通过设置备用服务器、监控复制和执行管理任务（...

文章转载自公众号：SQL编程思想 数据库定时任务可以用于实现定期的备份、统计信息采集、数据汇总、数据清理与优化等。PostgreSQL 没有提供类似 Oracle、MySQL 以及 Microsoft SQL Sever 的内置任务调度功能，因此本文给大家介绍一下 PostgreSQL 数据库中实现定时任务的 4 种方法。 方法一：操作系统定时任务 Linux 定时任务（crontab）或者 Windows 任务计划程序（Task Scheduler）为我们提供了一个实现定时任务传统的方法。以 ...

文章转载自公众号：韩锋频道 下图是一张非常经典的数据分析技术演进图，从中可一窥整体发展历程。本文将按时间顺序盘点下各阶段产品及技术特点，并预测下未来发展方向。 1. 简单可用阶段：数据库（DataBase） 早在1980年代初中期，是没有专门面向数据分析场景的产品。当时还是以面向事务交易场景为主，数据分析仅作为附带提供的场景。主要是面对管理层提供固定报表，满足宏观管理决策。作为底层数据库，通过标准SQL提供数据分析...

作者：崔鹏 拥有十年以上的PostgreSQL、MYSQL、Oracle等技术支持和服务经验，涉及银行、公共安全、专网通信等行业。适配过多种主流数据库，对于信创国产化、等保适配、MYSQL迁移PostgreSQL等有丰富的实战经验。主导开发使用警用数字集群标准的多产品PG HA解决方案。 VACUUM功能概述: PostgreSQL有一个可选但是被推荐的特性autovacuum（从8.1版本加入），它的目的是自动执行VACUUM和ANALYZE 命令,回收被表示为删除状态记录的空间...

本文是老白在1月16日PG中国大会上的演讲内容，全文有4500多字，阅读时间可能超过10分钟，请慎重阅读。 各位PG Funs下午好，我是老白。在疫情下2021 PG大会能够顺利进行十分不易。看到第二天下午的四点多钟，会场的上座率这么高，看得出PGer的热情十分高涨。可能认识老白的人会觉得奇怪，你不是混Oracle圈子的吗？怎么到PG大会来演讲了。这也充分说明了PG社区的红火，越来越多的Oracle DBA开始参与PG社区了。开源社区中对MYSQL和...

类似文章 OGG有传统的经典架构，也有最新的微服务，2个都可以远程捕获和应用数据，对数据库服务器是0侵入，而传统的经典架构是纯命令行模式，最新的微服务架构是图形化界面操作，几乎所有操作都可以在界面进行。相关文章可以参考： 使用OGG for MySQL微服务快速双向同步RDS数据库：https://www.xmmup.com/shiyongoggweifuwukuaisushuangxiangtongburdsshujuku.html OGG用于跨云RDS for MySQL之间配置双主实时同步–OGG远程捕获和...

PostgreSQL的物理架构由 共享内存、一系列后台进程和数据文件组成 一、共享内存 共享内存是服务器为数据库缓存和事务日志缓存预留的内存缓存空间 Shared Memory=Shared Buffer + WAL Buffer Shared Buffer的目的是减少磁盘IO ，为了达到这个目的，必须满足以下规则： 当需要快速访问非常大的缓存时（10G、100G等） 如果有很多用户同时使用缓存，需要将内容尽量缩小 频繁访问的磁盘块必须长期放在缓存中 WAL Buffer是用来 ...

1、HOT概述 PostgreSQL中，由于其多版本的特性，当我们进行数据更新时，实际上并不是直接修改元数据，而是通过新插入一行数据来进行间接的更新。而当表上存在索引时，由于新插入了数据，那么索引必然也需要同步进行更新，这在索引较多的情况下，对于更新的性能影响必然很大。 为了解决这一问题，pg从8.3版本开始就引入了HOT（Heap Only Tuple）机制。其原理大致为，当更新的不是索引字段时，我们通过将旧元组指向新元组，而原先...

发现公司业务在时序类、流水类业务场景越来越多，对数据治理的需求越来越大，这里整理介绍写PostgreSQL分区表的应用方法。 一、分区表的作用 1.将数据按指定的方法打算到子分区，提高SQL性能。 2.解决时序类、流水类业务大表在进行老旧数据清理时delete引起的性能及磁盘空间碎片问题。 3.利用子分区卸载、重新挂载功能，对数据进行暂时性的隐藏、维护。 4.数据归档治理业务场景：定期增加子分区、定期删除不需要的子分区来对数据...

一、前言 今天抽空聊一个和成本优化相关的话题。 说到成本优化，大家觉得优化多少算不错呢？ 10%? 20%? 成本优化的空间到底有多大呢？ 今天分享的案例，将从数据库角度出发，介绍如何将业务场景需求的性能提高上百倍以上，而性能优化的同义词，就是成本优化。 通常，当一个数据库系统出现性能问题，为保障业务体验及服务质量，处理方法可以归纳为两类： 1.资源扩容，即为业务请求提供更多资源。 2.性能优化，即降低单次业务请求...

Crunchy Data的产品经常包括高可用。主要是通过Patroni和etcd这两个工具来进行管理的。今天我要探索一下它们是如何工作的。Patroni依赖于etcd 集群的正确操作来决定PostgreSQL做什么。当这两个部分之间的通信中断时，会导致环境不稳定，导致故障转移、集群重新启动，甚至主数据库丢失。为了充分理解这种关系的重要性，我们需要了解这些部分如何工作的一些核心概念。首先，我们将简要概述 HA 系统中涉及的组件及其在环境中的角色...