ZQPool 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
ZQPool 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
ZQPool 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Mulan
开发语言 Google Go
操作系统 跨平台
软件类型 开源软件
所属分类 数据库相关
开源组织
地区 国产
投 递 者 无库
适用人群 未知
收录时间 2022-06-30

软件简介

ZQPool是中启乘数科技发布的PostgreSQL数据的开源连接池软件。主要解决PostgreSQL生态中流行的连接池软件pgbouncer软件的一些缺点。

软件架构

应用程序连接到ZQPool,ZQPool连接到PostgreSQL数据库。

安装教程

安装方法如下:

  1. 把发行版本zqpool1.0.x86_64.xz拷贝到一个目录中
  2. 解压:tar xf zqpool1.0.x86_64.xz同时把zqpool.conf也拷贝到此目录中
  3. 解压后有两个文件zqpool.conf和zqpool,其中zqpool.conf是配置文件,做相应的配置。
  4. 然后启动./zqpool 即可

编译的方法:

  1. git clone https://gitee.com/csudata/zqpool
  2. cd zqpoo,l
  3. make

使用说明

配置zqpool.conf文件,各个配置项说明如下:

  • listen_port = 5436 : 设置zqpool的监听端口
  • listen_addr = * : 设置zqpool的监听IP,设置为*,表示在本地的所有IP地址上监听
  • default_pool_size = 10 : 设置到后端数据库的总连接数
  • max_client_conn = 3000 : 允许应用程序连接zqpool的总连接数

db.1.user=u01 : 第一个数据库的用户名 db.1.dbname=postgres : 第一个库的数据库名称 #db.1.ipport=192.168.56.39:5432,192.168.0.34:5432 db.1.ipport=172.22.224.10:5432 : 第一个数据库的IP和端口 db.1.passwd=u01 : 目前用户的密码

上面的db.1代表第一个数据库,还可以有db.2、db.3等多个数据库。db.1.ipport后面可以配置多个IP地址端口,以逗号分隔,如果配置了多个则随机均衡到后面的多个IP地址上。

example config :

zqpool.conf:

listen_port = 5436
listen_addr = *
default_pool_size = 10
max_client_conn = 3000

db.1.user=u01
db.1.dbname=postgres
db.1.ipport=172.22.224.10:5432
db.1.passwd=u01

启动zqpool:

[codetest@pgdev zqpool]$ ./zqpool
2022/05/24 09:12:30 server.go:2188: Starting server on :5436 ...

在另一个窗口中,使用psql连接zqpool的5436端口:

[codetest@pgdev zqpool]$ /usr/pgsql-10/bin/psql -h 172.22.224.10 -p 5436 -Uu01 -d postgres
Password for user u01:
psql (10.20, server 10.5)
Type "help" for help.


postgres=> \\d
         List of relations
 Schema |  Name  | Type  |  Owner
--------+--------+-------+----------
 public | test01 | table | postgres
(1 row)

postgres=> select * from test01;
 id | t
----+---
(0 rows)

postgres=> insert into test01 values(1, '111'),(2,'222'),(3,'333');
INSERT 0 3
postgres=> select * from test01;
 id |  t
----+-----
  1 | 111
  2 | 222
  3 | 333
(3 rows)

使用数据库连接池的主要目的有两个:

  1. 减少到数据库上的连接数。应用程序到连接池软件上有M个连接,这M个连接不是同时都繁忙的,这M个连接上同一个时刻发来的并发SQL可能只有N个(N通常大大小于M),这样连接池软件只需要在后端数据库上建N个连接。就可以满足了要求。这个场景通常是java应用。 我们可以想象一个场景:一个java应用可能部署在200台主机上,而每个主机上java应用自身会开启一个java连接池,这个java连接池假设开20个连接,这时到数据库上就有200*20=4000个连接,这些连接实际上多数时间都是空闲的,少数时间才是活跃的。 4000个连接,PostgreSQL数据库就需要启动4000个进程,太多连接会降低数据库的效率。
  2. 减少断连接应用花在新建数据库连接的时间。PostgreSQL数据库对每一个连接需要fork出一个新的进程来提供服务,而每次fork一个进程是需要时间的。而连接池软件可以预先建好到数据库的连接,应用程序连接到连接池软件后,连接池软件可以从池中取一个已经建好的连接马上提供服务,这样就大大减少了新连接的时间。这个场景的典型应用是php应用。php应用到数据库通常是短连接。

而PostgreSQL数据库中流行的pgbouncer通常解决不了上面的第一个问题(java应用):即减少到数据库上连接的目的。

要减少到数据库上的连接数,pgbouncer连接池的模式只能配置成语句级或事务级,不能配置成会话级。因为pgbouncer在会话级下,前面来多少个连接,到数据库也必须建多少个连接,起不到减少数据库连接的目的。

当我们把pgbouncer配置成语句级或事务级时,java应用连接pgbouncer会报错:

org.postgresql.util.PSQLException: ERROR: prepared statement "S_1" already exists

这个原因是jdbc执行SQL是分两个步骤的:

  1. 先使用Prepare的SQL,即:“prepare S_1 as select * from test01 where id=$1;”
  2. 然后再“execute S1(1);”

当“prepare S_1 as select * from test01 where id=$1;” 这条SQL来的时候,从连接池中那个一个连接A,执行了后,就释放了此连接;

这时来了另一个SQL,可能从连接池中取到的还是之前的连接A,然后再执行“prepare S_1 as select * from test02 where id=$1;”,

但这个prepare SQL 的名字S_1已经被前面的SQL占用,这时就报上面的错了。

注:jdbc实际的行为比上面的更复杂,但原理大致就是上面描述的这个过程。

而ZQPool通过记录一个连接上的Prepare SQL的名字,并替换成不重复的名字的方式解决了这个问题。

pgbouncer还有一个缺点,处理SQL的转发只能用到CPU的一个核,即pgbouncer是单线程程序。对于高并发的情况下,超过单核的性能时,就立即回出现瓶颈。而ZQPool是使用golang的协程技术,可以利用了多核的性能,下面是我们在一台物理机上做的测试:

这是pgbouncer的测试情况:

[postgres@csyun01 ~]$ pgbench -h 10.197.160.18 -p 6432 -Uu01  -S -P 2  -T 30 -c 32
pgbench (14.3)
starting vacuum...end.
progress: 2.0 s, 30407.5 tps, lat 1.050 ms stddev 0.180
progress: 4.0 s, 30108.6 tps, lat 1.062 ms stddev 0.182
progress: 6.0 s, 30231.5 tps, lat 1.058 ms stddev 0.179
progress: 8.0 s, 31157.9 tps, lat 1.026 ms stddev 0.176
progress: 10.0 s, 30491.7 tps, lat 1.049 ms stddev 0.178
progress: 12.0 s, 30463.0 tps, lat 1.050 ms stddev 0.180
progress: 14.0 s, 30366.2 tps, lat 1.053 ms stddev 0.179
progress: 16.0 s, 30177.5 tps, lat 1.060 ms stddev 0.180
progress: 18.0 s, 30067.1 tps, lat 1.064 ms stddev 0.181
progress: 20.0 s, 30420.1 tps, lat 1.051 ms stddev 0.177
...
...
...

这是使用ZQPool测试的情况:

[postgres@csyun01 ~]$ pgbench -h 10.197.160.18 -p 5436 -Uu01  -S -P 2  -T 30 -c 32
Password:
pgbench (14.3, server 10.5)
starting vacuum...end.
progress: 2.0 s, 111134.7 tps, lat 0.213 ms stddev 0.058
progress: 4.0 s, 112688.1 tps, lat 0.209 ms stddev 0.058
progress: 6.0 s, 114570.8 tps, lat 0.207 ms stddev 0.054
progress: 8.0 s, 107305.3 tps, lat 0.216 ms stddev 0.066
progress: 10.0 s, 108680.1 tps, lat 0.215 ms stddev 0.063
progress: 12.0 s, 108867.6 tps, lat 0.214 ms stddev 0.064
...
...
...

可以看到ZQPool的tps可以到10万每秒,而pgbouncer最多到3万每秒就上不去了。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣 发布并加入讨论🔥
发表了资讯
2023/06/25 05:06

ZQPool 1.3 发布

ZQPool 是一个可以替代 pgbouncer 的连接池软件,在 1.3 版本中主要做了一下改进: Feature 添加了 ZQPool 的一些监控指标接口,可以通过接口获取 ZQPool 的实时性能统计数据。 增加了对 Prometheus 的支持,提供 exporter 供 Prometheus 获取 ZQPool 实时监控指标,可以通过 grafana+Prometheus 来展示 ZQPool 的一些性能统计指标 增加的监控指标 指标名称 说明 状态 zqpool_backend_connections 后端连接数,记录了每个连接池...

0
0
发表了资讯
2023/02/23 00:31

ZQPool 1.2 发布,连接池软件

ZQPool 是一个可以替代 pgbouncer 的连接池软件 ,在 1.2 版本中主要做了一下改进: 1. 之前的版本不支持文本大小超过64K的SQL语句,新版本没有此限制了; 2. 连接池上增加了参数msg_buf_size,可以指定接收或发送消息的缓冲区默认大小; 3. 增强了日志的功能; 4. 修复了一些小问题。 ZQPool 主要解决 PostgreSQL 生态中流行的连接池软件 pgbouncer 软件的一些缺点。通常使用数据库连接池的主要目的有两个: 1. 减少到数据库上...

0
2
发表了资讯
2023/02/10 22:54

ZQPool 1.1 发布,连接池软件

ZQPool 是一个可以替代 pgbouncer 的连接池软件 ,在1.1版本中主要做了一下改进: 之前的版本,前端连接过来的用户名和数据库名称必须与后端数据库中的完全一样,现在可以不一样。例如原先的版本如果使用scott用户连接ZQPool上的数据库maydb,那么连接到后端的真实数据库也是maydb,而新版本使用scott用户连接ZQPool上的数据库maydb,但实际上可能是使用yellow用户连接到后端的fourdb数据库上(具体看zqpool.conf中的配置)。 ...

1
0
发表了资讯
2022/07/06 16:10

ZQPool 1.0 发布

ZQPool是一个可以替代pgbouncer的连接池软件。主要解决PostgreSQL生态中流行的连接池软件pgbouncer软件的一些缺点。 通常使用数据库连接池的主要目的有两个: 减少到数据库上的连接数。应用程序到连接池软件上有M个连接,这M个连接不是同时都繁忙的,这M个连接上同一个时刻发来的并发SQL可能只有N个(N通常大大小于M),这样连接池软件只需要在后端数据库上建N个连接。就可以满足了要求。这个场景通常是java应用。 我们可以想象一...

0
4
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
9 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部