一、前言

主备流复制，是postgresql最常用最简单的一种高可用、读写分离的形式，类似于oracle的adg，主库用于读写，备库可以只读；
postgresql流复制，有两种方式，分别是同步流复制和异步流复制；
异步流复制模式中，当备库出现异常，主库可以正常的进行读写；
同步流复制模式中，当备库出现异常，主库则可能会hang住(dml、ddl);

这两天，根据需求，需要搭建一套同步流复制库，但是在搭建过程中遇到了一些小问题，所以记录下来，作为备忘以及指导，帮助大家避坑。

二、基本环境

本次搭建，我的postgresql基本环境如下：
postgresql版本为12.5；
操作系统为centos-7.6；
server:192.168.18.181:18801
slave:192.168.18.182:18802

三、同步流复制搭建

我们知道，搭建postgresql的流复制核心步骤非常简单，只需要2-3步：
1.对源端数据库进行基础备份；
2.将基础备份拷贝到目标端;
3.配置备库参数，并启动备库；

那么在基础备份中，我们直接在目标端，通过pg_basebackup工具对源端数据库进行基础备份并将数据目录直接放在目标端的/pgdata中：

pg_basebackup -h 192.168.18.181 -p 18801 -U repl -l pg_basebackup_`date +%Y%m%d%H%M%S` -Fp -X fetch -P -v -R -D /pgdata

在postgresql 12中，已经没有recovery.conf文件了，而是用standby.signal文件所代替，且原来需要在recovery.conf文件中配置的primary_conninfo参数，已经融合在postgresql.conf中。

所以，此时我们只需要配置主库和备库的postgresql.conf，以及备库的standby.signal即可，具体如下：

备库的standby.signal中：

standby_mode = 'on'

主库的postgresql.conf中：

#同步流复制
synchronous_standby_names = 'standbydb1' #同步流复制才配置该值
synchronous_commit = 'remote_write'

备库的postgresql.conf中：

hot_standby = 'on'
primary_conninfo = 'application_name=standbydb1 user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any'

配置完成后，直接启动备库即可。

pg_ctl -D /pgdata start

四、发现问题

通过ps -ef|grep postgres，已经可以看到主库和备库的walsender和walreciver进程都已经启动，流复制已经搭建好；

但是，通过pg_stat_replication进行查看，发现当前数据库状态仍然还是异步流复制状态：

postgres=# select * from pg_stat_replication;-[ RECORD 2 ]----+------------------------------
pid              | 11767
usesysid         | 24746
usename          | repl
application_name | walreceiver
client_addr      | 192.168.18.182
client_hostname  |
client_port      | 29946
backend_start    | 2021-01-17 22:48:36.529698+08
backend_xmin     |
state            | streaming
sent_lsn         | 0/91000148
write_lsn        | 0/91000148
flush_lsn        | 0/91000148
replay_lsn       | 0/91000148
write_lag        |
flush_lag        |
replay_lag       |
sync_priority    | 0
sync_state       | async
reply_time       | 2021-01-17 22:48:46.545856+08

且此时，在进行dml或者ddl操作的时候，主库会hang住;

postgres=# insert into wangxin1 values (1,'aaa');
^CCancel request sent
WARNING:  canceling wait for synchronous replication due to user request
DETAIL:  The transaction has already committed locally, but might not have been replicated to the standby.

但是，通过pg_stat_replication及数据比对，发现主库的wal已经全部都写入到备库中。

所以，起初我一直以为是因为备库中的wal或者disk的相关写配置参数有一些问题，并且进行了多次修改；
但是始终无法改变备库的状态为同步流复制(也尝试多次设置synchronous_commit参数，但是只有当该参数为local的时候，主库才不会hang住)。

五、原因分析

经过近一天的资料的查询和官方文档的搭建标准参数设置方法查询，发现在网上一些帖子中，需要修改postgresql.auto.conf参数文件。我们知道，postgresql.auto.conf参数文件是一个动态参数文件，一般我们不会手动去修改它，而是通过数据库中alter system set parameter_name=values的方式来修改该文件中的参数。

但是，另外一个需要知道的点就是，postgresql.auto.conf的优先级要高于postgresql.conf，当我们启动数据库的时候，postgresql会先去postgresql.auto.conf中加载参数，当该文件中没有相应的参数时，则会加载postgresql.conf中的参数。

所以，此时我进入数据库对primary_conninfo参数进行查看：

show primary_conninfoprimary_conninfo | 'user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any'

从数据库中的参数可以看到，此时primary_conninfo加载的参数，是异步流复制的参数，而不是我们在postgresql.conf中配置的同步流复制的参数；
此时，我们到postgresql.auto.conf中查看：

cat postgresql.auto.conf# Do not edit this file manually!
# It will be overwritten by the ALTER SYSTEM command.
primary_conninfo = 'user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any'

可以看到，在postgresql.auto.conf中有参数primary_conninfo的设置，且为异步流复制的配置参数。

此时，我们就能理解最开始出现的异常的原因了。

其实，在postgresql通过pg_basebackup进行基础备份的时候(由于加了-R参数)，默认就会在postgresql.auto.conf文件中加入primary_conninfo参数，且该参数为异步流复制的参数(其实我们可以不用在postgresql.conf中配置primary_conninfo参数了)。
但是，该文件中只有primary_conninfo参数，当我们想要将流复制搭建为同步的方式的时候，必须配置两个参数：synchronous_standby_names和synchronous_commit。当我们在postgresql.conf中设置这两个参数后，由于postgresql.auto.conf中没有，所以只能到这里取。
此时数据库在进行dml和ddl操作的时候，则会等待备库的响应，但备库又为异步流复制，所以不会给主库回复wal已经接收到或者写入磁盘。因此，主库会一直hang住。

六、解决方案

解决该问题，则有以下几个方式：
1.在备库上通过命令：

alter system set primary_conninfo = 'application_name=standbydb1 user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any';

设置postgresql.auto.conf中primary_conninfo参数，并重启备库即可。

2.手动修改postgresql.auto.conf文件，将primary_conninfo参数手动改为同步流复制参数，并重启备库；

3.备库上通过命令：

alter system set primary_conninfo = default;

清空postgresql.auto.conf中primary_conninfo参数的配置，并重启备库，让数据库识别postgresql.conf文件中的参数；

4.手动删除postgresql.auto.conf文件，将primary_conninfo参数手动删除或者注释，并重启备库，让数据库识别postgresql.conf文件中的参数；

postgresql12的同步流复制搭建及主库hang问题处理和分析相关推荐

PostgreSQL 12 的同步流复制搭建及主库hang问题处理与分析
点击上方"蓝字" 关注我们,享更多干货! 前言主备流复制,是PostgreSQL最常用.最简单的一种高可用.读写分离的形式,类似于Oracle的ADG,主库用于读写,备库可以只读 ...
同步流复制报错“psql: FATAL: the database system is starting up”
目录环境症状问题原因解决方案相关文档报错编码环境系统平台:Linux x86 Red Hat Enterprise Linux 6,Linux x86-64 Red Hat Enter ...
来了！PostgreSQL 同步流复制原理和代码浅析，请签收
摘要: 数据库 ACID 中的持久化如何实现数据库 ACID 里面的 D,持久化. 指的是对于用户来说提交的事务,数据是可靠的,即使数据库 crash了,在硬件完好的情况下,也能恢复回来.Postg ...
PostgreSQL13主从同步异步流复制
PostgreSQL13主从同步异步流复制介绍 PostgreSQL早在9.0版本开始支持物理复制,也可称为流复制( Streaming Replication,通过流复制技术,可以从实例级复制出一 ...
mysql半同步 rpo_PostgreSQL 双节点流复制如何同时保证可用性、可靠性(rpo,rto) - （半同步，自动降级方法实践）-阿里云开发者社区...
标签 PostgreSQL , 同步 , 半同步 , 流复制背景两节点HA架构,如何做到跨机房RPO=0(可靠性维度)?同时RTO可控(可用性维度)? 半同步是一个不错的选择. 1.当只挂掉一个节 ...
PostgreSQL — 基于 Recovery 流复制的数据备份
目录文章目录目录 Recovery 流复制主库上操作备库上操作功能测试相关配置参数归档恢复恢复目标备份服务器 PostgreSQL 12 的 Recovery pg_baseback ...
postgresql主从备份_基于PG12.2实现主从异步流复制及主从切换教程（下）
概述今天主要介绍如何搭建PG主从流复制及主从切换,仅供参考. PS:上篇的地址在文末链接. PostgreSQL数据库主从异步流复制搭建环境说明: 1.安装PG数据库(主从库进行) 用脚本进行,略 ...
angular8 获取文件流_基于PG12.2实现主从异步流复制及主从切换教程（上）
概述今天主要分享一下PG主从异步流复制搭建相关的一些理论内容,仅供参考. 一.PostgreSQL通过WAL日志构建高可靠性原理 PostgrepSQL在数据目录的子目录pg_xlog子目录中维护了 ...
POSTGRES 15 流复制搭建主备
基于流的异步复制(备库崩溃不影响主库使用) 基于pg_basebackup的主备库搭建,pg_basebackup命令的使用方法如下: pg_basebackup [option...] 此命令后可以 ...
PostgreSQL流复制之二：pgpool-II实现PostgreSQL数据库集群（转发+整理）
转发来源: PostgreSQL的集群技术比较:https://iwin.iteye.com/blog/2108807 参考:https://blog.csdn.net/yaoqiancuo3276/ ...

postgresql12的同步流复制搭建及主库hang问题处理和分析