PostgreSQL 12 的同步流复制搭建及主库hang问题处理与分析
点击上方"蓝字"
关注我们,享更多干货!
前言
主备流复制,是PostgreSQL最常用、最简单的一种高可用、读写分离的形式,类似于Oracle的ADG,主库用于读写,备库可以只读。
PostgreSQL流复制,有两种方式,分别是异步流复制和同步流复制。
异步流复制模式中,当备库出现异常,主库可以正常的进行读写;
同步流复制模式中,当备库出现异常,主库则可能会hang住(DML、DDL)。
这两天根据需求,我需要搭建一套同步流复制库,但是在过程中遇到了一些小问题,所以记录下来,作为备忘以及指导,帮助大家避坑。
一、基本环境
本次搭建,我的PostgreSQL基本环境如下:
PostgreSQL版本为12.5;
操作系统为CentOS 7.6;
Server: 192.168.18.181:18801
Slave: 192.168.18.182:18802
二、同步流复制搭建
我们知道,搭建PostgreSQL的流复制核心步骤非常简单,只需要2-3步:
1. 对源端数据库进行基础备份;
2. 将基础备份拷贝到目标端;
3. 配置备库参数,并启动备库
那么在基础备份中,我们直接在目标端,通过pg_basebackup工具对源端数据库进行基础备份并将数据目录直接放在目标端的/pgdata中:
pg_basebackup -h 192.168.18.181 -p 18801 -U repl -l pg_basebackup_`date +%Y%m%d%H%M%S` -Fp -X fetch -P -v -R -D /pgdata
在PostgreSQL 12中,已经没有recovery.conf文件了,而是用standby.signal文件所代替,且原来需要在recovery.conf文件中配置的primary_conninfo参数,已经融合在postgresql.conf中。
所以,此时我们只需要配置主库和备库的postgresql.conf,以及备库的standby.signal即可,具体如下:
备库的standby.signal中:
standby_mode = 'on'
主库的postgresql.conf中:
#同步流复制
synchronous_standby_names = 'standbydb1' #同步流复制才配置该值
synchronous_commit = 'remote_write'
备库的postgresql.conf中:
hot_standby = 'on'
primary_conninfo = 'application_name=standbydb1 user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any'
配置完成后,直接启动备库即可。
pg_ctl -D /pgdata start
三、发现问题
通过ps -ef|grep postgres,已经可以看到主库和备库的walsender和walreciver进程都已经启动,流复制已经搭建好。
但是,通过pg_stat_replication进行查看,发现当前数据库状态仍然还是异步流复制状态:
postgres=# select * from pg_stat_replication;-[ RECORD 2 ]----+------------------------------
pid | 11767
usesysid | 24746
usename | repl
application_name | walreceiver
client_addr | 192.168.18.182
client_hostname |
client_port | 29946
backend_start | 2021-01-17 22:48:36.529698+08
backend_xmin |
state | streaming
sent_lsn | 0/91000148
write_lsn | 0/91000148
flush_lsn | 0/91000148
replay_lsn | 0/91000148
write_lag |
flush_lag |
replay_lag |
sync_priority | 0
sync_state | async
reply_time | 2021-01-17 22:48:46.545856+08
且此时,在进行DML或者DDL操作的时候,主库会hang住。
postgres=# insert into wangxin1 values (1,'aaa');
^CCancel request sent
WARNING: canceling wait for synchronous replication due to user request
DETAIL: The transaction has already committed locally, but might not have been replicated to the standby.
但是,通过pg_stat_replication及数据比对,发现主库的wal已经全部都写入到备库中。
所以,起初我一直以为是因为备库中的wal或者disk的相关写配置参数有一些问题,并且进行了多次修改。
但是始终无法改变备库的状态为同步流复制(也尝试多次设置synchronous_commit参数,但是只有当该参数为local的时候,主库才不会hang住)。
四、原因分析
经过近一天的资料的查询和官方文档的搭建标准参数设置方法查询,发现在网上一些帖子中,需要修改postgresql.auto.conf参数文件。我们知道,postgresql.auto.conf参数文件是一个动态参数文件,一般我们不会手动去修改它,而是通过数据库中alter system set parameter_name=values的方式来修改该文件中的参数。
但是,另外一个需要知道的点就是,postgresql.auto.conf的优先级要高于postgresql.conf,当我们启动数据库的时候,postgresql会先去postgresql.auto.conf中加载参数,当该文件中没有相应的参数时,则会加载postgresql.conf中的参数。
所以,此时我进入数据库对primary_conninfo参数进行查看:
show primary_conninfoprimary_conninfo | 'user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any'
从数据库中的参数可以看到,此时primary_conninfo加载的参数,是异步流复制的参数,而不是我们在postgresql.conf中配置的同步流复制的参数。
此时,我们到postgresql.auto.conf中查看:
cat postgresql.auto.conf# Do not edit this file manually!
# It will be overwritten by the ALTER SYSTEM command.
primary_conninfo = 'user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any'
可以看到,在postgresql.auto.conf中有参数primary_conninfo的设置,且为异步流复制的配置参数。
此时,我们就能理解最开始出现的异常的原因了。
其实,在PostgreSQL中通过pg_basebackup进行基础备份的时候(由于加了-R参数),默认就会在postgresql.auto.conf文件中加入primary_conninfo参数,且该参数为异步流复制的参数(其实我们可以不用在postgresql.conf中配置primary_conninfo参数了)。
但是,该文件中只有primary_conninfo参数,当我们想要将流复制搭建为同步的方式的时候,必须配置两个参数:synchronous_standby_names和synchronous_commit。当我们在postgresql.conf中设置这两个参数后,由于postgresql.auto.conf中没有,所以只能到这里取。
此时数据库在进行DML和DDL操作的时候,则会等待备库的响应,但备库又为异步流复制,所以不会给主库回复wal已经接收到或者写入磁盘。因此,主库会一直hang住。
五、解决方案
解决该问题,则有以下几个方式:
1. 在备库上通过命令:
alter system set primary_conninfo = 'application_name=standbydb1 user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any';
设置postgresql.auto.conf中primary_conninfo参数,并重启备库即可。
2. 手动修改postgresql.auto.conf文件,将primary_conninfo参数手动改为同步流复制参数,并重启备库。
3. 备库上通过命令:
alter system set primary_conninfo = default;
清空postgresql.auto.conf中primary_conninfo参数的配置,并重启备库,让数据库识别postgresql.conf文件中的参数。
4. 手动删除postgresql.auto.conf文件,将primary_conninfo参数手动删除或者注释,并重启备库,让数据库识别postgresql.conf文件中的参数。
搞定!
墨天轮原文链接:https://www.modb.pro/db/44044(复制到浏览器或者点击“阅读原文”立即查看)
END
推荐阅读:267页!2020年度数据库技术年刊
推荐下载:2020数据技术嘉年华PPT下载
2020数据技术嘉年华近50个PPT下载、视频回放已上传墨天轮平台,可在“数据和云”公众号回复关键词“2020DTC”获得!
你知道吗?我们的视频号里已经发布了很多精彩的内容,快去看看吧!↓↓↓
点击下图查看更多 ↓
云和恩墨大讲堂 | 一个分享交流的地方
长按,识别二维码,加入万人交流社群
请备注:云和恩墨大讲堂
点个“在看”
你的喜欢会被看到❤
PostgreSQL 12 的同步流复制搭建及主库hang问题处理与分析相关推荐
- 来了!PostgreSQL 同步流复制原理和代码浅析,请签收
摘要: 数据库 ACID 中的持久化如何实现 数据库 ACID 里面的 D,持久化. 指的是对于用户来说提交的事务,数据是可靠的,即使数据库 crash了,在硬件完好的情况下,也能恢复回来.Postg ...
- 同步流复制报错“psql: FATAL: the database system is starting up”
目录 环境 症状 问题原因 解决方案 相关文档 报错编码 环境 系统平台:Linux x86 Red Hat Enterprise Linux 6,Linux x86-64 Red Hat Enter ...
- postgresql双机热备份之流复制
PostgreSQL日志传送的方法有两种,一种是基于文件(base-file)的传送方式,一种是流复制(streamingreplication)的方式. 基于文件(base-file)的传送方式,这 ...
- postgresql主从备份_基于PG12.2实现主从异步流复制及主从切换教程(下)
概述 今天主要介绍如何搭建PG主从流复制及主从切换,仅供参考. PS:上篇的地址在文末链接. PostgreSQL数据库主从异步流复制搭建 环境说明: 1.安装PG数据库(主从库进行) 用脚本进行,略 ...
- PostgreSQL — 基于 Recovery 流复制的数据备份
目录 文章目录 目录 Recovery 流复制 主库上操作 备库上操作 功能测试 相关配置参数 归档恢复 恢复目标 备份服务器 PostgreSQL 12 的 Recovery pg_baseback ...
- 基于PostgreSQL流复制的容灾库架构设想及实现
点击上方"蓝字" 关注我们,享更多干货! 一.前言 这几天在对PostgreSQL流复制的架构进行深入研究,其中一个关键的参数:recovery_min_apply_delay引起 ...
- PostgreSQL流复制之二:pgpool-II实现PostgreSQL数据库集群(转发+整理)
转发来源: PostgreSQL的集群技术比较:https://iwin.iteye.com/blog/2108807 参考:https://blog.csdn.net/yaoqiancuo3276/ ...
- postgresql主从备份_PostgreSQL主从流复制与手动主备切换架构
导读 使用PostgreSQL 11.3 创建两个节点:node1 和 node2: 配置主从流复制,然后做手动切换(failover).为了配置过程简单,两个节点在同一台物理机器上. 首先建立主从同 ...
- PostgreSQL13主从同步异步流复制
PostgreSQL13主从同步异步流复制 介绍 PostgreSQL早在9.0版本开始支持物理复制,也可称为流复制( Streaming Replication,通过流复制技术,可以从实例级复制出一 ...
最新文章
- SpringBoot线程池的创建、@Async配置步骤及注意事项
- Android菜鸟成长记4-button点击事件
- 模拟窗口效果 Jquery
- Linux的Page Cache
- 7-9 包装机 (25 分)
- halcon 差异模型 异物_基于HALCON的形状匹配算法的研究和心得总结
- vegas怎么添加淡水墨效果?
- springmvc配置不拦截静态资源
- CSDN资源分享分红2元,哈哈
- Calendar类方法——编写万年历的两种方式
- 利用nat123解决微信公众号对接服务器必须为80端口的问题
- Python 三大神器:pip,virtualenv(virtualenvwrapper),fabric
- 超出本地计算机网络,超出本地计算机网络适配器卡的名称限制怎么解决?
- 智能指针的标准之争:Boost vs. Loki (转)
- Project 2013项目管理教程(3):建立任务间的依赖性
- oracle11监视器,Oracle 11g 表空间监控(一) datafile autoextend
- deepin20.3 的问题
- 编包----rpm和deb和ISO目录制作出ISO
- 2017 Python 问卷调查结果初步分析
- Consumer cannot be configured for auto commit for ackMode MANUAL_IMMEDIATE
热门文章
- Eclipse之Undefined attribute name 警告解决办法
- 开源合规处理方法_经济高效的开源软件许可合规模型
- 前端:CSS/13/HTML引入CSS的方法,CSS表格属性,盒子模型,上下外边距合并
- Bootstrap 分页导航
- Bootstrap按钮组中按钮的尺寸
- CSS 盒倒影 box-reflect属性
- 二十一.激光、视觉和惯导LVIO-SLAM框架学习之相机与雷达外参标定(1)
- 深度学习笔记(11) 超参数调试
- 计算机创新发展战略,计算机行业:《智能汽车创新发展战略》征求意见稿点评...
- FreeRTOS 计数信号量