一、Postgresql 备份策略

备份时间：每天 05:10（根据备份量级可灵活调整）
备份模式：全量备份
备份保存天数：7 天
备份地址：/home/postgres/postgresql_backup/backup

二、策略部署

2.1 部署树形图

$ tree /home/postgres/postgresql_backup
/home/postgres/postgresql_backup
├── backup
│   └── 2022_09_30_15_10_01_shr.dump
├── bin
│   ├── pg_archivecleanup.sh            # 清理 wal 脚本
│   └── postgresql_backup.sh            # 备份脚本
└── log├── archivecleanup.log├── pg_archivecleanup.log├── pg_dumpall.log└── postgresql_backup.log

2.2 备份脚本

#!/bin/bash# 备份日期
backup_date=`date +%F`
backup_time=`date +%H-%M-%S`
backup_week_day=`date +%u`echo "# ${backup_date} ${backup_time},week ${backup_week_day}" >> /home/postgres/postgresql_backup/log/pg_dumpall.log
# 进入备份文件保存路径
cd /home/postgres/postgresql_backup/backup
# 只保留时间早的7个，其余删除
ls -lt|grep .dump|awk '{if(NR>7){print $9}}'|xargs rm -rf
# 备份数据库名
dbname=$(date +%Y_%m_%d_%H_%M_%S_shr.dump)
echo "只保留时间早的 7 天备份，其余删除，当天备份数据库名: ${dbname}" >> /home/postgres/postgresql_backup/log/pg_dumpall.log
# 开始备份
/home/postgres/postgresql/bin/pg_dumpall --host=127.0.0.1 --port=3306 --username=postgres -c -f /home/postgres/postgresql_backup/backup/${dbname}
backup_0k=$?
if [ 0 -eq "${backup_0k}" ]; thenecho "${backup_date} ${backup_time} pg_dumpall is OK!" >> /home/postgres/postgresql_backup/log/pg_dumpall.log
elseecho "${backup_date} ${backup_time} pg_dumpall is NO!" >> /home/postgres/postgresql_backup/log/pg_dumpall.log
fi
# 恢复方式很简单，执行恢复命令即可：
# /home/postgres/postgresql/bin/psql --host=127.0.0.1 --port=3306 --username=postgres -f /home/postgres/postgresql_backup/backup/${dbname}
# 单表备份举例：/home/postgres/postgresql/bin/pg_dump --host=127.0.0.1 --port=3306 --username=postgres --dbname=hr0908 --table=ct_cp_cmpcalcachetable -c -f /home/postgres/showufei/ct_cp_cmpcalcachetable.sql
# 单表恢复举例：/home/postgres/postgresql/bin/psql --host=127.0.0.1 --port=3306 --username=postgres --dbname=hr0908 -f /home/postgres/showufei/ct_cp_cmpcalcachetable.sql

2.3 清理 wal 脚本

#!/bin/bash# 日期
backup_date=`date +%F`
backup_time=`date +%H-%M-%S`
backup_week_day=`date +%u`pgdata='/home/postgres/data/postgres_3306/'
ARCHIVELOCATION='/home/postgres/data/postgres_3306/'
OLDESTKEPTWALFILE=`/home/postgres/postgresql/bin/pg_controldata --pgdata=${pgdata} | grep "REDO WAL file" | awk -F ':    ' '{print $2}'`
echo "# ${backup_date} ${backup_time}，周 ${backup_week_day}: 保留 ${OLDESTKEPTWALFILE} 之后的日志" >> /home/postgres/postgresql_backup/log/archivecleanup.log/home/postgres/postgresql/bin/pg_archivecleanup ${ARCHIVELOCATION} ${OLDESTKEPTWALFILE}
cleanup_0k=$?
if [ 0 -eq "${cleanup_0k}" ]; thenecho "${backup_date} ${backup_time}: 手动清理 wal 成功！" >> /home/postgres/postgresql_backup/log/archivecleanup.log
elseecho "${backup_date} ${backup_time}: 手动清理 wal 失败！" >> /home/postgres/postgresql_backup/log/archivecleanup.log
fi

三、计划任务

# postgres_3306 备份定时任务
10 5 * * * /bin/bash /home/postgres/postgresql_backup/bin/postgresql_backup.sh > /home/postgres/postgresql_backup/log/postgresql_backup.log 2>&1
# 手动清理 wal
55 4 * * * /bin/bash /home/postgres/postgresql_backup/bin/pg_archivecleanup.sh > /home/postgres/postgresql_backup/log/pg_archivecleanup.log 2>&1

PG 备份策略及 WAL 日志清理策略相关推荐

kafka日志清理策略，compact和delete
文章目录 1. kafka日志清理策略概述 2. kafka segment 2.1 segmnet 的作用 2.2 segment生成相关的配置 3. 日志清理delete策略 3.1 delete ...
PostgreSQL：WAL日志归档策略
文章目录概述参数配置归档策略脚本概述今天分享一个PostgreSQL数据库配置wal日志归档的策略.所谓wal日志归档,就是把在线的wal日志备份出来.说起来简单,但是在正式的系统上需要一个 ...
清理offset_关于 kafka 日志清理策略的问题
现象: 搭建了一个 kafka 服务, 使用 kafka-python 包正常生产数据, 但是 kafka 过五分钟就把我的 topic 删除掉. 但是配置 log 的已经配置了, 我认为 kafka ...
PG数据库wal日志空间异常
文章目录问题描述处理思路处理过程问题描述 PG数据库实例磁盘空间使用率高达97%,其中wal空间使用量占用32G,相对比较异常. 处理思路 wal日志是PG数据库的事务预写日志,对于数据库的一 ...
Kafka日志清理之Log Deletion
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
PG数据库内核分析学习笔记_XLOG日志恢复策略
PG数据库内核分析学习笔记_XLOG日志恢复策略在PostgreSQL中,系统在崩溃后重新启动时会调用StartupXlog入口函数. // xlog.c /** This must be call ...
kafka历史数据清理策略以及配置
1.关于Kafka的日志日志的英语是"log",但Kafka的数据文件也被称为log,所以很多时候会造成一定的歧义.在Kafka中,日志分为两种: 数据日志操作日志数据日志是 ...
技术分享｜优炫数据库基于WAL日志备份及恢复
背景在数据库系统中,保证数据库可以由错误状态恢复到正确状态的机制,称为备份与恢复.数据库的备份是一个长期的过程,恢复可看作是备份的一个逆过程,恢复的效果.好坏,很大程度上是依赖于备份的策略.此外,数 ...
logrotate日志轮转策略
2019独角兽企业重金招聘Python工程师标准>>> 实战:logrotate 日志轮转及配置 1,编写系统日志的配置文件 /etc/rsyslog.conf 2,写入配置 [ro ...

PG 备份策略及 WAL 日志清理策略

一、Postgresql 备份策略

二、策略部署

2.1 部署树形图

2.2 备份脚本

2.3 清理 wal 脚本

三、计划任务

PG 备份策略及 WAL 日志清理策略相关推荐

最新文章

热门文章