学习使用笔记-percona-xtrabackup

数据库备份工具

一、xtrabackup介绍

Percona XtraBackup是一款基于MySQL的服务器的开源热备份实用程序，在备份过程中不会锁定数据库。它可以备份来自MySQL5.1，5.5，5.6和5.7服务器上的InnoDB，XtraDB和MyISAM表的数据，以及带有XtraDB的Percona服务器。
Percona XtraBackup为所有版本的Percona Server，MySQL和MariaDB进行MySQL热备份。它执行流，压缩和增量MySQL备份。
功能：
在不暂停数据库的情况下创建热的InnoDB备份
进行MySQL的增量备份
将压缩的MySQL备份传输到另一台服务器
在MySQL服务器之间移动表格
轻松创建新的MySQL复制从站
在不增加服务器负载的情况下备份MySQL

二、xtrabackup的优点

Xtrabackup特点：
(1)备份过程快速、可靠
(2)备份过程不会打断正在执行的事务
(3)能够基于压缩等功能节约磁盘空间和流量
(4)自动实现备份检验
(5)还原速度快
下载地址： https://www.percona.com/downloads/
官方文档：https://www.percona.com/doc/percona-xtrabackup/LATEST/index.html#user-s-manual
参数说明：https://www.percona.com/doc/percona-xtrabackup/LATEST/xtrabackup_bin/xbk_option_reference.html

三、xtrabackup安装

[root@master01 ~] xtrabackup -v
xtrabackup: recognized server arguments: --datadir=/var/lib/mysql
xtrabackup version 2.4.22 based on MySQL server 5.7.32 Linux (x86_64) (revision id: c99a781)

1.上传安装包并安装

2.可能会提示报错

错误：软件包：percona-xtrabackup-24-2.4.22-1.el7.x86_64 (/percona-xtrabackup-24-2.4.22-1.el7.x86_64)
需要：libev.so.4()(64bit)
您可以尝试添加 --skip-broken 选项来解决该问题
您可以尝试执行：rpm -Va --nofiles --nodigest

3.然后网上下载libev-4.04-2.el6.x86_64.rpm

yum install -y libev-4.04-2.el6.x86_64.rpm
安装完毕之后在安装：
yum install -y percona-xtrabackup-24-2.4.22-1.el7.x86_64.rpm

四、XtraBackup命令介绍

xtrabackup有两个主要的工具：xtrabackup、innobackupex
(1) xtrabackup只能备份InnoDB和XtraDB 两种数据表
(2) innobackupex则封装了xtrabackup,同时可以备份MyISAM数据表
Innobackupex完整备份后生成了几个重要的文件：
xtrabackup_binlog_info：记录当前最新的LOG Position
xtrabackup_binlog_pos_innodb:innodb log postion
xtrabackup_checkpoints: 存放备份的起始位置beginlsn和结束位置endlsn,增量备份需要这个lsn【增量备份可以在这里面看from和to两个值的变化】

xtrabackup命令只备份数据文件,并不备份数据表结构(.frm)，所以使用xtrabackup恢复的时候必须有对应表结构文件(.frm)。用innobackupex命令，此命令相当于冷备份，复制数据目录的索引，数据，结构文件，但会有短暂的锁表（时间依赖于MyISAM大小，对MyISAM进行锁表；MySQL的5.7默认是Innodb引擎，但是系统表还是默认的MyIASM引擎，所以会对系统表进行短暂锁表操作）

常用参数介绍

–defaults-file= 指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项位置
–socket= 选项表示mysql.sock所在位置，以便备份进程登录mysql
–user= 用于备份的账号
–password= 用于备份账号的密码
–no-timestamp 表示不创建一个时间戳目录来存储备份，指定到自己想要备份的文件夹
–parallel= 此参数用于开启多个子进程并发备份多个数据文件
innobackupex --defaults-file=/etc/my.cnf --socket=/var/lib/mysql/mysql.sock --user=backup --password=123123 --no-timestamp --parallel=2 /majd/majdbackup/majd_date +%Y%m%d 2>>/majd/majdbackup/majd_date +%Y%m%d.log

详细参数介绍

–compress：该选项表示压缩innodb数据文件的备份。
–compress-threads：该选项表示并行压缩worker线程的数量。
–compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。
–encrypt：该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。
–encrypt-threads：该选项表示并行加密的worker线程数量。
–encrypt-chunk-size：该选项表示每个加密线程worker buffer的大小，单位是字节，默认是64K。
–encrypt-key：该选项使用合适长度加密key，因为会记录到命令行，所以不推荐使用。
–encryption-key-file：该选项表示文件必须是一个简单二进制或者文本文件，加密key可通过以下命令行命令生成：openssl rand -base64 24。
–include：该选项表示使用正则表达式匹配表的名字[db.tb]，要求为其指定匹配要备份的表的完整名称，即databasename.tablename。
–user：该选项表示备份账号。
–password：该选项表示备份的密码。
–port：该选项表示备份数据库的端口。
–host：该选项表示备份数据库的地址。
–databases：该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如：”xtra_test dba_test”，同时，在指定某数据库时，也可以只指定其中的某张表。如：”mydatabase.mytable”。该选项对innodb引擎表无效，还是会备份所有innodb表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。
–tables-file：该选项表示指定含有表列表的文件，格式为database.table，该选项直接传给–tables-file。
–socket：该选项表示mysql.sock所在位置，以便备份进程登录mysql。
–no-timestamp：该选项可以表示不要创建一个时间戳目录来存储备份，指定到自己想要的备份文件夹。
–ibbackup：该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录，如果指定了该选项,innoabackupex自动决定用的二进制程序。
–slave-info：该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。
–safe-slave-backup：该选项表示为保证一致性复制状态，这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份，如果没有打开临时表，bakcup会立刻开始，否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在–safe-slave-backup-timeount（默认300秒）秒之后不为0，从库sql线程会在备份完成的时候重启。
–rsync：该选项表示通过rsync工具优化本地传输，当指定这个选项，innobackupex使用rsync拷贝非Innodb文件而替换cp，当有很多DB和表的时候会快很多，不能–stream一起使用。
–kill-long-queries-timeout：该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0，不会kill任何查询，使用这个选项xtrabackup需要有Process和super权限。
–kill-long-query-type：该选项表示kill的类型，默认是all，可选select。
–ftwrl-wait-threshold：该选项表示检测到长查询，单位是秒，表示长查询的阈值。
–ftwrl-wait-query-type：该选项表示获得全局锁之前允许那种查询完成，默认是ALL，可选update。
–galera-info：该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。
–stream：该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。
–defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。
–defaults-extra-file：该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。
–defaults-group：该选项表示从配置文件读取的组，innobakcupex多个实例部署时使用。
–no-lock：该选项表示关闭FTWRL的表锁，只有在所有表都是Innodb表并且不关心backup的binlog pos点，如果有任何DDL语句正在执行或者非InnoDB正在更新时（包括mysql库下的表），都不应该使用这个选项，后果是导致备份数据不一致，如果考虑备份因为获得锁失败，可以考虑–safe-slave-backup立刻停止复制线程。
–tmpdir：该选项表示指定–stream的时候，指定临时文件存在哪里，在streaming和拷贝到远程server之前，事务日志首先存在临时文件里。在使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数–tmpdir指定目录来解决这个问题。
–history：该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。
–incremental：该选项表示创建一个增量备份，需要指定–incremental-basedir。
–incremental-basedir：该选项表示文章来源(Source)：https://www.dqzboy.com接受了一个字符串参数指定含有full backup的目录为增量备份的base目录，与–incremental同时使用。
–incremental-dir：该选项表示增量备份的目录。
–incremental-force-scan：该选项表示创建一份增量备份时，强制扫描所有增量备份中的数据页。
–incremental-lsn：该选项表示指定增量备份的LSN，与–incremental选项一起使用。
–incremental-history-name：文章来源(Source)：浅时光博客该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近（innodb_to_lsn）成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex --incremental-history-uuid互斥。如果没有检测到有效的lsn，xtrabackup会返回error。
–incremental-history-uuid：该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。
–close-files：该选项表示关闭不再访问的文件句柄，当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大，这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险，会有产生不一致备份的可能。
–compact：该选项表示创建一份没有辅助索引的紧凑的备份。
–throttle：该选项表示每秒IO操作的次数，只作用于bakcup阶段有效。–apply-log和–copy-back不生效不要一起用。

五、测试环境实践全量备份

需要授予mysql用户备份权限：
这里授权所有权限，生产环境应该权限最小化
grant all on . to ‘backup’@’%’ identified by ‘123123’;

最小权限如：
grant reload,lock tables,replication client,create tablespace,super . to…

执行脚本：

#!/bin/sh
. ~/.bash_profile#进入备份目录
cd /majd/majdbackup
#删除前一天未压缩的备份文件
rm -rf majd_`date -d "1 day ago" +%Y%m%d`innobackupex --defaults-file=/etc/my.cnf --socket=/var/lib/mysql/mysql.sock --user=backup --password=123123 --no-timestamp --parallel=2 /majd/majdbackup/majd_`date +%Y%m%d` 2>>/majd/majdbackup/majd_`date +%Y%m%d`.log#进入备份目录
cd /majd/majdbackup
#压缩当日的备份文件
tar -zcvf majd_`date +%Y%m%d`.gz majd_`date +%Y%m%d`
#删除当日的未压缩备份文件
#rm -rf miso_hotfull_`date +%Y%m%d`
#查找/备份目录下2天前(今天的前两天之前)的备份压缩文件并依次删除
find /majd/majdbackup -name "majd*.gz" -mtime +2|xargs rm -rf
#查找/备份目录下2天前(今天的前两天之前)的日志文件并依次删除
find /majd/majdbackup -name "majd*.log" -mtime +2|xargs rm -rf

查看日志文件备份结果是否成功

[root@master01 majdbackup]# tail -n 10 majd_20210414.log

210414 16:49:56 Executing UNLOCK TABLES
210414 16:49:56 All tables unlocked
210414 16:49:56 Backup created in directory ‘/majd/majdbackup/majd_20210414/’
210414 16:49:56 [00] Writing /majd/majdbackup/majd_20210414/backup-my.cnf
210414 16:49:56 [00] …done
210414 16:49:56 [00] Writing /majd/majdbackup/majd_20210414/xtrabackup_info
210414 16:49:56 [00] …done
xtrabackup: Transaction log of lsn (1603051) to (1603051) was copied.
210414 16:49:56 completed OK!

显示completed OK! 备份成功。

备份原理
备份开始时首先会开启一个后台检测进程，实时检测mysq redo的变化，一旦发现有新的日志写入，立刻将日志记入后台日志文件xtrabackup_log中，之后复制innodb的数据文件一系统表空间文件ibdatax，复制结束后，将执行flush tables with readlock,然后复制.frm MYI MYD等文件，最后执行unlock tables,最终停止xtrabackup_log

xtrabackup增量备份的原理是：
1)、首先完成一个完全备份，并记录下此时检查点LSN；
2)、然后增量备份时，比较表空间中每个页的LSN是否大于上次备份的LSN，若是则备份该页并记录当前检查点的LSN。

六、数据全量恢复

全量恢复(生产环境实战)

#首先关闭mysql实例服务(多实例)
mysqladmin -u my -p --socket=/mysql/mysqlboss/data/mysql.sock --port=3307 shutdown

#删除/mysql/mysqlboss/data下所有数据
rm -rf /mysql/mysqlboss/data/*

#解压备份文件压缩包。并用此参数使相关数据性文件保持一致性状态
innobackupex --apply-log boos_10.161.0.72_3307_hotfull_20210507/

#恢复数据
innobackupex --defaults-file=/mysql/mysqlboss/my.cnf --copy-back boos_10.161.0.72_3307_hotfull_20210507/

#重启数据库
./bin/mysqld_safe --defaults-file=my.cnf &

七、增量备份

innobackupex --defaults-file=/etc/my.cnf --socket=/var/lib/mysql/mysql.sock --user=root --password=123123 --no-timestamp --parallel=2 --incremental /majd/majd_date +%Y%m%d --incremental-basedir=/majd/majdbackup/majd_20210508/
#–incremental /majd/majdbackup/ 指定增量备份文件备份的目录
#–incremental-basedir 指定上一次全备或增量备份的目录

八、增量恢复

innobackupex --apply-log --redo-only /majd/majdbackup/majd_20210509/#(全量备份)

innobackupex --apply-log --redo-only /majd/majdbackup/majd_20210509/ --incremental-dir=/majd/majd_20210509/#(增量备份)

#然后进行一全次量恢复
innobackupex --defaults-file=/etc/my.cnf --copy-back /majd/majdbackup/majd_20210509/

20210509/#(全量备份)