MySQL日志、备份与恢复

文章目录

概述
mysql日志文件
- 错误日志
- 二进制日志
- 中继日志
- 慢查询日志
- 查询命令
备份类型
- 从物理与逻辑的角度分类
- 从数据库的备份策略角度分类
- - 完全备份
  - 差异备份
  - 增量备份
备份方法
- 物理冷备份
- 专用备份工具mysqldump或mysqlhotcopy
- 通过启用二进制日志进行增量备份MySQL
备份实验
- 创建表结构、表数据
- 物理冷备份与恢复
- mysqldump 备份与恢复
- - 完全备份一个或多个完整的库（包括其中所有的表）
  - 完全备份 MySQL 服务器中所有的库
  - 完全备份指定库中的部分表
  - 查看备份文件
- MySQL 完全备份恢复
- - 恢复数据库
  - 恢复数据表
- MySQL 增量备份与恢复的方法
- - 增量备份需要开启二进制日志功能
  - 可每周对数据库或表进行完全备份
  - 可每天进行增量备份操作
  - 插入新数据，以模拟数据的增加或变更
  - 再次生成新的二进制日志文件
  - 查看二进制日志文件的内容
- MySQL 增量恢复
- - 一般恢复
  - - 模拟丢失更改的数据的恢复步骤
    - 模拟丢失所有数据的恢复步骤
  - 断点恢复
  - - 基于位置恢复
    - 基于时间点恢复
  - 全部恢复

概述

备份的主要目的是灾难恢复，备份还可以测试应用，回滚数据修改，查询历史数据，审计等。

而备份、恢复中，日志起到了很重要的作用

mysql日志文件

常用的日志文件（在/etc/my.cnf中[mysqld]客户端配置中修改）

默认保存位置为/usr/local/mysql/data中

错误日志

用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启
可通过以下字段进行修改

vim /etc/my.cnf
#指定错误日志的保存位置和文件名
log-error=/usr/local/mysql/data/mysql_error.log

二进制日志

二进制日志(binlog)，用来记录所有更新了数据或者已经潜在更新了数据的语句，记录了数据的更改，可用于数据恢复，默认已开启

 开启方式：
log-bin=mysql-bin
#也可以 log_bin=mysql-bin

中继日志

一般情况下它在MySQL主从同步，读写分离集群的从节点才开启，主节点一般不需要这个日志。

慢查询日志

慢查询日志，用来记录所有执行时间超过long_query_time秒的语句，可以找到哪些查询语句执行时间长，以便于优化，默认是关闭的

slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log  #指定文件路径和名称
long_query_time=5  #设置超过5秒执行的语句被记录，缺省时为10秒#最后修改完成后，保存退出重启服务
systemctl restart mysqld.service

查询命令

mysql -u root -p
show variables like 'log_bin%';   #查看二进制日志是否开启
show variables like '%slow%';   #查看慢查询日志功能是否开启
show variables like 'long_query_time';    #查看慢查询时间设置
set global slow_query_log=ON;   #在数据库中设置开启慢查询的方法（临时）PS:variables 变量， like（模糊查询）

备份类型

从物理与逻辑的角度分类

数据库备份可以分为物理备份和逻辑备份。物理备份是对数据库操作系统的物理文件
(如数据文件、日志文件等）的备份。这种类型的备份适用于在出现问题时需要快速恢复的大型重要数据库.
物理备份又可以分为冷备份（脱机备份)、热备份（联机备份）和温备份。

（1）冷备份:在数据库关闭状态下进行备份操作。

（2）热备份:在数据库处于运行状态时进行备份操作，该备份方法依赖数据库的日志文件。

（3）温备份:数据库锁定表格（不可写入但可读）的状态下进行备份操作。

逻辑备份是对数据库逻辑组件（如表等数据库对象）的备份，表示为逻辑数据库结构（CREATE DATABASE,CREATETABLE 语句) 和内容 (INSERT 语句或分隔文本文件）的信息。这种类型的备份适用于可以编辑数据值或表结构较小的数据量，或者在不同的机器体系结构上重新创建数据

从数据库的备份策略角度分类

从数据库的备份策略角度，数据库的备份可分为完全备份、差异备份和增量备份

完全备份

每次对数据进行完整的备份，即对整个数据库、数据库结构和文件结构的备份，保存的是备份完成时刻的数据库，是差异备份与增量备份的基础。
完全备份的备份与恢复操作都非常简单方便，但是数据存在大量的重复，并且会占用大量的磁盘空间，备份的时间也很长。

差异备份

备份那些自从上次完全备份之后被修改过的所有文件，备份的时间节点是从上次完整备份起，备份数据量会越来越大。恢复数据时，只需恢复上次的完全备份与最近的一次差异备份。

增量备份

只有那些在上次完全备份或者增量备份后被修改的文件才会被备份。
以上次完整备份或上次增量备份的时间为时间点，仅备份这之间的数据变化，因而备份的数据量小，占用空间小，备份速度快。
但恢复时，需要从上一次的完整备份开始到最后一次增量备份之间的所有增量依次恢复，如中间某次的备份数据损坏，将导致数据的丢失。

备份方法

MysQL
数据库的备份可以采用很多种方式，如直接打包数据库文件（物理冷备份)、专用备份工具(mysqldump)、、二进制日志增量备份、第三方工具备份等。

物理冷备份

物理冷备份时需要在数据库处于关闭状态下，能够较好地保证数据库的完整性。
物理冷备份一般用于非核心业务，这类业务一般都允许中断，物理冷备份的特点就是速度快，恢复时也是最为简单的。
通常通过直接打包数据库文件夹（/usr/local/ mysql/data)来实现备份

专用备份工具mysqldump或mysqlhotcopy

mysqldump程序和mysglhotcopy都可以做备份。
mysqldump是客户端常用逻辑备份程序，能够产生一组被执行以后再现原始数据库对象定义和表数据的sg.语句。
它可以转储一个到多个 MysgL数据库，对其进行备份或传输到远程 sQL服务器。mysqldump更为通用，国为它可以备份各种表。
mysqlhotcopy仅适用于某些存储引擎。

通过启用二进制日志进行增量备份MySQL

支持增量备份，进行增量备份时必须启用二进制日志。
二进制日志文件为用户提供复制，对执行备份点后进行的数据库更改所需的信息进行恢复。
如果进行增量备份(包含自上次完全备份或增量备份以来发生的数据修改）﹐需要刷新二进制日志。
通过第三方工具备份 Percona XtraBackup是一个免费的 MysQI热备份软件，支持在线热备份Innodb 和xtraDB，也可以支持MysQL表备份，不过 MyIsAM表的备份要在表锁的情况下进行。

备份实验

创建表结构、表数据

mysql -u root -pcreate database school;
use school;
create table shengmo(
id int(10) not null,
name varchar(20) not null,
sex char(2) not null,
cardid varchar(20) not null,
phone varchar (11),
address varchar(50));desc shengmo;
insert into shengmo values ('1','洪易','男','123456','111111','阳神');
insert into shengmo values ('2','颜如玉','女','121212','222222','遮天');
insert into shengmo values ('3','辰南','男','123123','333333','神墓');
insert into shengmo values ('4','方寒','男','123126','444444','永生');
insert into shengmo values ('5','武牧','男','112233','555555','武墓');
select * from shengmo;

物理冷备份与恢复

systemctl stop mysqld
yum -y install xz                   #xz是一个压缩工具
#压缩备份
tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/
#解压恢复
tar Jxvf /opt/mysql_all_2021-02-05.tar.xz -C /usr/local/mysql/datasystemctl start mysqld

mysqldump 备份与恢复

完全备份一个或多个完整的库（包括其中所有的表）

#导出的备份文件就是数据库脚本文件
mysqldump -u root -p[密码] --databases 库名1 [库名2] … > /备份路径/备份文件名.sql
例：
mysqldump -u root -p --databases school > /opt/school.sql
mysqldump -u root -p --databases mysql school > /opt/mysql-school.sql

完全备份 MySQL 服务器中所有的库

mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql
例：
mysqldump -u root -p --all-databases > /opt/all.sql

完全备份指定库中的部分表

mysqldump -u root -p[密码] [-d] 库名 [表名1] [表名2] … > /备份路径/备份文件名.sql
#使用“ -d ”选项，说明只保存数据库的表结构
#不使用“ -d ”选项，说明表数据也进行备份
例：
mysqldump -u root -p school shengmo > /opt/school_shengmo.sql

查看备份文件

grep -v "^--" /opt/school_shengmo.sql | grep -v "^/" | grep -v "^$"

MySQL 完全备份恢复

恢复数据库

#“-e”选项，用于指定连接 MySQL 后执行的命令，命令执行完后自动退出
mysql -u root -p -e 'drop database school;'
mysql -u root -p -e 'show databases;'mysql -u root -p < /opt/school.sql
mysql -u root -p -e 'show databases;'

恢复数据表

当备份文件中只包含表的备份，而不包含创建的库的语句时，执行导入操作时必须指定库名，且目标库必须存在。

mysql -u root -p -e 'drop table school.shengmo;'
mysql -u root -p -e 'show tables from school;'mysql -u root -p school < /opt/school_shengmo.sql
mysql -u root -p -e 'show tables from school;'

MySQL 增量备份与恢复的方法

增量备份需要开启二进制日志功能

vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
server-id = 1
binlog_format = MIXED              #指定二进制日志(binlog)的记录格式为 MIXED#二进制日志(binlog)有3种不同的记录格式：STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式)，默认格式是STATEMENTbinlog format=STATEMENT默认
每一条涉及到被修改的sql都会记录在binlog中。
缺点:日志量过大,如sleep()函数，last insert id()>，以及user-definedfunctions (udf)、主从复制等架构记录日志时会出问题会出现问题shell binlog format=ROw
只记录变动的记录，不记录sql的上下文环境。
缺点:如果遇到updata .... set .... where true那么就binlog的数据量就变大binlog format=MIXED推荐使用
一般的语句使用statement,函数使用Row方式存取。systemctl restart mysqld.service
ls -l /usr/local/mysql/data/mysql-bin.*

可每周对数据库或表进行完全备份

（增量备份是基于完全备份，所以这里我们直接备份数据库）

mysqldump -uroot -p school shengmo > /opt/school_shengmo_$(date +%F).sql
mysqldump -uroot -p school > /opt/school_$(date +%F).sql

可每天进行增量备份操作

生成新的二进制日志文件(例如 mysql-bin.000007)

mysqladmin -uroot -p flush-logs

插入新数据，以模拟数据的增加或变更

use school;
insert into shengmo values (6,'石昊','男','654321','666666','完美世界');
insert into shengmo values (7,'罗峰','男','654322','777777','吞噬星空');
select * from shengmo;

再次生成新的二进制日志文件

(例如 mysql-bin.000008)

mysqladmin -u root -p flush-logs
#之前的步骤4的数据库操作会保存到mysql-bin.000007文件中，之后数据库数据再发生变化则保存在mysql-bin.000008文件中

查看二进制日志文件的内容

cp /usr/local/mysql/data/mysql-bin.000007 /opt
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000007
# -base64-output=decode-rows：使用64位编码机制去解码并按行读取
# -v：显示详细内容

MySQL 增量恢复

一般恢复

模拟丢失更改的数据的恢复步骤

use school;
delete from shengmo where id=6;
delete from shengmo where id=7;
select * from shengmo;
quitmysqlbinlog --no-defaults /opt/mysql-bin.000007 | mysql -uroot -p
mysql -uroot -p -e "select * from school.shengmo;"

模拟丢失所有数据的恢复步骤

use school;
drop table shengmo;
quitcd /opt
ls
mysql -uroot -p school < /opt/school_shengmo_2021-04-15.sql
mysqlbinlog --no-defaults /opt/mysql-bin.000007 | mysql -uroot -p
mysql -uroot -p -e "select * from school.shengmo;"

断点恢复

mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002#部分二进制文件的内容
#at 302
#210415 16:56:47插入了石昊用户的数据# at 637
#210415 16:57:32
插入了罗峰用户的数据

基于位置恢复

仅恢复到位置点为“628”之前的数据，即不恢复“id=7”的数据

#模拟数据丢失
mysql -uroot -p school < /opt/school_shengmo_2021-04-15.sql
mysql -uroot -p -e "select * from school.shengmo;"
#到位置点637停止恢复数据
mysqlbinlog --no-defaults --stop-position='637' /opt/mysql-bin.000007 | mysql -uroot -p
mysql -uroot -p -e "select * from school.shengmo;"

仅恢复“id=7”的数据，跳过“id=6”的数据

#模拟数据丢失
mysql -uroot -p school < /opt/school_shengmo_2021-04-15.sql
mysql -uroot -p -e "select * from school.shengmo;"
#从位置点637开始恢复数据
mysqlbinlog --no-defaults --start-position='637' /opt/mysql-bin.000007 | mysql -uroot -p
mysql -uroot -p -e "select * from school.shengmo;"

基于时间点恢复

仅恢复到210415 16:57:32之前的数据，即不恢复“id=7”的数据

#模拟数据丢失
mysql -uroot -p school < /opt/school_shengmo_2021-04-15.sql
mysql -uroot -p -e "select * from school.shengmo;"
#到时间点2021-04-15 16:57:32停止恢复数据
mysqlbinlog --no-defaults --stop-datetime='2021-04-15 16:57:32' /opt/mysql-bin.000007 | mysql -uroot -p
mysql -uroot -p -e "select * from school.shengmo;"

仅恢复“id=7”的数据，跳过“id=6”的数据恢复

#模拟数据丢失
mysql -uroot -p school < /opt/school_shengmo_2021-04-15.sql
mysql -uroot -p -e "select * from school.shengmo;"
#从时间点2021-04-15 16:57:32开始恢复数据
mysqlbinlog --no-defaults --start-datetime='2021-04-15 16:57:32' /opt/mysql-bin.000007 | mysql -uroot -p
mysql -uroot -p -e "select * from school.shengmo;"

总结：

如果恢复某条sQL语之前的所有数据，就stop在这个语句的位置节点或者时间点
如果恢复某条sQL语句以及之后的所有数据，就从这个语句的位置节点或者时间点startl

全部恢复

mysqlbinlog --no-defaults /opt/mysql-bin.000007 | mysql -u root -p