2019独角兽企业重金招聘Python工程师标准>>>

前言

操作系统崩溃、电源故障、文件系统崩溃和硬件故障等异常状况都可能导致我们正在使用的数据库出现故障而产生数据库中数据不一致的情况。为了保证数据库使用安全,必须定期备份数据库;数据库备份可以分为:完全备份、日志备份、增量备份和文件备份。对于一个大型数据库,频繁执行完全备份可能会需要太多的时间,而且完全备份经常会多次备份一些没有更新过的数据,会造成资源浪费。现在最常用的数据库备份策略是在完全备份的基础上进行较频繁的增量备份。例如,我们可以在数据库使用较少的时段每周进行一次完全备份,然后每天进行一次增量备份,备份下这段时间中可能修改数据库内容的操作,以便在发生文件系统故障、硬件问题等问题导致数据库发生灾难性崩溃的时候利用备份数据进行数据库的恢复。

u  技术分析

MySQL数据库对上述几种导致数据库崩溃的故障都给出了很好的解决办法以保证数据的一致性。

对于操作系统崩溃和电源故障导致的MySQL数据库崩溃,使用MySQL提供的内置方法,在大多数情况下都可以非常有效的恢复:如果我们使用的是MyISAM数据库,可以使用REPAIR TABLE 或者myisamchk –r 对可能损毁的数据库表进行修补;如果我们使用的是InnoDB,则InnoDB会自动找到挂起的提交了的或未提交的事务列表,并自动回滚未提交的事务和刷新已提交的事务。

如果我们使用前面的方面未能正确恢复被损害的数据,或者对于文件系统崩溃和硬件故障导致的数据库严重毁坏的情况,我们就需要从其他安全备份恢复。这种恢复方法基于前面提到的完全备份和增量备份。

在MySQL中,我们可以使用mysqldump方法将数据库导出为一个.sql文件,这个方法可以将我们正在使用的整个数据库或者多个数据库完全拷备到一个文件中从而实现对数据库的完全备份。我们再把这个文件保存到其他安全的地方,就可以在需要的时候使用该完全备份进行数据库恢复。

虽然MySQL没有提供直接的增量备份方法,但我们可以通过MySQL提供的二进制日志(binary logs)间接实现增量备份。二进制日志保存了所有更新或者可能更新数据库的操作(例如,当一个没有匹配行的delete操作也会被记录在二进制日志中),二进制日志在启动MySQL服务器后开始记录,并在文件达到max_binlog_size或者接收到flush logs命令后重新创建新的日志文件进行记录。基于二进制日志以上特性,我们使用二进制日志进行增量备份是非常方便和有效的。我们只需定时执行flush logs方法重新创建新的日志,生成二进制文件序列,并及时把这些日志保存到安全的地方就完成了一个时间段的增量备份。

在定期完全备份和及时增量备份的策略中进行数据库备份需要两步:首先通过执行完全备份的.sql文件恢复数据库,然后用mysqlbinlog恢复上次完全备份至数据库崩溃时的二进制日志文件序列恢复此时间段内对数据库的更新。

一般来说,我们采用的完全+增量备份的频率为每周进行一次完全备份,每日进行增量备份。根据实际应用的不同,可以适当调整。

u  实现步骤

通过上一节的分析,我们可以总结出MySQL的完全+增量备份策略主要包括以下几个步骤:

Ø  首先,我们需要开启MySQL服务器的二进制日志功能,其实现方法有很多种,最常用的是在MySQL的配置文件的mysqld项中加入log-bin=[filepath]项;也可以使用mysqld –log-bin=[filepath]重新启动MySQL服务器。

Ø  其次,使用mysqldump对数据库进行完全备份,它可以实现对数据据的联机,非阻塞的热备份,不会影响其他进程对数据库的读写操作。(参考指令:mysqldump -uroot --password=123 --single-transaction --flush-logs --master-data=2 --all-databases --delete-master-logs > d:/mysql5.0/full_%date:~0,10%_1500_PM.sql)

Ø  第三,使用flush logs指令刷新创建新的二进制日志。可以通过mysqladmin flush logs或者flush logs语句实现。最方便有效的方法是将它做成批处理文件,然后让操作系统定期执行。

Ø  使用mysql < *.sql进行完全备份的恢复。

Ø  使用mysqlbinlog logs-bin.[0-9]* | mysql进行增量备份的恢复。一般的,假设我们周日下午三点进行了完全备份并生成备份文件full_backup_20100415_3_PM.sql,周一周二中午一点进行了两次增量备份,分别生成增量备份文件inc_backup_1_PM.0007和inc_backup_1_PM.0008,周三上午10:00数据库发生崩溃,需要进行数据库恢复,此时正在记录的二进制日志为inc_backup_1_PM.0009,我们还需要恢复其中记录的操作。具体的恢复操作为:

mysql < full_backup_20100415_3_PM.sql

mysqlbinlog inc_backup_1_PM.0007 inc_backup_1_PM.0008 inc_backup_1_PM.0009

u  具体应用(结合T8项目)

根据上述分析,我们在T8项目使用MySQL增量备份,也需要三个步骤:

Ø  首选修改MySQL启动配置文件my.cnf,在其中的mysqld项中增加log-bin选项,重新启动MySQL 服务器以开启二进制日志功能,在生成文件/usr/data/mysql/ t8server-bin.index和t8server-bin..000001。如图所示:

Ø  编写完全备份可执行文件脚本:

Ø  编写增量备份可执行文件脚本:

Ø  执行full_backup_20100417_1_pm,生成/usr/data/mysql/full_backup_20100417_1_pm. sql文件。

Ø  执行inc_backup_1_pm,生成/usr/data/mysql/t8server-bin..000002。

其中full_backup_20100417_1_pm. sql和t8server-bin..000002分别是完全备份和增量备份文件。

要进行备份文件的恢复,只需执行命令:

u  总结

MySQL提供了很方便的完全+增量备份实现方法,我们只需调用系统内置的方法或者作出一些细微的配置就可以对MySQL数据库进行备份和恢复。对于MyISAM数据库和InnoDB数据库,都可以通过mysqldump实现数据库的完全逻辑备份,通过启动二进制日志(binary logs),可以记录一个时间段内对数据库的所有可能更新的操作,从而通过flush logs创建新的日志而实现增量备份。

MySQL也提供了非常方便的恢复方法,由于mysqldump的输出结果为可执行的.sql文件,我们可以直接运行该文件实现对完全备份的恢复。然后通过mysqlbinlog命令恢复崩溃之前的二进制日志序列,就可以将数据库恢复至崩溃前的状态。

转载于:https://my.oschina.net/ifraincoat/blog/482670

mysql增量备份及恢复解决方案相关推荐

  1. MySQL8增量备份_mysql增量备份及恢复解决方案

    前言 操作系统崩溃.电源故障.文件系统崩溃和硬件故障等异常状况都可能导致我们正在使用的数据库出现故障而产生数据库中数据不一致的情况.为了保证数据库使用安全,必须定期备份数据库:数据库备份可以分为:完全 ...

  2. MySQL增量备份及恢复

    MySQL自带备份命令->mysqldump 一 语法格式及命令参数 mysqldump -u 用户名-p 数据库名> 备份的文件名字 例子:mysqldump-uroot -p12345 ...

  3. innobackupex做MySQL增量备份及恢复

    http://www.cnblogs.com/paul8339/p/6731688.html 转载于:https://www.cnblogs.com/kgdxpr/p/7610348.html

  4. mysql整备_【mysql】使用xtrabackup在线增量备份及恢复数据库

    一.Percona Xtrabackup 简介 1.Xtrabackup  bin目录文件 介绍 1)innobackupex innobackupex 是xtrabackup的一个符号链接 . in ...

  5. mysql 增量备份_MySQL增量备份与恢复(增量备份概述、特点,断点恢复实操)

    一. MySQL 增量备份与恢复 使用 mysqldump 进行完全备份,备份的数据中有重复数据,备份时间与恢复时间过长.而增量备份就是自上一次备份之后增加或改变的内容. 1.1 增量备份的特点 增量 ...

  6. C 实现Mysql增量备份_window下mysql数据库增量备份实现教程

    mysql增量备份(mysql5.1 之后),linux下mysql增量备份 网上资料很多.这里只说明window下mysql增量备份. 定义: mysql数据库会以二进制的形式,自动把用户对mysq ...

  7. MySQL 的备份和恢复机制 MyISAM 和 Innodb

    转自:http://blog.csdn.net/sosoft_dzz/article/details/5299666 deven感觉这个文章还是比较靠谱的. 本文讨论 MySQL 的备份和恢复机制,以 ...

  8. MYSQL增量备份和全量备份脚本分享

    mysql的全量备份与增量备份 全量备份:可以使用mysqldump直接备份整个库或者是备份其中某一个库或者一个库中的某个表. 增量备份:增量备份是针对于数据库的bin-log日志进行备份的,需要开始 ...

  9. Mysql运维管理-Mysql增量备份及分库分表备份数据恢复实战12

    1. MySQL数据库的备份与恢复 1.1 Mysqldump的工作原理? 利用mysqldump命令备份的过程,实际上就是把数据从mysql库里以逻辑的sql语句的形式直接输出或者生成备份的文件的过 ...

最新文章

  1. IBM重磅开源Power芯片指令集?国产芯迎来新机遇?
  2. 16张图带你学会 Ansible 自动化运维工具
  3. Spring Boot读取配置的几种方式
  4. Qt界面开发(各种控件以及图表)
  5. 服务器驱动精灵_驱动精灵真的可以帮你安装驱动吗?别再无脑装驱动了
  6. 在windows命令行中查询MySQL乱码
  7. python类与对象 动画_python之类与对象(2)
  8. 想了解“云+AI”究竟怎么“玩儿”,还要看这里、看这里!
  9. 文献阅读软件_推荐一款阅读英文文献的神器,效率高不少,理解深不少!
  10. php td背景颜色改变,JavaScript实现点击单元格改变背景色的方法
  11. Java语音转文字功能
  12. 免费直播编码软件应用技巧
  13. 莫烦强化学习-Q Learning
  14. plcst语言编程教程_st语言编程实例讲解
  15. 【NOIP2017提高A组集训10.25】凤凰院凶真(dp)
  16. vnc远程控制软件配置,vnc远程控制软件怎么配置,教程详解
  17. Flowers Sky Wallet First school/Primary school holiday Getting up early Reading Home c
  18. 深入计算机组成原理(二十六)Superscalar和VLIW:如何让CPU的吞吐率超过1?
  19. CKA 认证考试必过技巧分享
  20. Moveit报错:Unable to identify any set of controllers that can actuate the specified joints

热门文章

  1. 获取php服务器ip地址,PHP获取客户端和服务器IP地址
  2. php class variable,解决关于PHP“Undefined variable”变量未定义
  3. 中医与佛教共同推出的养生秘诀 100 条
  4. jQuery-Selectors(选择器)的使用(一、基本篇)
  5. jquery:TypeError: $(...).on is not a function
  6. php clean html 可以设置过滤及保留属性
  7. php代码加密 (php,decode)
  8. PHP中empty,is_null,isset中的异同和功能
  9. restorecon命令
  10. 【AI视野·今日CV 计算机视觉论文速览 第203期】Fri, 21 May 2021