DBMS数据库管理系统的三层模型:物理层,逻辑层以及视图层。

物理层:决定数据的存储形式。

逻辑层:是一张有一张的表,一行行的数据记录。

视图层:让用户看起来更方便,可有可无。

存储引擎:使逻辑层中sql语句转换成能在磁盘上存储的物理形式,连接逻辑层与物理层。

常用MySQL存储引擎:

MyISAM:

最经典的MySQL存储引擎,但如果数据库一旦崩溃,再重启时需要对表进行修复,但MyISAM

存储引擎无法保证安全修复,且其不支持事务的进行。支持表级锁。

Innodb:

Innodb存储引擎,支持事务,数据库的存储,是以表空间的方式存储,支持MVCC的高并发,

支持四种隔离级别,read-uncommitted读未提交,read-committed读提交,repeatable-read幻读

serializable串行化。支持行级锁,间隙锁。

Aria:

Aria存储引擎数据库一旦崩溃,能够对数据库安全修复增强版MyISAM存储引擎。

Memory:

内存级存储引擎,支持自适应hash索引,查询能力十分强大。

MRG_MyISAM:

将多张表逻辑层连接在一起,使用户就像使用一张表一样。

PERFORMANCE_SCHEMA:

展示数据库运行时的状态参数和统计数据。

CSV:

基于文件的文件存储数据存储引擎。

ARCHIVE:

归档存储引擎,通常用于做数据仓库。

MySQL的日志:

①查询日志:

general_log {ON|OFF} :查询日志是否开启关闭。

general_log_file hostname.log :该变量的生效,需要在log_output为FILE时才能生效。

log_output  FILE:

FILE:表示将日志记录于文件系统中的文件;

TABLE:表示将日志记录于MySQL中指定的表;

NONE:表示不将日志记录输出出去;

②慢查询日志:

运行时间超过某指定时长的操作。

定义查询超时时长的变量:

long_query_time   10.000000

慢查询日志是否开启:

log_slow_queries    OFF

slow_query_log_file hostname.log :该变量的生效,需要在log_output为FILE时才能生效。

log_output  FILE:

FILE:表示将日志记录于文件系统中的文件;

TABLE:表示将日志记录于MySQL中指定的表;

NONE:表示不将日志记录输出出去;

③错误日志

log_error:保存了错误日志的文件路径;

log_warnings  {ON|OFF}:是否将mysqld运行过程中产生的"Warning"类的信息一并记录到错误日志中;

④二进制日志

用于记录引起数据库改变的SQL语句,可以通过备份二进制日志中的指定内容来达到数据库备份,还原的目的

这一部分操作,在后边有示例。

需要在/etc/my.cny配置文件中设置log_bin路径。

mysql>show master|binary logs:显示当前数据库中所有二进制日志列表。

mysql>show master status:显示当前数据库中正在使用的数据库列表,可以对指定日志的position,datetime进行备份还原。

mysql>show binlog events in '日志path':显示对应二进制日志文件的内容。

数据库备份方式:

数据库备份作为一种重要的数据保存手段,需要根据不同环境采取不同的备份操作,最大限度保证数据的安全,毕竟数据

才是一个企业生存的根本

①LVM实现MYSQL物理备份,恢复

首先,在主机中加入一块硬盘充当MYSQL的数据存放的逻辑卷,以及备份数据的存储源

#fdisk /dev/sdb

因实验需要,所以只配置了一个扩展分区,及一个逻辑分区,将逻辑分区类型更改为8e即可;

创建逻辑卷:

#pvcreate /dev/sdb5

#vgcreate myvg /dev/sdb5

#lvcreate -L 5G -n mylv myvg

对逻辑卷进行格式化:

#mke2fs -t ext4 /dev/myvg/mylv

创建数据库存放的路径

#mkdir -pv  /mysql/data

修改数据库配置文件/etc/my.cnf

并在当前启动mysql用户家目录下创建.my.cnf文件,否则无法正常启动mysql

到这里mysql服务就会在我们指定的逻辑卷中运行,lvm的备份方式主要是温备份,但

也可以说是几乎热备份,只要对数据库加锁,解锁的过程够快,一般几秒钟即可,就

不会引起数据的错乱;

对所有表进行加锁操作:

MariaDB [hellodb]> flush tables with read lock;

紧接着拍摄快照,针对于该逻辑卷:

[root@zabbix-agent4 ~]# lvcreate -L 5G -s -n snap /dev/myvg/mylv

再对数据库中的表进行解锁操作:

MariaDB [hellodb]> unlock tables;

对二进制日志进行备份操作,备份当前运行的位置

mysql -e "show master status" > /path

(这样在需要还原数据时可以得知在备份那个时间段后我们执行了哪些操作,从二进制日志文件可以看出,从而进行还原)

速度够快的话就不会产生多大的数据损失,紧接着将快照卷挂载到指定目录下,对数据进行打包压缩,卸载快照卷即可将数据库备份;

②select语句进行逻辑备份

创建一个同classes表中数据结构一样的表;

使用select将数据保存在文件中,并导入到test表当中对数据库进行备份

③使用mysqldump对数据库进行备份

mysqldump -uroot -p password 数据库名 --lock-tables --flush-logs --master-data=2 > /path.sql

使用上述方式对指定数据库中的所有表进行加锁,--flush-logs对二进制日志文件仅刷新一次,而不是重复刷新

--master-data将二机制日志文件名和其所用到的时间的位置标识,追加到备份文件中,1为不注释,2为注释;

保存在/path.sql路径下后,只需要进入指定备份的数据库,并使用source /path.sql即可还原备份数据;

注意:上述方式需要事先创建同名数据库,然后进入该数据库执行source操作;

可使用另一种musqldump格式,可将数据库的数据格式也备份下来,这样就无需创建数据库进行还原

如:

mysqldump -uroot -p password --database 数据库名 --lock-tables --flush-logs --master-data=2 > /path.sql

对二进制日志进行备份操作,备份当前运行的位置

mysql -e "show master status" > /path

(这样在需要还原数据时可以得知在备份那个时间段后我们执行了哪些操作,从二进制日志文件可以看出,从而进行还原)

④percona xtrabackup实现数据库备份

xtrabackup是一款由percona提供的世界上唯一一款开源实现innodb数据库热备份的工具

其备份过程快速可靠,不会打断正在执行的事务,还原速度快,能够实现自动检验;

MYISAM完全备份

MYISAM因为不不支持事务,所以只能实现温备份,即在只读不可写的状况下的数据库备份,无法进行增量备份

只能进行完全备份

热备份:可读可写;

温备份:只读不可写;

冷备份:不可读不可写;

安装xtrabackup,在阿里云中的epel源中

#yum install -y percona xtrabackup

使用innobackupex进行备份

--user:指定备份数据库所用的用户;

--password:备份数据库用户所用的密码;

--host:备份数据库所在的主机;

--socket:指定备份数据库所用的socket路径;

如:

因为之前有更改过数据库文件的默认路径,所以需要指定socket

最后的路径为完全备份存储的路径,innobackex命令如果不特别指定格式的话,会以日期的形式将完全备份

存储在该目录下

#mkdir -pv /mysql/backup2

#chown mysql:mysql /mysql/backup2

进行还原准备操作,因为数据库在进行还原时,需要考虑在备份数据库时是否有事务在进行却尚未提交,是否有事务

已经提交,但尚未同步到数据库当中,我们需要针对这类型的数据进行一致化操作,"准备"的主要作用正是通过回滚

未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。

备份存储好之后,将数据全部删除,验证备份数据

使用--copy-back选项即可,不管是完全备份,还是完全备份+增量备份的还原都是该选项进行

注意:备份还原操作,需要在原数据库文件全部删除,mysqld进程不在运行的条件下执行

且备份后的数据库文件权限均为root,需要更改为mysql

启动服务,数据库完好无损。

INNODB完全备份+增量备份

Innodb存储引擎支持事务,其可支持温备份以及热备份;这也是innobackupex的一大特点;

增量备份是基于上一次备份后产生的数据差别进行的备份;

首先将数据库进行几次修改,并逐一进行完全备份,增量备份操作

首次完全备份

增量备份:

准备操作:

--redo-only:在最后一次增量备份时不使用

准备结束后就可执行还原操作,删除原数据库内容,关闭数据库服务

采用增量备份的方式,分两次添加了ClassID9,10数据

MySQL主从复制:

在MySQL中,支持单项,异步复制,而主从复制,则是由至少两台MySQL服务器实现,由一台MySQL

作为主服务器,进行写入操作,而由另一台MySQL服务器作为从服务器进行读操作,主数据库中的数据

会自动备份到从服务器,可以进行读写分离操作,以增强数据库的读写性能。而两台服务器之间使用不同

的硬盘,当主服务器的硬盘损坏时,从服务器的数据就保留下来,进行数据恢复。

主从服务器搭建的原理是,从服务器开启数据库线程sql_thread,io_thread并在/etc/my.cnf中构建中继

日志,用于存放从主服务器复制过来的数据,io_thread线程是向主服务器之间搭建数据复制的桥梁,当主

服务器中数据库的数据改变时,会写入二进制日志当中,由io_thread读取,并复制,需要由主服务器指定

执行复制操作的数据库用户,并授权,在从服务器配置相关master,指定主服务器IP,复制数据库用户的

账号,密码,由哪一个二进制日志文件开始复制,从该二进制文件当中的哪个位置开始复制等。当io_thread

取回复制的数据库内容后,就存放在从服务器的中继日志当中,由sql_thread线程将中继日志中的数据写入

到执行存储引擎,备份成功!

主服务器配置:IP,172.16.25.101

配置二进制文件,设置server_id

对用户进行授权,设置用户复制权限

主从复制需要将主服务器中的数据库完全备份到从服务器,否则会报错,无法进行主从复制

主服务器:

从服务器:

从服务器配置:

配置 relay_log中继日志,server_id在/etc/my.cnf中

配置从服务器中的master指向

master_host:主服务器IP.

master_user:主服务器上进行复制的数据库用户。

master_password:主服务器上进行复制的数据库用户密码。

master_log_file:从主服务器上的哪个二进制日志文件开始复制。这里我选定的是最后一个二进制日志。

master_log_pos:从主服务器上的指定二进制日志文件的哪个位置开始复制。

这个时候可以使用show slave status\G查看

两个线程均没有开启,现在开启线程则主从复制启用

在主服务器数据库中插入一条数据,在查看从哪个服务器看是否进行了复制操作

主服务器:

从服务器:

查看数据是否复制:

MySQL主从复制之半同步:

半同步复制,在对主从复制的基础上进行延伸,如主从复制时,主服务器在向从服务器传输数据时,从服务器

突然宕机,则数据的传输会有两种情况,

1.事务还未发送到从服务器上。

2.事务已发到从服务器上,但客户端会接受到事务传送失败的消息,重新发送事务。

所以针对于以上情况,MySQL数据库推出了全新的半同步机制,在从服务器宕机后,会有一段延迟时间让主服

务器去联系从服务器,若没有联系上就写入主服务器自身,待从服务器联系上了再写入从服务器,这种异步加同

步的操作就称之为半同步。

半同步需要对主从服务器加载特殊的插件,插件保存在/usr/lib64/mysql/plugin中

主服务器/etc/my.cnf

从服务器/etc/my.cnf

半同步复制则需要semisync_master.so,semisync_slave.so两种插件,分别加载到主从服务器

主:

从:

将主从服务器的同步机制开启:

将从服务器进行授权,指定master

在从服务器上设置只读,read_only开启,并开启另一个MySQL会话并执行

mysql>flush tables with read lock;

只要该会话不关闭则读锁一直存在。

如何查看半同步是否成功:

rpl_semi_sync_master_clients为1

看nakahcehur在主服务器处进行写操作查看是否同步到从服务器上

从服务器:

当关闭从服务器线程时

主服务器再次写入数据,延迟十秒

这是因为主服务器上的同步延迟设置为十秒,当十秒内无法联系上从服务器,就写入自身,如:

timeout设置为10000毫秒,即为10s

MySQL主主复制:

主主复制,至少两台的数据库服务器 ,都作为主服务器,每一台服务器既是主服务器,也是对面主服务器

的从服务器,实现原理同上,不同的是每一台服务器都需要有中继日志和二进制日志,因为每一台服务器都

作为主服务器以及从服务器。主主复制相较于主从复制来说,多了一个mysql入口,相当于mysql的高可用

但却需要考虑ID增长的问题。

主主复制相对于主从复制,需要注意的是

1.数据不一致,比如,一台服务器在进行更新操作,将35岁包括以上人的工资上调3000元,当数据库复制

到另一台服务器,数据进行重写,写入到这台服务器时,如果这台服务器执行了给每一个员工增加1岁时

这样刚巧有些人从34岁到了35岁的年龄的话,该数据就会不一致。目前只能使用一些数据恢复软件来进

行排错.

2.主键,当两台服务器同时都插入数据时,一些自动增长的如ID的属性可能会重合,这样会导致冲突,数

据插入删除修改也将会失败。所以需要设置auto_incremental_incremental以及auto_incremental_offset

用于设置每次自动增长的量,以及初次增长的基数。一般设置为奇数偶数相对应,这样就不会重合。

主主服务器配置:

主服务器1:IP 172.16.25.101

/etc/my.cnf

设置为奇数增长,针对于那些auto_increment的字段

授权,指定master为172.16.25.102

主服务器2:IP 172.16.25.102

/etc/my.cnf

授权,指定master为172.16.25.101

分别为两台服务器开启线程

mysql>start slave;

分别从两台服务器进行读写操作:

主服务器1插入一条数据到classes中

因为设置的是奇数增长所以由11增长到13

到主服务器2进行查看,并插入一条数据:

由图可知复制成功,再在主服务器2中插入一条数据,并在主服务器1中可见。

主主复制成功!

转载于:https://blog.51cto.com/12480612/2058997

MySQL备份,恢复方案,mysqlbinlog,mysqldump,主从,主主复制相关推荐

  1. MySQL备份恢复方案

    MySQL备份方案 随着数据不断增加,而且为了兼容以后的innodb存储引擎, 所以考虑采用mysqldump全备+日志增量备份的策略.使用mysqldump对于mysql大部分mysql存储引擎比如 ...

  2. MySQL备份恢复-mysqldump/xbk

    MySQL备份恢复 1.介绍 最后一根救命稻草,备份主要是用来恢复数据 2.DBA在备份恢复工作职责 2.1设计备份策略和恢复策略 1.备份策略 1)备份的时间 凌晨,根据公司的实际业务情况,一般选择 ...

  3. Mysql备份恢复(mysqldump)

    Mysql备份恢复(mysqldump) 直接复制 -- 建新库 create database `caimei@20180517` default character set utf8 collat ...

  4. Mysql 备份恢复看这一篇就够了

    Mysql 备份恢复 一.备份分类.备份策略 1.1 造成数据丢失的原因: 程序错误 人为操作错误 运算错误 磁盘故障 灾难(如火灾.地震)和盗窃 1.2 数据库备份的分类 1)物理备份:对数据库操作 ...

  5. 【数据库运维】MYSQL备份恢复管理(上)

    目录 MYSQL备份恢复管理 一,备份类型 二,逻辑备份优缺点 三,MySQL备份内容 四,MySQL备份工具 五,MySQL备份策略 1,策略一:直接拷贝数据库文件 案例:直接拷贝备份数据库comp ...

  6. 零基础带你学习MySQL—备份恢复数据库(三)

    零基础带你学习MySQL-备份恢复数据库(三) 一.备份数据库 二.恢复数据库 先删除数据库zs_db03 恢复数据库zs_db03 课堂练习 方法一:傻瓜式办法 直接Ctrlcv 方法二:命令行方法 ...

  7. MySQL备份恢复练习

    MySQL备份恢复练习 素材 备份恢复要求 1. 备份数据库school到/backup目录 2. 备份数据库school为带删除表的格式,能够让该备份覆盖已有数据库而不需要手动删除原有数据库 3. ...

  8. Green Plum 非并行备份恢复方案

    Green Plum 非并行备份恢复方案 环境 centos 7 主 145.170.41.153(master) root/123456 145.170.41.154(segment) root/1 ...

  9. mysql导入分卷_php实现mysql备份恢复分卷处理的方法_PHP

    本文实例讲述了php实现mysql备份恢复分卷处理的方法.分享给大家供大家参考.具体分析如下: 分卷处理就是把握们要处理的数据分成一个个小文件进行处理了,这里我来给大家介绍一个php mysql备份恢 ...

  10. 刘子佼 mysql 下载_MySQL数据管理之备份恢复案例解析 23讲 Mysql备份恢复实战 视频教程...

    课程名称:MySQL数据管理之备份恢复案例解析 23讲 Mysql备份恢复实战课程简介: 课程独家解析MySQL 5.6最新特性,课程讲师刘子佼讲课风格幽默,善于与人沟通,善于组建和协调团队攻克技术难 ...

最新文章

  1. AngularJS安装配置与基础概要整理(上)
  2. oracle数据类型之number/char浅析
  3. 每日一博 - tcpdump小技巧
  4. 中国照明市场运营现状及发展前景分析报告2021年版
  5. 未来ui设计的发展趋势_2025年的未来UI趋势?
  6. php return 变量,php内核笔记–函数返回变量return_value
  7. suse 安装php5.4_SUSE LINUX 安装Apache2 + PHP5 (普通安装,不是yum)
  8. Hibernate(5)—— 联合主键 、一对一关联关系映射(xml和注解) 和 领域驱动设计...
  9. uu云验证码识别平台,验证码,验证码识别,全自动验证码识别技术,优优云全自动打码,代答题系统,优优云远程打码平台,uu云打码...
  10. psp测试电池软件,电玩巴士首测成功-PSP神奇电池恢复砖头与降级
  11. Type-C PD充电简介
  12. 信佛的人对佛教的诘问
  13. 一文告诉你哪些map element类型支持就地更新
  14. 紫光物联linux登录账号,紫光物联智能家居系统功能6.6.pptx
  15. 不写DAX实现TopN和其他
  16. 网站发送邮箱验证实现找回密码
  17. jQuery Api 学习(六、jQuery 文档 - 操作文档)
  18. 苹果mac版微软官方远程连接工具下载Microsoft Remote Desktop For Mac
  19. android头像采集,图像采集和标注流程(安卓版)
  20. 秀企业网站欣赏 优秀个人网站欣赏 国外优秀网站欣赏 韩国优秀网站欣赏

热门文章

  1. 《算法图解》之散列表
  2. 模糊的边界:内存和存储以全新方式融合
  3. Mac系统搭建java开发环境
  4. spring.net 对象创建 几种情况
  5. 从“在winform里打开网页功能”引发的问题探究
  6. 移劢开发者解决方案研究报告——中国开发者生存状况调查
  7. async_memcache for tornado
  8. 装完Ubuntu 9.10后要干的事
  9. html画图代码_python之matplotlib画图教程(1)
  10. Java学习系列(十七)Java面向对象之开发聊天工具