作者:胡呈清

slave_relay_log_info 表是这样的:

mysql> select * from mysql.slave_relay_log_info\G

*************************** 1. row ***************************

Number_of_lines: 7

Relay_log_name: ./mysql-relay.000015

Relay_log_pos: 621

Master_log_name: mysql-bin.000001

Master_log_pos: 2407

Sql_delay: 0

Number_of_workers: 16

Id: 1

Channel_name:

slave_relay_log_info 表存储 slave sql thread 的工作位置。

在从库启动的时候时,读取 slave_relay_log_info 表中存储的位置,并把值传给 "show slave status" 中的 Relay_Log_File、Relay_Log_Pos,下次 "start slave" 是从这个位置开始继续回放 relay log。

slave_relay_log_info 表存储的是持久化的状态、show slave status 输出的是内存中的状态:

两者输出的位置可能不一样

stop slave 或者正常关闭 mysqld,都会将内存中的状态持久化到磁盘上(slave_relay_log_info表中)

启动 mysqld 时会读取磁盘状态,初始化给内存状态

start slave 时生效的是内存状态

slave io thread 按照 Master_Log_File、Read_Master_Log_Pos 位置读取主库的 binlog,并写入到本地 relay log(注意这两个位点信息保存在 slave_master_info 表中);slave sql thread 按照 Relay_Log_Name、Relay_Log_Pos 位置进行 realy log 的回放。

但是同一个事务在从库 relay log 中的 position 和主库 binlog 中的 position 是不相等的,slave_relay_log_info 表通过 Master_log_name、Master_log_pos 这两个字段记录了 relay log 中事务对应在主库 binlog 中的 position。

我们得知道如果 slave io thread 重复、遗漏的读取主库 binlog 写入到 relay log 中,sql thread 也会重复、遗漏地回放这些 relay log。也就是说从库的数据是否正确,io thread 的位置是否正确也非常重要。

在 MySQL 5.6 以前,复制位点信息只能存储在数据目录的 master.info 文件中,在回放事务后更新到文件中(默认每次回放10000个事务更新,受参数 sync_relay_log_info 控制)。即使每个事务都更新文件,意外宕机时也没法保证持久性一致性。

MySQL 5.6 开始,可以设置 --relay-log-info-repository=TABLE,将 slave sql thread 的工作位置存储在 mysql.slave_relay_log_info 表中,如果这个表是 InnoDB 这样的支持事务的引擎,则从库每回放一个事务时都会在这个事务里同时更新 mysql.slave_relay_log_info 表,使得 sql thread 的位置与数据保持一致。事实上在 5.6.0-5.6.5 的版本,slave_relay_log_info 表默认使用的是 MyISAM 引擎,之后的版本才改为 InnoDB,不过再考虑到 MySQL 5.6.10 才 GA,这个坑踩过的人应该不多。

更新机制

引用手册:

sync_relay_log_info = 0

If relay_log_info_repository is set to FILE, the MySQL server performs no synchronization of the relay- log.info file to disk; instead, the server relies on the operating system to flush its contents periodically as with any other file.

If relay_log_info_repository is set to TABLE, and the storage engine for that table is transactional, the table is updated after each transaction. (Thesync_relay_log_info setting is effectively ignored in this case.)

If relay_log_info_repository is set to TABLE, and the storage engine for that table is not transactional, the table is never updated.

sync_relay_log_info = N > 0

If relay_log_info_repository is set to FILE, the slave synchronizes its relay-log.info file to disk (using fdatasync()) after every N transactions.

If relay_log_info_repository is set to TABLE, and the storage engine for that table is transactional, the table is updated after each transaction. (Thesync_relay_log_info setting is effectively ignored in this case.)

If relay_log_info_repository is set to TABLE, and the storage engine for that table is not transactional, the table is updated after every N events.

一般的运维规范都会要求 relay_log_info_repository=TABLE,默认值 sync_relay_log_info=10000 此时会失效,变成每回放一个事务都会在这个事务里同时更新 mysql.slave_relay_log_info 表,保证持久性,以最终保证复制的数据一致。当然 InooDB 的持久性需要 innodb_flush_log_at_trx_commit=1 来保证。

前面有一句话“也就是说从库的数据是否正确,io thread 的位置是否正确也非常重要”。简单来说 io thread 位置保存在 slave_master_info 表中,其实设置和 relay_log_info_repository 类似,不同的是它的持久化保障通常与性能冲突很大:

必须设置 master_info_repository = TABLE 和 sync_master_info=1,刷盘的单位是 binlog event 而不是事务,写放大很严重,性能损耗大

所以通常 sync_master_info 使用默认值 10000, io thread 的位置无法保证持久化,也就没法保证正确。MySQL 有另一个参数 relay_log_recovery 提供一种机制来保证 mysqld crash 后 io thread 位置的准确性,稍后进行介绍。

master_auto_position

master_auto_position 的作用是根据从库的 Executed_Gtid_Set 自动寻找主库上对应 binlog 位置,这是在 GTID 出现后的一个功能。

这里思考一个问题:开启 master_auto_position 后,slave io thread 能直接根据从库的 Executed_Gtid_Set 定位主库上 binlog 的位置吗?还需要 slave_relay_log_info、slave_master_info 表中记录的位点信息吗?

其实 slave_relay_log_info、slave_master_info 表依然发挥作用:

当第一次或者 reset slave 后,执行 start slave,io thread 将从库的 Executed_Gtid_Set 发往主库,获取到对应的 File、Position,之后更新到从库的 slave_relay_log_info、slave_master_info 表中

当 slave_relay_log_info、slave_master_info 表中存在位置信息后,此后无论是重启复制还是重启 mysqld,都是直接从这两个地方获取 File、Position,并从这里开始读取 binlog 和回放 relay log

注意:执行 "reset slave" 会删除从库上的 relay log,并且重置 slave_relay_log_info 表,即重置复制位置。如果 master_auto_position=0,下次启动复制时会从新开始获取并回放主库的 binlog,造成错误。

relay_log_recovery

当启用 relay_log_recovery,mysqld 启动时,recovery 过程会生成一个新的 relay log,并初始化 slave sql thread 的位置,表现为:

slave_relay_log_info 表的 Relay_Log_Name 值更新为最新的日志名, Relay_Log_Pos 值更新为一个固定值 4(应该是头部固定信息占 4个偏移量)

内存状态即 show slave status 输出中的 Relay_Log_File、Relay_Log_Pos,也更新成上面一样的

并且 slave io thread 的位置也会初始化,表现为:

slave_master_info 表中的 Master_log_name、Master_log_pos 不会改变

内存状态即 show slave status 输出中的 Master_Log_File、Read_Master_Log_Pos,会更新为 slave_relay_log_info 表中 Master_Log_Name、Master_Log_Pos

io thread 这个位置的初始化思路就是:既然以前记录的位置不确定是否准确,那就直接不要了。sql thread 回放到哪,我就从哪开始重新拿主库的 binlog,这样准没错。一个事务在 relay log 中的 position 对应到主库 binlog 的 position 是这样来确定的:

slave_relay_log_info 表中的 Relay_log_name 与 Master_log_name,Relay_Log_Pos 与 Master_Log_Pos 始终一一对应,代表同一个事务的位置。

所以,即使 sync_master_info 表的持久化无法保证,relay_log_recovery 也会将 io thread 重置到已经回放的那个位置。

relay_log_recovery 的另一个作用是防止 relay log 的损坏,因为默认 relay log 是不保证持久化的(也不推荐设置 sync_relay_log=1),当操作系统或者 mysqld crash 后,sql thread 可能会因为 relay log 的损坏、丢失导致错误。

一些结论

当开启 GTID 和 master_auto_position,并设置 relay_log_recovery=1,即使 relay_log_info_repository 设置为 file,操作系统或者 mysqld crash 后,mysqld 下次重启启动复制都能保证数据与主库一致。即使 slave_relay_log_info 表中记录的位置不是最新的,sql thread 可能会重复回放一部分事务,但是从库已经存在这些事务的 GTID,这部分重复的事务会被跳过。

当未开启 GTID 和 master_auto_position,必须要设置 relay_log_info_repository=table、relay_log_recovery=1,操作系统或者 mysqld crash 后,mysqld 下次重启启动复制才能保证数据与主库一致。

mysql relay log.info_技术分享 | slave_relay_log_info 表认知的一些展开相关推荐

  1. mysql relay log.info_slave_relay_log_info

    该表提供查询SQL线程重放的二进制文件对应的主库位置和relay log当前最新的位置 表结构定义 CREATE TABLE `slave_relay_log_info` ( `Number_of_l ...

  2. mysql relay log 配置_mysql relay log参数汇总

    前言:MySQL进行主主复制或主从复制的时候会在配置文件制定的目录下面产生相应的relay log,本文档总结这些相关参数的定义及解释. 1.什么是relay log The relay log, l ...

  3. MySQL relay log 详细参数解释

    前言:MySQL进行主主复制或主从复制的时候会在home目录下面产生相应的relay log,本文档总结这些相关参数的定义及解释. 1.什么是relay log The relay log, like ...

  4. mysql timestamp 当前_技术分享 | MySQL 复制那点事 - Seconds_behind_Master 参数调查笔记

    作者:戴骏贤 网易游戏 技术部资深数据库系统工程师. 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源. 文章阅读时间约 15 分钟,文中著名参考文献在 ...

  5. mysql relay log是什么意思_master log 与relay log的关系

    --master log 与relay log的关系 -------------------------------2014/06/09 Just to clarify, there are thre ...

  6. mysql relay log是什么意思_MySQL--binlog和relay log的生成和删除

    ##================================================================================================== ...

  7. 分布式从mysql查数据_技术分享 | 从库数据的查找和参数 slave_rows_search_algorithms...

    作者:高鹏 文章末尾有他著作的<深入理解MySQL主从原理 32讲>,深入透彻理解MySQL主从,GTID相关技术知识. 本文节选自<深入理解MySQL主从原理>第24节 注意 ...

  8. mysql relay log时间_如何得到Slave应用relay-log的时间

    官方社区版MySQL 5.7.19 基于Row+Position搭建的一主一从异步复制结构:Master->{Slave} ROLE HOSTNAME BASEDIR DATADIR IP PO ...

  9. 技术分享 | 误删表以及表中数据,该如何恢复?

    作者:杨小云 爱可生数据库工程师,负责 MySQL 日常维护及 DMP 产品支持.擅长mysql故障处理. 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明 ...

  10. MySQL趋势与前景技术分享

    分享内容 首先是自我介绍,MySQL趋势介绍,MYSQL在中国应用情况,以及相关就业情景分析,最后介绍MySQL在企业互联网中的高可用架构 首先是自我介绍,MySQL趋势介绍,MYSQL在中国应用情况 ...

最新文章

  1. Fatal Error: Out of memory php内存溢出处理三种方法
  2. pytorch ctcloss 参数详解
  3. tomcat-connector-address遇到的问题
  4. 反思代码能力提升方法:重构 多写 知识面
  5. 分析 C# 2.0 新特性 -- 范型(Generics)
  6. 部品se分析_汽车储物箱部品模具,二色产品模具专业厂
  7. 集合框架(一) ----------Map集合遍历的方法
  8. Java技术知识点的一些总结
  9. [转载] numpy.exp,numpy.sqrt,np.power等函数的详细理解
  10. android退出一个含有listview的activity时报java.lang.IllegalA
  11. Linux 服务器之间文件传输
  12. Oracle-并行多线程和视图view的应用
  13. c语言编程 等边三角形图形,c语言问题 打印图形,菜单包括:直角三角形、等腰三角形,输入图形...,c语言编程 打印图形,菜单包括:矩形,平行四边形,输入图形的...
  14. 推荐几款常用在线代码转换工具
  15. Windows 之 IP地址
  16. GLFWError #65542 Happen, WGL: The driver does not appear to support OpenGL 问题解决
  17. linux中为什么要分区,为什么要分区
  18. 请问dede怎么样把会员信息调用到首页,调用会员头像和名字
  19. threejs LOD
  20. AutoRunner 功能自动化测试项目实训之crm客户管理系统试用安装包下载(二十)

热门文章

  1. 长春市职称计算机考试成绩查询,长春市助理工程师查询网站
  2. 什么是模型管理和模型运维?
  3. css中的@media用法总结
  4. html 页面没有鼠标,网页上鼠标箭头不见了 电脑上不显示鼠标箭头怎么办?
  5. Nodejs获取微信签名并使用JSSDK
  6. 如何计算平台的可用性?
  7. 开发3dMax插件的方法和应用
  8. web前端高级实战 - 实现京东淘宝商品详细放大镜效果
  9. 2022年Google I/O 大会即将举行,可领取 2022 年 I/O 大会参会开发者资料徽章。
  10. 《哪吒》刷爆全网:不认命,就是我选择的命!做自己命运的主宰!