MySQL5.5版本及以前的复制一般主从复制有三个线程且都是单线程:Binlog Dump(主)—> IO Thread(从)—> SQL Thread(从)。

  1. master节点的Binlog dump Thread,当slave节点与master正常连接的时候,master把更新的binlog内容推送到slave节点。

  2. slave节点的I/O Thread ,该线程通过读取master节点binlog日志名称以及偏移量信息将其拷贝到本地relay log日志文件。

  3. slave节点的SQL Thread,该线程读取relay log日志信息,将在master节点上提交的事务在本地回放,达到与主库数据保持一致的目的。

一般复制出现延迟主要在两个方面:

  1. SQL线程忙不过来(可能大事物操作数据量较大;可能和从库本身的一些操作有关,有锁和资源的冲突;主库可以并发写,SQL线程不可以;主要原因)

  2. 网络抖动导致IO线程复制延迟(次要原因)。

MySQL5.6的改进

MySQL 5.6版本引入并发复制(schema级别),基于schema级别的并发复制核心思想:“不同schema下的表并发提交时的数据不会相互影响,即slave节点可以用对relay log中不同的schema各分配一个类似SQL功能的线程,来重放relay log中主库已经提交的事务,保持数据与主库一致”。可见MySQL5.6版本的并发复制,一个schema分配一个类似SQL线程的功能。

在上图的红色框框部分就是实现并行复制的关键所在。在MySQL 5.6版本之前,Slave服务器上有两个线程I/O线程和SQL线程。I/O线程负责接收二进制日志(更准确的说是二进制日志的event),SQL线程进行回放二进制日志。如果在MySQL 5.6版本开启并行复制功能(slave_parallel_workers > 0),那么SQL线程就变为了coordinator线程,coordinator线程主要负责以下两部分内容:

  • 若判断可以并行执行,那么选择worker线程执行事务的二进制日志。

  • 若判断不可以并行执行,如该操作是DDL,亦或者是事务跨schema操作,则等待所有的worker线程执行完成之后,再执行当前的日志。

这意味着coordinator线程并不是仅将日志发送给worker线程,自己也可以回放日志,但是所有可以并行的操作交付由worker线程完成。

上述机制实现的基于schema的并行复制存在的问题是这样设计的并行复制效果并不高,如果用户实例仅有一个库,那么就无法实现并行回放,甚至性能会比原来的单线程更差,而单库多表是比多库多表更为常见的一种情形。

MySQL5.7的MTS(Enhanced Muti-threadedslaves)

MySQL 5.7引入了新的机制来实现并行复制,不再有基于库的并行复制限制,主要思想就是slave服务器的回放与主机是一致的,即master服务器上是怎么并行执行,slave上就怎样进行并行回放。为了兼容MySQL 5.6基于库的并行复制,5.7引入了新的变量slave-parallel-type,其可以配置的值有:

  • DATABASE:默认值,基于库的并行复制方式(兼容MySQL5.6)
  • LOGICAL_CLOCK:基于组提交的并行复制方式

当slave配置slave_parallel_workers(=8)>0并且global.slave_parallel_type='LOGICAL_CLOCK' 时,可支持一个schema下,slave_parallel_workers个的worker线程并发执行relay log中主库提交的事务。但是要实现以上功能,需要在master机器标记binary log中提交的事务哪些事物是可以并发执行,MySQL5.7将组提交的信息存放在GTID中。那么如果用户没有开启GTID功能,即将参数gtid_mode设置为OFF呢?故MySQL 5.7又引入了称之为Anonymous_Gtid的二进制日志event类型,如:在MySQL 5.7的master机器上,用命令 mysqlbinlog mysql-bin.0000006| grep last_committed 可以看到last_committed和sequence_number,last_committed和sequence_number代表的就是LOGICAL_CLOCK。

server id 15102  end_log_pos14623 CRC32  0x767a33fa GTID      last_committed=18         sequence_number=26server id 15102  end_log_pos15199  CRC32 0x7dd1bf05 GTID     last_committed=26         sequence_number=27server id 15102  end_log_pos15773  CRC32 0xb01dc76e GTID     last_committed=26         sequence_number=28server id 15102  end_log_pos16347  CRC32 0x7a8e0ee8 GTID     last_committed=26         sequence_number=29server id 15102  end_log_pos16921  CRC32 0x92516d17 GTID     last_committed=26         sequence_number=30server id 15102  end_log_pos17495  CRC32 0xeb14a51e GTID     last_committed=26         sequence_number=31server id 15102  end_log_pos18071  CRC32 0x750667d0 GTID     last_committed=26         sequence_number=32server id 15102  end_log_pos18645  CRC32 0xcaed6159 GTID     last_committed=26         sequence_number=33server id 15102  end_log_pos19219  CRC32 0x62408408 GTID     last_committed=26         sequence_number=34server id 15102  end_log_pos19793  CRC32 0x5cf46239 GTID     last_committed=33         sequence_number=35

在slave机器的relay log中 last_committed相同的事务(sequence_num不同)可以并发执行。一个组提交的事务(group commit)都是可以并行回放,因为这些事务都已进入到事务的prepare阶段,说明事务之间没有任何冲突(否则就不可能提交)。从上面截取的信息可以看出last_committed=26的事务一共有8个:从sequence_number=27-34,假设当slave_parallel_workers=8时,Coordinator线程分配这一组事务到worker中排队去执行。增加master库binary log group commit组中事务的数量可以提高slave机器并发处理事务的数量,MySQL5.7引入 binlog_group_commit_sync_delay和binlog_group_commit_sync_no_delay_count参数来提高binary log组提交并发数量。MySQL等待binlog_group_commit_sync_delay毫秒的时间直到binlog_group_commit_sync_no_delay_count个事务数时,将进行一次组提交。MTS配置slave-parallel-type=LOGICAL_CLOCK slave-parallel-workers=16 master_info_repository=TABLE (开启MTS功能后,会频繁更新master.info,设置为TABLE减小开销) relay_log_info_repository=TABLE (开启MTS功能,要求必须置为TABLE) relay_log_recovery=ON (slave IO线程crash,如果relay-log损坏,则自动放弃所有未执行的relay-log,重新从master上获取日志,保证relay-log的完整性)slave_preserve_commit_order=1 (保证提交的顺序性)

hexeditor 复制二进制值_MySQL并发复制演进相关推荐

  1. hexeditor 复制二进制值_MySQL复制全解析 Part 6 MySQL GTID 生命周期

    实验环境 此次实验的环境如下 MySQL 5.7.25 Redhat 6.10 操作系统账号:mysql 数据库复制账号:repl 复制格式:基于行的复制 通过前面的介绍我们知道MySQL的复制有两种 ...

  2. mysql 加快复制进程_MySQL并发复制进程演进

    MySQL5.5及以前的复制 一般主从复制有三个线程且都是单线程: Binlog Dump(主) --> IO Thread(从) -->  SQL Thread(从). 1.master ...

  3. mysql 复制 二进制文件命令_Mysql中复制详细解析

    原标题:Mysql中复制详细解析 1.mysql复制概念 指将主数据库的DDL和DML操作通过二进制日志传到复制服务器上,然后在复制服务器上将这些日志文件重新执行,从而使复制服务器和主服务器的数据保持 ...

  4. MySQL主主复制 外键_MySQL 组复制介绍

    一.组复制是个什么鬼? 先从 MySQL 的复制技术谈起,首先是 MySQL 的异步复制 异步复制模式下,Master上执行事务产生 binlog,slave 通过连接 master 抓取 binlo ...

  5. mysql和mariadb对比_MySQL并发复制系列三:MySQL和MariaDB实现对比

    MariaDB 10通过@@binlog_commit_wait_count and @@binlog_commit_wait_usec 两个参数设置,既事务commit阶段的时候至少等binlog_ ...

  6. C++ 复制vector值到array,复制 array 到jintArray

    // [feature 1 ] copy vector value to array vector<int> vec ; for (int i = 0 ;i<10;++i) {   ...

  7. mysql数据库复制基本原理_MySQL的复制原理以及流程

    原创文章出自公众号:「码农富哥」,如需转载请注明出处! 文章如果对你有收获,可以收藏转发,这会给我一个大大鼓励哟!另外可以关注我公众号「码农富哥」 (搜索id:coder2025),我会持续输出Pyt ...

  8. mysql二进制日志格式对复制的影响

    根据参与复制的主数据库所使用的二进制日志格式的不同,复制可以分为基于SQL语句的复制,和基于行的复制,那么基于SQL语句的复制呢,就是指的是主数据库服务器的二进制日志的格式,使用statement这种 ...

  9. mysql无损复制_MySQL无损复制(转)

    MySQL5.7新特性:lossless replication 无损复制 MySQL的三种复制方式 asynchronous 异步复制 fully synchronous 全同步复制 Semisyn ...

最新文章

  1. 大系统化小之后,微信如何解决大规模微服务下的难题?
  2. Java 泛型背后的原理是什么?
  3. iptables禁止端口和开放端口
  4. 动态规划 —— 背包问题 P08 —— 泛化物品背包
  5. transform中的token理解(单词或词语的标记)
  6. mysql中datediff跨年的用法_Mysql 函数使用记录(一)——DATEDIFF、CONCAT
  7. golang 文件md5_golang 计算大文件md5
  8. linux 锐捷客户端登录密码,Linux使用经验_使用锐捷客户端登录校园网
  9. Unity自定义UI组件(九) 颜色拾取器(下)
  10. 坯子库无法一键安装插件没用_坯子插件库_SketchUp坯子库(su插件管理器)下载 v2018.3官方版 - 121下载站...
  11. Axure|【民宿】民宿APP原型
  12. java 等值线,java 克里金插值+等值线划分示例
  13. 当心Excel中的嵌套IF公式
  14. 新能源汽车,不需要“共享充电宝”
  15. APP界面设计规范:如何定义视觉规范
  16. Roll A Ball
  17. 记一次 Kubernetes 集群 Pod Eviction 问题排查过程
  18. python实现简单的ps色阶调整过程
  19. Linux:shell 脚本 自动解压压缩文件tar.gz到指定目录
  20. 盘点|2018半导体产业城市“风云榜”

热门文章

  1. Linux之iptables(六、rich规则)
  2. 1.5 基础数据类型 -- 字典与集合
  3. 用原生 JS 实现双向绑定及应用实例
  4. Java算法之两数之加
  5. empinfo Oracle数据库,Oracle:其他数据库对象
  6. 使用charles修改服务器返回数据,charles_01_打断点修改接口请求返回数据
  7. github page hexo博客gitee_GitHub+hexo快速搭建个人博客
  8. 一文掌握Python集合的语法与应用
  9. Python+django网页设计入门(10):分页显示
  10. PHP三年15K,程序员月薪15K相亲三年才成功,被拒理由:这个薪资提鞋都嫌弃