mysql mts_技术分享 | 回顾 MySQL 的 MTS
作者:洪斌
爱可生南区负责人兼技术服务总监,MySQL ACE,擅长数据库架构规划、故障诊断、性能优化分析,实践经验丰富,帮助各行业客户解决 MySQL 技术问题,为金融、运营商、互联网等行业客户提供 MySQL 整体解决方案。
本文来源:转载自公众号-玩转MySQL
*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。
MySQL 并行回放在一路改进,从 5.6 的 schema 并行,到 5.7 的 group commit,再到 8.0 的 write set。
MTS based on schema
这种方式不用多说,涉及不同 schema 的 DML 操作,在 slave 端可以按 schema 粒度并行回放,弱点也很明显,如果实例中的 schema 较少,并行回放效果并不理想。
其优化方式也比较简单 slave_parallel_workers 小于等于 master 的 schema 数量。
LOGICAL_CLOCK
MySQL 5.7 增加了基于 group commit 的并行回放策略,使得 slave 可以接近 master 同样并发回放事务,master 并发越高,slave 并行回放效果越明显。
在 binlog 中每个事务会有多出两个标签
sequence_number:随每个事务递增的自增 ID,每次新的 binlog 会从 1 开始
last_committed:当前事务所依赖的上次事务的 sequence_number,每次新的 binlog 会从 0 开始
last_committed 相同值的事务代表同时提交的,可以并行回放。
#180105 20:08:33 ... last_committed=7201 sequence_number=7203
#180105 20:08:33 ... last_committed=7203 sequence_number=7204
#180105 20:08:33 ... last_committed=7203 sequence_number=7205
#180105 20:08:33 ... last_committed=7203 sequence_number=7206
#180105 20:08:33 ... last_committed=7205 sequence_number=7207
1. 7203 事务依赖 7201
2. 7204、7205、7206 事务依赖 7203,可以并行提交
3. 7207 事务依赖 7205,由于 7205 依赖 7203,那么在 7205 执行完后,7207 可以和 7206 并行执行
优化方式通过调整 master group commit size 和 slave 的并行 work 线程数,提升并行效率。
master group commit size 和并发压力,以及下面两个参数相关
binlog_group_commit_sync_delay 表示 binlog 提交事务前等待多少微秒
binlog_group_commit_sync_no_delay_count 表示同步队列最大允许的事务数,当等待提交的线程达到多少时, 就不在等待
在 master 低并发的负载下,并行回放效果就不好了,如果想要提高并行度,需要增加 binlog_group_commit_sync_delay,积累较多的分组大小,副作用是拉低 master 吞吐量。
Write set
MySQL 8.0.1 & 5.7.22 在 group commit 基础上进一步改善了并行复制效率,增加了新的跟踪事务依赖关系的机制。相对于基于事务 commit timestamp,即使 master 低并发场景下也能使 slave 根据事务依赖关系并行重放,充分利用硬件资源,不需要像 MySQL 5.7 增加 binlog_group_commit_sync_delay 延迟的方式,增加可并行的事务,降低复制延迟。
在 master 上满足以下条件:
1. binlog_format=row
2. 开启 transaction_write_set_extraction=XXHASH64
3. 更新表必须有主键,如果更新事务包含外键,则退回 commit_order 方式
4. binlog_transaction_dependency_tracking = [COMMIT_ORDER | WRITESET | WRITESET_SESSION]
slave 上开启 slave_parallel_workers
COMMIT_ORDER 基于 commit timestamp
不同会话在相同时间执行可以并行回放
WRITESET 变更不同行的操作都可以并行无主键 退回 commit_order 模式
hongbin@MBP ~/w/s/msb_8_0_3> mysqlbinlog data/MBP-bin.000013 |grep last_ |sed -e 's/server id.*last/[...] last/' -e 's/.rbr_only.*/ [...]/'
#180105 21:19:31 [...] last_committed=0 sequence_number=1 [...] create table t1 (id);
#180105 21:19:50 [...] last_committed=1 sequence_number=2 [...] insert t1 value(1);
#180105 21:19:52 [...] last_committed=2 sequence_number=3 [...] insert t1 value(2);
#180105 21:19:54 [...] last_committed=3 sequence_number=4 [...] insert t1 value(3);有主键 单个会话也可以并行
#180105 21:23:58 [...] last_committed=4 sequence_number=5 [...] create table t2 (id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, str VARCHAR(80) NOT NULL UNIQUE);
#180105 21:24:19 [...] last_committed=5 sequence_number=6 [...] session1: insert t2(str) value('a');
#180105 21:24:21 [...] last_committed=5 sequence_number=7 [...] session1: insert t2(str) value('b');
#180105 21:24:25 [...] last_committed=5 sequence_number=8 [...] session1: insert t2(str) value('c');
WRITESET_SESSION 相同会话不会被重新排序,不同会话可并行
在相同会话中执行
#180106 13:15:26 [...] last_committed=0 sequence_number=1 [...] session1:insert t2(str) value('h');
#180106 13:15:31 [...] last_committed=1 sequence_number=2 [...] session1:insert t2(str) value('l');
在不同会话中执行
#180106 13:17:08 [...] last_committed=1 sequence_number=3 [...] session1: insert t2(str) value('q');
#180106 13:17:09 [...] last_committed=1 sequence_number=4 [...] session2: insert t2(str) value('w');
如何观测并行回放
如何评估 slave_parallel_workers 设置多少合适?如果设置小了,任务会有积压,如果设置大了,多余的线程是空闲的。
计算机领域有这么个公式专门来研究系统资源分配公平性。
出自论文《A Quantitative Measure Of Fairness And Discrimination For Resource Allocation In Shared Computer Systems》引用数 4000+
这个公式称为 jain's index 计算一系统共享资源分配公平性的指数,指数值在 0
借用此公式是不是可以来计算回放线程任务分配的公平性,如果 slave_parallel_workers 设置过大,反应任务分配公平性较差。找到合适的 slave_parallel_workers。
这里需要启用 performance_schema 的 transaction 级的 instrument,搜集线程事务提交信息。
call sys.ps_setup_enable_consumer('events_transactions%');
call sys.ps_setup_enable_instrument('transaction');
将公式转换为 SQL 语句如下
select ROUND(POWER(SUM(trx_summary.COUNT_STAR), 2) /
(@@GLOBAL.slave_parallel_workers * SUM(POWER(trx_summary.COUNT_STAR, 2))), 2) AS replica_jain_index
from performance_schema.events_transactions_summary_by_thread_by_event_name as trx_summary join performance_schema.replication_applier_status_by_worker as applier
on trx_summary.THREAD_ID = applier.THREAD_ID
在 slave 上观测,如果该指数值越接近 0 说明当前 applier 线程越空闲率高,如果该指数值越接近 1 说明当前 applier 线程空闲率越低。动手试试吧!
参考:
mysql mts_技术分享 | 回顾 MySQL 的 MTS相关推荐
- mysql 5.7 mts_技术分享|回顾 MySQL 的 MTS-建站-站长头条
作者:洪斌 爱可生南区负责人兼技术服务总监,MySQL ACE,擅长数据库架构规划.故障诊断.性能优化分析,实践经验丰富,帮助各行业客户解决 MySQL 技术问题,为金融.运营商.互联网等行业客户提供 ...
- mysql group by_技术分享 | 回顾 MySQL 的 MTS
作者:洪斌 爱可生南区负责人兼技术服务总监,MySQL ACE,擅长数据库架构规划.故障诊断.性能优化分析,实践经验丰富,帮助各行业客户解决 MySQL 技术问题,为金融.运营商.互联网等行业客户提供 ...
- mysql数据库j电子课件,MYSQL数据库技术分享PPT演示课件
<MYSQL数据库技术分享PPT演示课件>由会员分享,可在线阅读,更多相关<MYSQL数据库技术分享PPT演示课件(29页珍藏版)>请在人人文库网上搜索. 1.数据库技术分享, ...
- java有趣的技术分享ppt_技术分享 | 关于 MySQL Online DDL 有趣的验证
作者:胡存存 爱可生 DBA 团队成员,主要负责 MySQL 故障处理和 SQL 审核优化.对技术执着,为客户负责. 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系 ...
- MySQL read-c_技术分享 | MySQL C API 参数 MYSQL_OPT_READ_TIMEOUT 的一些行为分析
作者:戴岳兵 MYSQL_OPT_READ_TIMEOUT 是 MySQL c api 客户端中用来设置读取超时时间的参数.在 MySQL 的官方文档中,该参数的描述是这样的: MYSQL_OPT_R ...
- mysql dbuild_config_技术分享 | MySQL Test 初探
什么是 MySQL Test? MySQL Test 是 MySQL 发行版本中集成 all-in-one 测试框架,用于做 mysql 服务的单元,回归和一致性测试,并提供了运行单元测试和创建新单元 ...
- sql alwayson群集 registerallprovidersip改为0_技术分享 | 从 MySQL 8.0 复制到 MySQL 5.7
作者:Vinicius Grippa 本文中,我们将讨论如何设置从 MySQL 8.0 到 MySQL 5.7 的复制.在某些情况下,使用此配置可能会有所帮助.例如,在 MySQL 升级的情况下,将使 ...
- mysql relay_技术分享 | MySQL:产生大量小 relay log 的故障一例
作者:高鹏 文章末尾有他著作的<深入理解 MySQL 主从原理 32 讲>,深入透彻理解 MySQL 主从,GTID 相关技术知识. 源码版本:5.7.22 水平有限,如有误请谅解 本文建 ...
- 【华为云技术分享】MySQL Seconds_Behind_Master简要分析
Seconds_Behind_Master 对于mysql主备实例,seconds_behind_master是衡量master与slave之间延时的一个重要参数.通过在slave上执行"s ...
最新文章
- Day 08 周六下午的活动
- 谷歌又放大招:视觉效果完胜其他SOTA的风格迁移网络,手机端可达实时4K
- 计算机护角,纸护角抗压测试仪
- build linux kernel
- css3修改透明png颜色
- 新空间,新文章,新气象,哈??
- 云计算实战系列七(管道及重定向)
- testng xml_TestNG XML
- SiamFC代码讲解,训练过程讲解
- 遇到电脑中病毒了怎么办
- c语言对fpga编程,利用C语言对FPGA计算解决方案进行编程方法介绍
- 7-46 新浪微博热门话题 (30 分)
- SQL Server2008函数大全
- Linux 升级glibc-2.18
- kali 触摸板手势之fusuma
- 手机号码批量导入通讯录php,怎么从电脑上的excel表格的手机号码导入通讯录到华为手机:...
- 注意力机制的详细理解
- 对象创建过程 流程解析图 详细之极
- 最新计算机技术a类学校,计算机科技领域的23所院校排名,4所A类院校录取分数线达到A+...
- 网络云存储技术Windows server 2012 (项目十三 NFS共享的配置与管理)
热门文章
- 网易实战分享|实时音视频会议场景下QoS策略
- “他们”最想要的圣诞礼物是你的...
- 《象与骑象人》总结一
- Centos6.x Desktop 關閉防護墻及無關服務
- .Net程序员安卓学习之路5:使用xutils注入View和事件以及图片的显示
- MapReduce:Simplified Data Processing on Large Clusters中文版from百度文库
- Spring中ApplicationContext加载机制和配置初始化
- 关注CIO:IT运维如何实现“向管理要效益”(转载)
- MySQL 的备份和恢复机制 MyISAM 和 Innodb
- 怎样建设WEB Cache