MySQL主从同步校验与重新同步
主从复制环境中,可能有种种原因导致主、从库数据不一致的情况,主从一致性也一直是DBA需要关注的问题,校验MySQL的主从一致性一般有多种工具,诸如MySQL自带的checksum、mysqldiff、pt-table-checksum等,每种工具各有优缺,本文就pt-table-checksum工具进行介绍和记录实验环节。
下载二进制版本的percona-toolkit工具箱
https://www.percona.com/downloads/percona-toolkit
本文用的是2.2.18版本
[root@HE3 ~]# tar xvf percona-toolkit-2.2.18.tar.gz
[root@HE3 ~]# cd percona-toolkit-2.2.18
[root@HE3 percona-toolkit-2.2.18]# perl Makefile.PL
[root@HE3 percona-toolkit-2.2.18]# make && make install
主库创建checksums用户用于校验主从是否一致
mysql>GRANT SELECT, PROCESS, SUPER, REPLICATION SLAVE ON *.* TO 'checksums'@'%' IDENTIFIED BY 'MANAGER';
开始执行校验,在校验结束后,会在test库下创建表名为checksums的表用于存储主从一致性信息
[root@HE3 ~]#/usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d www --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format
从库可以执行本条SQL来查看哪些表有主从不一致的情况,此时主从是一致的所以没有结果
mysql> SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE ( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;
Empty set (0.03 sec)
我们先删除www库下的某张表的某一行
[SQL]delete from decorate_order where id=10;
受影响的行: 1
时间: 0.003s
再次运行同步校验
[root@HE3 ~]#/usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d www --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format
可以发现在从库上执行本条SQL可以看到主从不一致的表名
mysql> SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;
+-----+----------------+------------+--------+
| db | tbl | total_rows | chunks |
+-----+----------------+------------+--------+
| www |
decorate_order | 25356 | 1 |
+-----+----------------+------------+--------+
1 row in set (0.00sec)
同理我们删掉erp库下的某张表的某一行
[SQL]delete from erp_mard id=104;
受影响的行: 1
时间: 0.002s
再次运行同步校验
[root@HE3 ~]#/usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d www --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format
可以发现刚刚删除的erp_mard表已经进入到了我们的主从不一致记录表里
mysql> SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE ( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;
+-----+----------------+------------+--------+
| db | tbl | total_rows | chunks |
+-----+----------------+------------+--------+
| erp |
erp_mard | 11183 | 1 |
| www |
decorate_order | 25356 | 1 |
+-----+----------------+------------+--------+
2 rows in set (0.02sec)
我们在主库执行pt-table-sync命令来进行重新同步(请做好备份,重要的话说三遍,备份备份备份)
我们先利用print命令,打印出修改的语句但不执行,这里本人推荐用print命令,筛选出需要在不同从库执行的语句,最好不要直接excute执行 [root@HE3 ~]#/usr/local/bin/pt-table-sync --print --replicate test.checksums h='192.168.1.250',u='sys_admin',p='MANAGER'本条命令会对主库下所有的从库进行同步 [root@HE3 ~]#/usr/local/bin/pt-table-sync --execute --replicate test.checksums h='192.168.1.250',u='sys_admin',p='MANAGER'
同步完后重新验证
[root@HE3 ~]#/usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d www --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format [root@HE3 ~]# /usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d erp --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format
可以发现checksums表已经没有不同步的表了
mysql> SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE ( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;
Empty set (0.03 sec)
至此主从校验、同步完成
pt-table-checksum,pt-table-sync这两个工具还有很多重要的特性和参数,这里仅做实验用,具体的生产还需要哪些参数,比如只同步某张表等以后会继续深入研究
MySQL主从同步校验与重新同步相关推荐
- Maatkit工具使用lt;一gt;之mysql主从数据校验工具
mysql主从数据校验工具 mysql在5.1之前,其replication都是采用的STATEMENT模式,对表的数据是否一致要求并不严格,所以对数据一致性要求比较严格的应用,定期检查数 ...
- mysql 主从单库单表同步 binlog-do-db replicate-do-db
方案一:两边做主从. SELECT SUM(DATA_LENGTH)+SUM(INDEX_LENGTH) FROM information_schema.tables WHERE TABLE_SCHE ...
- mysql主从中异步和半同步的区别
MySQL主从复制,默认是异步复制.异步复制,即master执行完事物并提交后,二进制日志记录完这些更新操作后,就又开始下一批事物.并不关心这些更新是否被复制到从上. 而半同步复制则相反,它需要等待至 ...
- 阿里云 mysql主从_阿里云MySQL主从_Mater Slave_主备同步_MySQL主从_MySQL延迟-云栖社区-阿里云...
1.背景 为了提高系统的可用性和数据保护,MySQL通常采用master-slave的部署结构,简单高效,master和slave之间使用binlog来复制数据. binlog支持statement和 ...
- mysql主从shardingsphere分库分表
问题: 1. 公司的mysql主从复制方式怎么查看--这个命令在哪敲 2.公司扩容一个从的时候怎么做的?-- 3.公司主从架构模式是什么样的?几主几从 4.公司的业务场景有木有要求写后立马查出数据的 ...
- MYSQL主从同步的作用
一.半同步复制原理介绍 1. 优点 当事务返回客户端成功后,则日志一定在至少两台主机上存在. MySQL在加载并开启Semi-sync插件后,每一个事务需等待备库接收日志后才返回给客户端.如果做的是小 ...
- 基于 Gtid 的 MySQL 主从同步实践
点击下方公众号「关注」和「星标」 回复"1024"获取独家整理的学习资料! 前几天,有读者在后台留言问我可有基于Gtid的Mysql主从同步的文章,我记得历史文章应该有提及过,也有 ...
- MySQL 主从同步percona-toolkit工具(数据一致性监测、延迟监控)使用梳理
在mysql工作中接触最多的就是mysql replication,mysql在复制方面还是会有一些常规问题,比如主库宕机或者从库宕机有可能会导致复制中断,通常需要进行人为修复,或者很多时候需要把一个 ...
- mysql主从同步(3)-percona-toolkit工具(数据一致性监测、延迟监控)使用梳理
在mysql工作中接触最多的就是mysql replication,mysql在复制方面还是会有一些常规问题,比如主库宕机或者从库宕机有可能会导致复制中断,通常需要进行人为修复,或者很多时候需要把一个 ...
最新文章
- vue页面绘图_利用vue制作在线涂鸦板
- 今日 Paper | 虚拟试穿网络;人群计数基准;联邦元学习;目标检测等
- sprint周期总结
- BZOJ 4553: [Tjoi2016Heoi2016]序列
- java如何恢复视图_Java - 如何用reformation+Moshi创建回收站视图_java_酷徒编程知识库...
- 华为交换机重制_华为交换机重置命令
- 运动目标跟踪(十)--CSK跟踪
- 智能直播审核方案:视频云智能业务截帧策略
- 2022深圳杯/东三省数学建模ABCD题 赛题分析解题方案
- win10无线网卡黄色感叹号
- 如何快速移除pdf密码?用这个工具就够了
- 认知:设计模式之观察者模式
- python里冒号什么意思_在Python中冒号等于(:=)是什么意思?
- unbuntu 安装vscode
- Xamarin iOS 切换开发者账号之后的签名标识和预配配置文件更新方法
- 诸葛智能荣登《2022中国企业数智化转型升级创新服务企业》榜单!
- 手机3D的新境界:Omnia II 是3D方面的力作!!
- 文旅部、国家发改委等十部门:推广旅游电子合同使用
- STM32 GPS悬停飞控 (三十五)树莓派 4g视频回传
- 【健身】程序员也应该知道的胸背体态矫正锻炼技巧(上)