主从复制环境中,可能有种种原因导致主、从库数据不一致的情况,主从一致性也一直是DBA需要关注的问题,校验MySQL的主从一致性一般有多种工具,诸如MySQL自带的checksum、mysqldiff、pt-table-checksum等,每种工具各有优缺,本文就pt-table-checksum工具进行介绍和记录实验环节。

下载二进制版本的percona-toolkit工具箱

https://www.percona.com/downloads/percona-toolkit

本文用的是2.2.18版本

[root@HE3 ~]# tar xvf percona-toolkit-2.2.18.tar.gz

[root@HE3 ~]# cd percona-toolkit-2.2.18

[root@HE3 percona-toolkit-2.2.18]# perl Makefile.PL

[root@HE3 percona-toolkit-2.2.18]# make && make install

主库创建checksums用户用于校验主从是否一致

mysql>GRANT SELECT, PROCESS, SUPER, REPLICATION SLAVE ON *.* TO 'checksums'@'%' IDENTIFIED BY 'MANAGER';

开始执行校验,在校验结束后,会在test库下创建表名为checksums的表用于存储主从一致性信息

[root@HE3 ~]#/usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d www --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format

从库可以执行本条SQL来查看哪些表有主从不一致的情况,此时主从是一致的所以没有结果

mysql> SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE ( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;
Empty set (0.03 sec)

我们先删除www库下的某张表的某一行

[SQL]delete from decorate_order where id=10;
受影响的行: 1
时间: 0.003s

再次运行同步校验

[root@HE3 ~]#/usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d www --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format

可以发现在从库上执行本条SQL可以看到主从不一致的表名

mysql> SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;
+-----+----------------+------------+--------+
| db  | tbl            | total_rows | chunks |
+-----+----------------+------------+--------+
| www |
decorate_order |      25356 |      1 |
+-----+----------------+------------+--------+
1 row in set (0.00sec)

同理我们删掉erp库下的某张表的某一行

[SQL]delete from erp_mard id=104;
受影响的行: 1
时间: 0.002s

再次运行同步校验

[root@HE3 ~]#/usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d www --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format

可以发现刚刚删除的erp_mard表已经进入到了我们的主从不一致记录表里

mysql> SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE ( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;
+-----+----------------+------------+--------+
| db  | tbl            | total_rows | chunks |
+-----+----------------+------------+--------+
| erp |
erp_mard       |      11183 |      1 |
| www |
decorate_order |      25356 |      1 |
+-----+----------------+------------+--------+
2 rows in set (0.02sec)

我们在主库执行pt-table-sync命令来进行重新同步(请做好备份,重要的话说三遍,备份备份备份)

我们先利用print命令,打印出修改的语句但不执行,这里本人推荐用print命令,筛选出需要在不同从库执行的语句,最好不要直接excute执行
[root@HE3 ~]#/usr/local/bin/pt-table-sync --print --replicate  test.checksums  h='192.168.1.250',u='sys_admin',p='MANAGER'本条命令会对主库下所有的从库进行同步
[root@HE3 ~]#/usr/local/bin/pt-table-sync --execute --replicate  test.checksums  h='192.168.1.250',u='sys_admin',p='MANAGER'

同步完后重新验证

[root@HE3 ~]#/usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d www --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format
[root@HE3 ~]# /usr/local/bin/pt-table-checksum h='192.168.1.250',u='checksums',p='MANAGER',P=3306 -d erp --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format

可以发现checksums表已经没有不同步的表了

mysql> SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE ( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;
Empty set (0.03 sec)

至此主从校验、同步完成

pt-table-checksum,pt-table-sync这两个工具还有很多重要的特性和参数,这里仅做实验用,具体的生产还需要哪些参数,比如只同步某张表等以后会继续深入研究

MySQL主从同步校验与重新同步相关推荐

  1. Maatkit工具使用lt;一gt;之mysql主从数据校验工具

    mysql主从数据校验工具       mysql在5.1之前,其replication都是采用的STATEMENT模式,对表的数据是否一致要求并不严格,所以对数据一致性要求比较严格的应用,定期检查数 ...

  2. mysql 主从单库单表同步 binlog-do-db replicate-do-db

    方案一:两边做主从. SELECT SUM(DATA_LENGTH)+SUM(INDEX_LENGTH) FROM information_schema.tables WHERE TABLE_SCHE ...

  3. mysql主从中异步和半同步的区别

    MySQL主从复制,默认是异步复制.异步复制,即master执行完事物并提交后,二进制日志记录完这些更新操作后,就又开始下一批事物.并不关心这些更新是否被复制到从上. 而半同步复制则相反,它需要等待至 ...

  4. 阿里云 mysql主从_阿里云MySQL主从_Mater Slave_主备同步_MySQL主从_MySQL延迟-云栖社区-阿里云...

    1.背景 为了提高系统的可用性和数据保护,MySQL通常采用master-slave的部署结构,简单高效,master和slave之间使用binlog来复制数据. binlog支持statement和 ...

  5. mysql主从shardingsphere分库分表

    问题: 1. 公司的mysql主从复制方式怎么查看--这个命令在哪敲 2.公司扩容一个从的时候怎么做的?-- 3.公司主从架构模式是什么样的?几主几从 4.公司的业务场景有木有要求写后立马查出数据的 ...

  6. MYSQL主从同步的作用

    一.半同步复制原理介绍 1. 优点 当事务返回客户端成功后,则日志一定在至少两台主机上存在. MySQL在加载并开启Semi-sync插件后,每一个事务需等待备库接收日志后才返回给客户端.如果做的是小 ...

  7. 基于 Gtid 的 MySQL 主从同步实践

    点击下方公众号「关注」和「星标」 回复"1024"获取独家整理的学习资料! 前几天,有读者在后台留言问我可有基于Gtid的Mysql主从同步的文章,我记得历史文章应该有提及过,也有 ...

  8. MySQL 主从同步percona-toolkit工具(数据一致性监测、延迟监控)使用梳理

    在mysql工作中接触最多的就是mysql replication,mysql在复制方面还是会有一些常规问题,比如主库宕机或者从库宕机有可能会导致复制中断,通常需要进行人为修复,或者很多时候需要把一个 ...

  9. mysql主从同步(3)-percona-toolkit工具(数据一致性监测、延迟监控)使用梳理

    在mysql工作中接触最多的就是mysql replication,mysql在复制方面还是会有一些常规问题,比如主库宕机或者从库宕机有可能会导致复制中断,通常需要进行人为修复,或者很多时候需要把一个 ...

最新文章

  1. vue页面绘图_利用vue制作在线涂鸦板
  2. 今日 Paper | 虚拟试穿网络;人群计数基准;联邦元学习;目标检测等
  3. sprint周期总结
  4. BZOJ 4553: [Tjoi2016Heoi2016]序列
  5. java如何恢复视图_Java - 如何用reformation+Moshi创建回收站视图_java_酷徒编程知识库...
  6. 华为交换机重制_华为交换机重置命令
  7. 运动目标跟踪(十)--CSK跟踪
  8. 智能直播审核方案:视频云智能业务截帧策略
  9. 2022深圳杯/东三省数学建模ABCD题 赛题分析解题方案
  10. win10无线网卡黄色感叹号
  11. 如何快速移除pdf密码?用这个工具就够了
  12. 认知:设计模式之观察者模式
  13. python里冒号什么意思_在Python中冒号等于(:=)是什么意思?
  14. unbuntu 安装vscode
  15. Xamarin iOS 切换开发者账号之后的签名标识和预配配置文件更新方法
  16. 诸葛智能荣登《2022中国企业数智化转型升级创新服务企业》榜单!
  17. 手机3D的新境界:Omnia II 是3D方面的力作!!
  18. 文旅部、国家发改委等十部门:推广旅游电子合同使用
  19. STM32 GPS悬停飞控 (三十五)树莓派 4g视频回传
  20. 【健身】程序员也应该知道的胸背体态矫正锻炼技巧(上)

热门文章

  1. Android---自定义Toast
  2. NOIP2008 普及组T1 ISBN号码 解题报告-S.B.S.
  3. AOJ 558 Cheese(bfs)
  4. 设置代码ios中根据文本设置label高度设置代码
  5. 教授称学习习惯的常识都是错误的
  6. AlertBox 弹出层(信息提示框)效果
  7. 无埋点实现监测的真相——革新还是噱头?
  8. 机器学习入门---------numpy
  9. extend 与 append 的区别
  10. WEBBASE篇: 第五篇, CSS知识3