MySQL 数据对比

MySQL数据对比是常见的日常任务，使用pt-checksum 只能对比主从复制的数据，并且效率和使用上也不太方便。因此写了一个对比的工具，经过测试对比50张500万的表，能在30s内完成。
要求，mysql 表必须有自增主键，对比期间不会加锁。对于不是非常非常高并发的主从复制，也可以进行数据的对比。可以非常方便的加入到日常的定时任务中。建议使用单独的机器运行对比，并把结果保存在单独的数据库实例中。
链接：https://github.com/baixiaoyu/dbascripts/tree/main/compare-data-v2

使用：在db.conf.json中指定需要对比的数据库信息，给个只读账号，账号能设置session变量权限。以及保存结果的数据库信息即可。

设置简单，速度高效。

MySQL 数据对比相关推荐

mysql数据对比同步_跨数据库mysql语句同步数据和对比运算
首先,A数据库[需要同步的数据库]A_product数据表[产品基本信息]product_id产品唯一IDprice产品价格A_product_option_value数据表[产品选项]product ...
mysql数据对比_MySQL —— 如何快速对比数据？
我们在MySql中想要对比下两个不同的实例上的数据并且找出差异,除了主键之外我们还要对比每一个字段,应该怎么做呢? 方案一:写一个程序将两个实例里面的每一行数据都分别取出来对比,但是耗时我们无法估计, ...
两个mysql表对比_mysql实用技巧之比较两个表是否有不同数据的方法分析
本文实例讲述了mysql比较两个表是否有不同数据的方法.分享给大家供大家参考,具体如下: 在数据迁移中,我们经常需要比较两个表,以便在一个表中标识另一个表中没有相应记录的记录. 例如,我们有一个新的数 ...
使用mysql实现数据对比,筛选
将数据导入数据库: 一需对比数据导入数据库 1 无结构数据 1.1字段间按逗号分隔处理到txt文件中 1.2链接数据库将数据导入数据库 mysql -hip地址 -P端口号 -u用户名 -p密码 l ...
MySQL中对比两张表是否有不同数据
1.使用union all关联两张表,完事使用临时表或者说派生表的方式来进行数据对比. SELECT t1.pk, t1.c1 FROM t1 UNION ALL SELECT t2.pk, t2.c ...
binlog流程 mysql_小米 MySQL 数据实时同步到大数据数仓的架构与实践
背景MySQL由于自身简单.高效.可靠的特点,成为小米内部使用最广泛的数据库,但是当数据量达到千万/亿级别的时候,MySQL的相关操作会变的非常迟缓:如果这时还有实时BI展示的需求,对于mysql来说 ...
mongodb，redis，mysql简要对比
mongodb,redis,mysql 简要对比本篇内容大部分不是原创,转载的会贴有链接. 准备学习下数据库,想对目前的主流数据库做一个简单的了解分析,就搜集了资料整理到了一块. 当下主流的要数No ...
mongodb与mysql命令对比（前人笔记+自己添加）
mongodb与mysql命令对比传统的关系数据库一般由数据库(database).表(table).记录(record)三个层次概念组成,MongoDB是由数据库(database).集合(col ...
mongodb与mysql命令对比
mongodb与mysql命令对比 (在前辈的基础上,做了一些整理及修改,同时也添加了一些内容) 传统的关系数据库一般由数据库(database).表(table).记录(record)三个层次概念组 ...
小米 MySQL 数据实时同步到大数据数仓的架构与实践
背景 MySQL由于自身简单.高效.可靠的特点,成为小米内部使用最广泛的数据库,但是当数据量达到千万/亿级别的时候,MySQL的相关操作会变的非常迟缓:如果这时还有实时BI展示的需求,对于mysql来 ...

MySQL 数据对比

MySQL 数据对比相关推荐

最新文章

热门文章