对比数据的痛苦

不知道你是否也像我一样，在快乐编写代码的时候，必须进行一些数据库的数据对比工作。

诚然，一般的数据差异，比如是每一行的内容不同，市场上有比较成熟的 compare2 等对比工具。

但是如果是对比数据的每一列是否相同，这个就会变得比较麻烦。

对比v1.0 纯人工对比

我们在做一些数据迁移等功能时，经常需要对比数据是否正确，最常见的方法就是人工一列一列的对比。

一开始老马也是这么和同事对的，对了几天之后感觉效率实在是低，而且还容易看花眼。

于是我就是琢磨，这个东西用程序对比应该会简单很多。

v2.0 半人工对比

说干就干，我花半天时间实现了一个基于 jsqlparser 可以解析类似于 的工具类。

然后对比 2 边的数据，这下对于一张表上百个字段的对比，一些变得快了许多，准确率也高了很多。

不要问我为什么会有上百个字段，这都是历史沉淀下来的瑰宝。。。

ps: insert into 语句是否通过数据库连接工具手工导出的。

后来又发现另一个问题：表太多，如果想换一个数据对比，我手工导出一遍又要花费数十分钟的时间，关键是重复且枯燥。

枯燥

既然重复，那么可以使用程序实现吗？

v3.0 对比基本自动化

于是我下班后熬夜实现了这个版本：java 程序实现了数据的导出持久化，然后进行修改前后的差异对比。

下面我分享一下自己的思路，以及核心源码，文末有下载福利。

希望对你工作和学习提供帮助。

整体理念

我希望这个工具是 MVP 的理念，由简单到复杂，后期逐渐丰富特性。

要有可拓展性，目前支持 mysql/oracle/sql server 等主流数据库，用户可以定制化开发。

尽可能少的依赖，使用原生的 jdbc，不需要引入 mybatis 等框架。

核心依赖

下面列举一下我用到的核心依赖：

fastjson 用于数据持久化为 json

mysql-connector-java 数据库连接驱动

jsqlparser 辅助工具，解析 sql 使用，非必须

实现思路

根据指定的 jdbc 连接信息，自动选择对应的 jdbc 实现。

执行对应的 sql，将结果解析为 map，进行 JSON 持久化

对持久化的 json 进行差异对比，展现出差异结果

有了这个思路，一切就会变得朴实无华。

当然在此之前，需要我们把代码实现出来，下面进入写BUG环节：

写BUGjdbc 实现核心接口

考虑到后期不同数据库实现，我们统一定义一个查询接口

抽象实现

这里提供了基本的抽象实现。

子类只需要实现对应的连接获取信息即可。

JdbcVo 连接信息

这个对象主要是数据库连接信息对象：

mysql 实现

此处以 mysql 为例：

这里主要是对连接的初始化，连接不同的数据库，都需要引入对应的数据源。

行数据导出实现

下面是导出的核心实现：

接口定义

这里指定了需要执行的 sql。

context 中为了便于后期拓展，目前只有 JdbcMapper。

返回的就是 QueryResultVo，就是查询结果，定义如下：

默认实现

默认的导出实现如下：

其实实现非常简单，我们主要讲一下两点：

(1)表名称

mysql 经测试可以通过如下方式获取:

oracle 我在测试的时候，发现无法获取。所以是借助 sqlparser 解析我们的查询语句得到的。

暂时主要是支持查询，所以这里写的有些固定了，后续可以优化一下。

(2)列信息

每一个查询，可能都对应多条记录。

我们看一下每一条记录的构建：

这个经常写 jdbc 的小伙伴也一定不陌生。

你说现在都用 mybatis 了，谁还写 jdbc 啊，这么 low。

那么，你自己手写一个 mybatis，这些也是必会的。

差异对比

导出的使用

我们可以把一行数据导出，可以在修改前后分别导出。

如果是导出到不同的库，不同的表，那么就进行不同库表之间的导出。

导出结果之后，就需要进行对比了。

对比实现

接口定义

对于导出结果的处理，你可以根据自己的实际情况自行选择。

比如导出为 csv/json/insert 等，对比差异也可以按照自己的需求定制。

持久化

此处介绍一种比较简单实用的方式：json 持久化。

我们将行数据持久化到文件中，注意这里指定了 ；

这样可以让 null 字段也输出，更加方便对比。

文件差异对比实现

上面我们假设将文件输出到 2 个文件，下面指定文件路径就可以进行对比了：

这里将差异内容，直接 console 控台输出。

文件夹

当然，我们也可以对比两个文件夹下的内容。

实现如下：

引导类

便利性

上面我们把核心实现都搞定了，但是用户使用起来还是不够方便。因为配置等不够优雅。

所以我们引入引导类，帮助用户快速使用：

这里为用户提供了 mysql 最基本的配置，以及常用的查询处理方法。

测试

下面我们来看一下测试的效果：

直接查询

查询并处理

两次导出可以指定文件路径，比如分别是：

和

针对两次结果对比

差异结果就会被输出到控台。

结果

一切顺利，不过革命尚未成功，同学仍需加班呀~~~

不足之处

这是一个 v0.0.1 版本，还有很多不足。

比如:

导出为 csv

导出为 insert/update 语句

导出的文件名称自定义策略

可以指定多个 sql 是否生成在同一个文件中

导出路径根据操作系统，自动变更

更加便于使用，比如页面指定数据源+sql，页面显示对应差异结果。

不过也基本可用，符合我们最初的设想。

小结

不知道你平时又是如何对比数据的呢？

希望本文对你有帮助，如果有其他想法的话，也可以评论区和大家分享哦。

各位极客的点赞收藏转发，是老马持续写作的最大动力！