平时开发过程中可能会碰到令人头疼的历史数据同步问题，尤其是跨系统数据同步更加让人头疼。通常碰到这样的问题大家站稳、不要慌，可能只需写一个简单的同步脚本就可以解决。

实战场景

前段时间小北写过一个文章介绍怎样用队列解决内部应用打通的问题，如果有疑问可以先查看此文章：简单队列and分发队列。当时我们只是通过队列来实现系统间的账户实时同步注册。要想保证需求上线后所有的账号都能跨应用使用还要考虑历史注册的账户如何同步。下面我们通过写一个脚本来实现！

<?php namespace console\controllers\mysync;class MySyncAccountsClass{    /**     * 同步A应用用户账号到B应用     * 命令行输入：php yii /my-sync-accounts/sync-a-account-to-b     * @return string     */    public function actionSyncAAccountToB(){        echo PHP_EOL . '【开始执行】' . PHP_EOL;        $users = Users::find()->where(['has_synced' => 0]);        $userCount = Users::find()->where(['has_synced' => 0]);        echo $users->createCommand()->getRawSql();        $this->callCreateBAccount($users->orderBy('CreatedOn desc'), $userCount->count());        return true;    }    /**     * 批量请求B应用同步接口     * @param $token     * @param $entitys     * @param $entitysCount     * @return array     */    private function callCreateBAccount($users, $userCount){        echo "一共需要同步" . $userCount . "个账号" . PHP_EOL;        $begin = microtime(TRUE);        //记录同步失败的user_id        $allErrUserIds = [];        $allErrCount = $total = 0;        $batchSize = 20;        foreach ($users->batch($batchSize) as $batchUser){            $result = [];//此处调用B应用接口批量创建账号省略接口调用代码            $errCount = count($result['errUserIds']);            foreach ($result['successUserIds'] as $successUserId) {                User::update(['has_synced' => 1])->where(['user_id' => $successUserId]);            }            if ($result['res'] === false) {                $this->logger->error('同步账号失败',[                    'errUserIds' => $result['errUserIds'],                ]);                $allErrCount += $result['errCount'];                $allErrUserIds = array_merge($allErrUserIds, $result['errUserIds']);            }            $total += $batchSize;        }        $end = microtime(TRUE);        $time = $end - $begin;        echo PHP_EOL . "【统计】一共执行时间" . $time . "s" . PHP_EOL;        echo "【统计】一共需要同步" . $userCount . "个账号" . PHP_EOL;        echo "【统计】一共执行同步" . $total . "个账号" . PHP_EOL;        echo "【统计】其中同步" . ($total - $allErrCount) . "个账号成功" . PHP_EOL;        echo "【统计】其中同步" . $allErrCount . "个账号失败" . PHP_EOL;    }}

如上代码：代码中包含部分的伪代码，主要为了描述代码实现的大致流程，代码复制粘贴不保证能运行哦！

注意事项

        通过上面的实现过程我想提醒大家在写跨应用数据同步脚本过程中需要注意的几点：

            1. 日志要记录清楚，包括执行过程中的流程日志(在控制台执行时打印流程日志可以帮助执行者实时掌握脚本运行情况)、  错误异常日志(记录到日志文件中，包括错误的用户标识和用户同步失败的原因，帮助开发者事后查找同步失败的原因)；

2. 用户表添加同步结果字段如has_synced，用于重复执行脚本的时候可以过滤掉同步成功的用户账号(在业务代码中也要根据队列同步账号的结果来更新此字段)；

3. 第三方同步接口要支持批量同步(减少sql查询次数和接口通讯次数，在大数据量的时候可以大大降低资源消耗，提高同步效率)；

4. 异步锁(可以防止并发处理导致数据混乱)，此处我并没有用到锁机制，因此我只能认为保证不会发生并发执行脚本。

以上就是我处理不同系统间历史数据同步问题的方法，如果有没考虑到或者不正确的地方欢迎留言。如果有更好的方法也可以互相交流哦！