Maxwell：异构数据源实时同步工具

文章目录

Maxwell：异构数据源实时同步工具
1、概述
2、原理解析
- 2.1 Mysql主从复制
3、Maxwell安装部署
4、增量数据同步
5、历史数据全量同步
- 5.1 Maxwell-bootstrap

1、概述

Maxwell:实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。

Maxwell的工作原理是实时读取MySQL数据库的二进制日志（Binlog），从中获取变更数据，再将变更数据以JSON格式发送至Kafka等流处理平台。

JSON数据格式

字段	解释
database	变更数据所属的数据库
table	表更数据所属的表
type	数据变更类型
ts	数据变更发生的时间
xid	事务id
commit	事务提交标志，可用于重新组装事务
data	对于insert类型，表示插入的数据；对于update类型，标识修改之后的数据；对于delete类型，表示删除的数据
old	对于update类型，表示修改之前的数据，只包含变更字段

2、原理解析

二进制日志（Binlog）是MySQL服务端非常重要的一种日志，它会保存MySQL数据库的所有数据变更记录。Binlog的主要作用包括主从复制和数据恢复。Maxwell的工作原理和主从复制密切相关。

BinLog与HBase中的WAL(Write ahead log)预写日志功能类似，记录对数据库操作的语句。

2.1 Mysql主从复制

应用场景
- 数据库的热备：主数据库服务器故障后，可切换到从数据库继续工作。
- 读写分离：主数据库只负责业务数据的写入操作，而多个从数据库只负责业务数据的查询工作，在读多写少场景下，可以提高数据库工作效率。
工作原理
- Master主库将数据变更记录，写到二进制日志(binary log)中
- Slave从库向mysql master发送dump协议，将master主库的binary log events拷贝到它的中继日志(relay log)
- Slave从库读取并回放中继日志中的事件，将改变的数据同步到自己的数据库。

存在的问题：由于主从执行的命令一样，但当产生随机数或now()插入当前时间戳等情况时会造成主从不一致的情况。

Maxwell将自己伪装成slave，并遵循MySQL主从复制的协议，从master同步数据。

3、Maxwell安装部署

下载Maxwell (https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz)

Maxwell-1.30.0及以上版本不再支持JDK1.8

解压安装到指定目录

tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/

修改配置文件/etc/my.cnf配置Mysql，启动Mysql BinLog

my.cnf
```
[mysqld]#数据库id
server-id = 1
#启动binlog，该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型，maxwell要求为row类型
binlog_format=row
#启用binlog的数据库，需根据实际情况作出修改
binlog-do-db=gmall
```
Statement-based：基于语句，Binlog会记录所有写操作的SQL语句，包括insert、update、delete等。
优点：节省空间
缺点：有可能造成数据不一致，例如insert语句中包含now()函数。
Row-based：基于行，Binlog会记录每次写操作后被操作行记录的变化。
优点：保持数据的绝对一致性。
缺点：占用较大空间。
mixed：混合模式，默认是Statement-based，如果SQL语句可能导致数据不一致，就自动切换到Row-based。
Maxwell要求Binlog采用Row-based模式。
重启mysql服务
```
sudo systemctl restart mysqld
```
创建Mexwell所需数据库和用户名

Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）
- 创建数据库
```
create database maxwell
```
- 调整Mysql数据库密码等级
  
  每次重启mysql服务后，如果需要设置简单的密码，则需要进行如下操作
```
 set global validate_password_policy=0;set global validate_password_length=4;
```
- 创建Maxwell用户并赋予其必要权限
  
  创建maxwell用户，指定密码为maxwell，并且可以通过任意的ip使用该用户连接mysql；
  
  将maxwell库中所有表的全部权限赋予通过任意ip使用maxwell登录mysql的用户；
  
  将其与库的表赋予部分权限。
```
CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';
GRANT ALL ON maxwell.* TO 'maxwell'@'%';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';
```

配置Maxwell

切换至Maxwell目录并修改Maxwell配置文件名称
```
cp config.properties.example config.properties
```

修改Maxwell配置文件config.properties

#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
#目标Kafka集群地址
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
kafka_topic=maxwell#MySQL相关配置
host=hadoop102
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

依次启动hadoop集群、zookeeper、kafka

启动maxwell

启动前先在kafka中创建好maxwell主题，否则会报错。可以在日志文件中查看。
此问题也可以通过修改maxwell源码解决。

/opt/module/maxwell/bin/maxwell --config /opt/module/maxwell/config.properties --daemon

停止maxwell

ps -ef | grep maxwell | grep -v grep | grep maxwell | awk '{print $2}' | xargs kill -9

maxwell启停脚本mxw

#!/bin/bashMAXWELL_HOME=/opt/module/maxwellstatus_maxwell(){result=`ps -ef | grep maxwell | grep -v grep | wc -l`return $result
}start_maxwell(){status_maxwellif [[ $? -lt 1 ]]; thenecho "启动Maxwell"$MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemonelseecho "Maxwell正在运行"fi
}stop_maxwell(){status_maxwellif [[ $? -gt 0 ]]; thenecho "停止Maxwell"ps -ef | grep maxwell | grep -v grep | awk '{print $2}' | xargs kill -9elseecho "Maxwell未在运行"fi
}case $1 instart )start_maxwell;;stop )stop_maxwell;;restart )stop_maxwellstart_maxwell;;
esac

4、增量数据同步

启动Kafka消费者

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic maxwell

模拟生成数据

 java -jar gmall2020-mock-db-2021-01-22.jar

观察Kafka消费者可以查看到消费的数据

5、历史数据全量同步

我们在进行增量同步之前，先进行一次历史数据的全量同步。这样就能保证得到一个完整的数据集。Maxwell提供了bootstrap功能来进行历史数据的全量同步。

5.1 Maxwell-bootstrap

/opt/module/maxwell/bin/maxwell-bootstrap --database gmall --table user_info --config /opt/module/maxwell/config.properties

bootstrap数据格式

{"database": "fooDB","table": "barTable","type": "bootstrap-start","ts": 1450557744,"data": {}
}
{"database": "fooDB","table": "barTable","type": "bootstrap-insert","ts": 1450557744,"data": {"txt": "hello"}
}
{"database": "fooDB","table": "barTable","type": "bootstrap-insert","ts": 1450557744,"data": {"txt": "bootstrap!"}
}
{"database": "fooDB","table": "barTable","type": "bootstrap-complete","ts": 1450557744,"data": {}
}

第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据，是bootstrap开始和结束的标志，不包含数据，中间的type为bootstrap-insert的数据才包含数据。
一次bootstrap输出的所有记录的ts都相同，为bootstrap开始的时间。

DataX和MaxWell不能同时使用于一张表，原因是DataX的数据与MaxWell的数据格式不同。DataX是一条一条的信息(DataX通过JSON格式的文件作为配置文件，定制两端的Reader和Writer的信息(表)格式)，而MaxWell是一条一条JSON格式的信息。