learning-mysql-canal

介绍

基于spring-boot搭建的一个监控数据库字段变化

spring-boot.version version:2.3.4.RELEASE

canal.client version : 1.1.4

canal的作用：

可以监控数据库的各个字段之间的变化

基于binLog进行解析,数据库执行了哪些操作

软件架构

启动的时候会执行@PostConstruct 会去执行canal客户端，执行的纪录保存下来

安装教程

都是基于docker-compose进行搭建

安装canal(仅用作dev环境) 基于docker-compose安装

version: '3'

services:

canal-server:

image: canal/canal-server:v1.1.4

container_name: canal-server

ports:

- '11111:11111'

environment:

- canal.instance.mysql.slaveId=1234 # canal的slaveId不可以和mysql中的slaveId重复

- canal.auto.scan=false

- canal.instance.master.address=192.168.3.123:3306 # 数据库地址

- canal.instance.dbUsername=root # 可以选择在数据库中创建单独的canal账户

- canal.instance.dbPassword=123456 # 可以选择在数据库中创建单独的canal账户

- canal.instance.tsdb.enable=false

- canal.instance.filter.regex=.\*\\\\..\* #扫描数据库下所有的库和表 格式可以修改为： 数据库.表 比如: db_yousahng.*

volumes:

- canal_conf:/home/admin/canal-server/conf/

- canal_logs:/home/admin/canal-server/logs/

volumes:

canal_conf:

canal_logs:

安装mysql集群 基于docker-compoer安装

version: '3'

services:

mysql-docker:

restart: always

container_name: mysql-docker # 指定容器的名称

image: mysql:8.0.16 # 指定镜像和版本

ports:

- "3306:3306"

environment:

TZ: Asia/Shanghai

MYSQL_ROOT_PASSWORD: 123456

command: [

'--character-set-server=utf8mb4',

'--collation-server=utf8mb4_unicode_ci',

'--explicit_defaults_for_timestamp=true',

'--default-authentication-plugin=mysql_native_password',

'--lower-case-table-names=1'

]

volumes:

- "mysql_data:/var/lib/mysql" # 挂载数据目录

- "mysql_config:/etc/mysql/conf.d" # 挂载配置文件目录

volumes:

mysql_data:

mysql_config:

使用说明

修改mysql配置文件：my.cnf

canal 查看对应的配置

canal 配置字段说明

docker-compose中已经说的差不多了

mysql 配置字段说明

[mysqld]

log-bin=mysql-bin # 开启 binlog

binlog-format=ROW # 选择 ROW 模式，需要先开启 Binlog 写入功能

server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

参与贡献

canal官方wiki：[https://github.com/alibaba/canal/wiki/QuickStart]

码云特技

使用 Readme_XXX.md 来支持不同的语言，例如 Readme_en.md, Readme_zh.md

GVP 全称是码云最有价值开源项目，是码云综合评定出的优秀开源项目