大数据技术之Canal入门篇

文章目录

大数据技术之Canal入门篇
- 写在前面
- 第 1 章 Canal 入门
- - 1.1 什么是 Canal
  - 1.2 MySQL 的Binlog
  - - 1.2.1 什么是 Binlog
    - 1.2.2 Binlog 的分类
  - 1.3 Canal 的工作原理
  - - 1.3.1 MySQL 主从复制过程
    - 1.3.2 Canal 的工作原理
  - 1.4 使用场景
- 第 2 章 MySQL 的准备
- - 2.1 创建数据库
  - 2.2 创建数据表
  - 2.3 修改配置文件开启Binlog
  - 2.4 重启 MySQL 使配置生效
  - 2.5 测试 Binlog 是否开启
  - - 2.6 赋权限
- 第 3 章 Canal 的下载和安装
- - 3.1 下载并解压 Jar 包
  - 3.2 修改 canal.properties 的配置
  - 3.3 修改instance.properties
- 案例测试Error说明
- 官方文档参考

写在前面

Canal版本：Canal-1.1.2

官网：https://github.com/alibaba/canal/

官方文档：https://github.com/alibaba/canal/wiki

第 1 章 Canal 入门

1.1 什么是 Canal

阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从 2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前。Canal 主要支持了 MySQL 的 Binlog 解析，解析完成后才利用 Canal Client 来处理获得的相关数据。（数据库同步需要阿里的 Otter 中间件，基于 Canal）。

1.2 MySQL 的Binlog

1.2.1 什么是 Binlog

MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

其一：MySQL Replication 在Master 端开启Binlog，Master 把它的二进制日志传递给Slaves来达到 Master-Slave 数据一致的目的。
其二：自然就是数据恢复了，通过使用 MySQL Binlog 工具来使恢复数据。

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。

1.2.2 Binlog 的分类

MySQL Binlog 的格式有三种，分别是 STATEMENT,MIXED,ROW。在配置文件中可以选择配置 binlog_format= statement|mixed|row。三种格式的区别：

1）statement：语句级，binlog 会记录每次一执行写操作的语句。相对 row 模式节省空间，但是可能产生不一致性，比如update tt set create_date=now()，如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据就不同。

优点：节省空间。
缺点：有可能造成数据不一致。

2）row：行级， binlog 会记录每次操作后每行记录的变化。

优点：保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。
缺点：占用较大空间。

3）mixed：statement 的升级版，一定程度上解决了，因为一些情况而造成的statement模式不一致问题，默认还是 statement，在某些情况下譬如：

当函数中包含 UUID() 时；
包含 AUTO_INCREMENT 字段的表被更新时；
执行 INSERT DELAYED 语句时；用 UDF 时；会按照 ROW 的方式进行处理

优缺点：

优点：节省空间，同时兼顾了一定的一致性。
缺点：还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对

binlog 的监控的情况都不方便。

综合上面对比，Canal 想做监控分析，选择row 格式比较合适。

1.3 Canal 的工作原理

1.3.1 MySQL 主从复制过程

Master 主库将改变记录，写到二进制日志(Binary Log)中；
Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷贝到它的中继日志(relay log)；
Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

1.3.2 Canal 的工作原理

很简单，就是把自己伪装成 Slave，假装从 Master 复制数据。

1.4 使用场景

原始场景：阿里 Otter 中间件的一部分

Otter 是阿里用于进行异地数据库之间的同步框架，Canal 是其中一部分。

常见场景 1：更新缓存

常见场景 2：抓取业务表的新增变化数据，用于制作实时统计（我们就是这种场景）

第 2 章 MySQL 的准备

2.1 创建数据库

2.2 创建数据表

CREATE TABLE user_info(
`id` VARCHAR(255),
`name` VARCHAR(255),
`sex` VARCHAR(255)
);

2.3 修改配置文件开启Binlog

[zhangsan@node01 module]$ sudo vim /etc/my.cnf
server-id=1  #配置mysql replaction需要定义，不能和canal的slaveId重复
log-bin=mysql-bin
binlog_format=row
binlog-do-db=gmall-2021

注意：binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库，如果不配置则表示所有数据库均开启Binlog

2.4 重启 MySQL 使配置生效

sudo systemctl restart mysqld

到/var/lib/mysql 目录下查看初始文件大小:154

[zhangsan@node01 lib]$ pwd
/var/lib
[zhangsan@node01  lib]$ sudo ls -l mysql
总用量 474152
-rw-r-----. 1 mysql mysql   56 8 月  7 2020 auto.cnf
drwxr-x---. 2 mysql mysql   4096 9 月  25 2020 azkaban
-rw-------. 1 mysql mysql   1680 8 月    7 2020 ca-key.pem
-rw-r--r--. 1 mysql mysql   1112 8 月    7 2020 ca.pem
drwxr-x--- 2 mysql mysql    4096 8 月  18 16:56 cdc_test
-rw-r--r--. 1 mysql mysql   1112 8 月    7 2020 client-cert.pem
-rw-------. 1 mysql mysql   1676 8 月    7 2020 client-key.pem
drwxr-x---. 2 mysql mysql   4096 9 月  25 2020 gmall_report
-rw-r----- 1 mysql mysql    1085 12 月  1 09:12 ib_buffer_pool
-rw-r-----. 1 mysql mysql 79691776 12 月 13 08:45 ibdata1
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 12 月 13 08:45 ibtmp1
drwxr-x--- 2 mysql mysql    4096 9 月  22 15:30 maxwell
drwxr-x---. 2 mysql mysql   4096 8 月  12 2020 metastore
drwxr-x---. 2 mysql mysql   4096 9 月  22 15:43 mysql
-rw-r-----. 1 mysql mysql   154 12 月 13 08:45 mysql-bin.000001
-rw-r----- 1 mysql mysql    19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx 1 mysql mysql    0 12 月 13 08:45 mysql.sock
-rw------- 1 mysql mysql    5 12 月 13 08:45 mysql.sock.lock
drwxr-x---. 2 mysql mysql   4096 8 月    7 2020 performance_schema
-rw-------. 1 mysql mysql   1680 8 月    7 2020 private_key.pem
-rw-r--r--. 1   mysql   mysql   452 8 月 7 2020 public_key.pem
-rw-r--r--. 1   mysql   mysql   1112 8 月    7 2020 server-cert.pem
-rw --. 1   mysql   mysql   1680 8 月    7 2020 server-key.pem
drwxr-x---. 2   mysql   mysql   12288 8 月   7 2020 sys
drwxr-x--- 2 mysql mysql    4096 2 月    2 2021 test
[zhangsan@node01 lib]$

可以看到，mysql-bin.000001文件大小为154

2.5 测试 Binlog 是否开启

插入数据

INSERT INTO user_info VALUES('1001','zhangsan','male');

再次到/var/lib/mysql 目录下，查看index 文件的大小

-rw  --. 1   mysql   mysql   1680 8 月    7 2020 ca-key.pem
-rw-r--r--. 1   mysql   mysql   1112 8 月    7 2020 ca.pem
drwxr-x---  2   mysql   mysql   4096 8 月  18 16:56 cdc_test
-rw-r--r--. 1   mysql   mysql   1112 8 月    7 2020 client-cert.pem
-rw --. 1   mysql   mysql   1676 8 月    7 2020 client-key.pem
drwxr-x---. 2   mysql   mysql   4096 9 月  25 2020 gmall_report
-rw-r-----  1   mysql   mysql   1085 12 月  1 09:12 ib_buffer_pool
-rw-r-----. 1   mysql   mysql   79691776 12 月 13 08:45 ibdata1
-rw-r-----. 1   mysql   mysql   50331648 12 月 13 08:45 ib_logfile0
-rw-r-----. 1   mysql   mysql   50331648 12 月 13 08:45 ib_logfile1
-rw-r-----  1   mysql   mysql   12582912 12 月 13 08:45 ibtmp1
drwxr-x---  2   mysql   mysql   4096 9 月  22 15:30 maxwell
drwxr-x---. 2   mysql   mysql   4096 8 月  12 2020 metastore
drwxr-x---. 2   mysql   mysql   4096 9 月  22 15:43 mysql
-rw-r-----. 1   mysql   mysql   452 12 月 13 08:45 mysql-bin.000001
-rw-r-----  1   mysql   mysql   19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx  1   mysql   mysql   0 12 月 13 08:45 mysql.sock
-rw-------  1   mysql   mysql   5 12 月 13 08:45 mysql.sock.lock
drwxr-x---. 2   mysql   mysql   4096 8 月    7 2020 performance_schema
-rw --. 1   mysql   mysql   1680 8 月    7 2020 private_key.pem
-rw-r--r--. 1   mysql   mysql   452 8 月 7 2020 public_key.pem
-rw-r--r--. 1   mysql   mysql   1112 8 月    7 2020 server-cert.pem
-rw --. 1   mysql   mysql   1680 8 月    7 2020 server-key.pem
drwxr-x---. 2   mysql   mysql   12288 8 月   7 2020 sys
drwxr-x--- 2 mysql mysql    4096 2 月    2 2021 test
[zhangsan@node01 lib]$

可以看到，mysql-bin.000001文件大小变大了（452）

2.6 赋权限

在 MySQL 中执行：修改MySQL密码长度；赋予canal用户select权限

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO
'canal'@'%' IDENTIFIED BY 'canal' ;

查看mysql库下的user表

第 3 章 Canal 的下载和安装

3.1 下载并解压 Jar 包

https://github.com/alibaba/canal/releases

下载完之后将canal.deployer-1.1.2.tar.gz 拷贝到/opt/sortware目录下，然后解压到/opt/module/canal-1.1.2 包下

注意：canal 解压后是分散的，我们在指定解压目录的时候需要将canal 指定上

3.2 修改 canal.properties 的配置

[zhangsan@node01 conf]$ pwd
/opt/module/canal/conf
[zhangsan@node01 conf]$ vim canal.properties #################################################
#########   common argument ############# #################################################
canal.id = 1 canal.ip = canal.port = 11111
canal.metrics.pull.port = 11112 canal.zkServers =
# flush data to zk canal.zookeeper.flush.period = 1000 canal.withoutNetty = false
# tcp, kafka, RocketMQ canal.serverMode = tcp
# flush meta cursor/parse position to file

说明：这个文件是 canal 的基本通用配置，canal 端口号默认就是 11111，修改 canal 的输出 model，默认 tcp，改为输出到kafka

多实例配置如果创建多个实例，通过前面 canal 架构，我们可以知道，一个 canal 服务中可以有多个instance，conf/下的每一个 example 即是一个实例，每个实例下面都有独立的配置文件。默认只有一个实例 example，如果需要多个实例处理不同的 MySQL 数据的话，直接拷贝出多个 example，并对其重新命名，命名和配置文件中指定的名称一致，然后修改 canal.properties 中的 canal.destinations=实例 1，实例 2，实例 3。

#################################################
#########   destinations    ############# #################################################
canal.destinations = example

3.3 修改instance.properties

我们这里只读取一个 MySQL 数据，所以只有一个实例，这个实例的配置文件在conf/example 目录下

[zhangsan@node01 example]$ pwd
/opt/module/canal/conf/example
[zhangsan@node01 example]$ vim instance.properties

配置 MySQL 服务器地址

Note：canal.instance.mysql.slaveId的值不能跟/etc/my.cnf的server-id值一样；因为canal相当于一个从节点，主从复制时，server-id就不能一样。

#################################################
## mysql serverId , v1.0.26+ will autoGen
canal.instance.mysql.slaveId=20# enable gtid use true/false
canal.instance.gtidon=false# position info
canal.instance.master.address=node01:3306

配置连接 MySQL 的用户名和密码，默认就是我们前面授权的canal

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal canal.instance.connectionCharset = UTF-8
canal.instance.defaultDatabaseName =test
# enable druid Decrypt database password
canal.instance.enableDruid=false

案例测试Error说明

报错信息：查看日志，在canal安装目录下的logs/canal/canal.log，前提是canal.properties的配置项canal.destinations = example 没有更改，如果是更改为【test_xxx】,则日志位于canal安装目录下的logs/test_xxx/test_xxx.log

[zhangsan@node01 canal]$ cat canal.log
2023-01-07 15:10:56.713 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
2023-01-07 15:10:56.759 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
2023-01-07 15:10:56.771 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
2023-01-07 15:10:56.851 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.102.153.10(192.102.153.10):11111]
2023-01-07 15:10:58.627 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......
2023-01-07 15:10:58.822 [canal-instance-scan-0] INFO  com.alibaba.otter.canal.deployer.CanalController - auto notify start doris-load successful.
2023-01-07 15:15:34.251 [New I/O server worker #1-1] ERROR c.a.otter.canal.server.netty.handler.SessionHandler - something goes wrong with channel:[id: 0x71dc2f6d, /192.102.153.1:57500 => /192.102.153.10:11111], exception=java.io.IOException: Connection reset by peerat sun.nio.ch.FileDispatcherImpl.read0(Native Method)at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)at sun.nio.ch.IOUtil.read(IOUtil.java:192)at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)at org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:322)at org.jboss.netty.channel.socket.nio.NioWorker.processSelectedKeys(NioWorker.java:281)at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:201)at org.jboss.netty.util.internal.IoWorkerRunnable.run(IoWorkerRunnable.java:46)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)

关于这个error，我查找了一些资料，但是都没有帮助

https://github.com/alibaba/canal/issues/3585

同时也遇到过下面的error

https://github.com/alibaba/canal/issues/640

实时监控MySQL数据不成功

原因：因为一开始解压canal的时候，没有先创建一个安装目录，直接将canal解压了，导致canal的目录分散了，然后就将分散的目录都移动到新建的目录canal-1.1.5下

解决方法：

直接删除掉canal-1.1.5目录即可，重新解压安装canal

官方文档参考

AdminGuide

https://github.com/alibaba/canal/wiki/AdminGuide

ClientAPI

https://github.com/alibaba/canal/wiki/ClientAPI

ClientExample

https://github.com/alibaba/canal/wiki/ClientExample

结束！