一、简介

二、工作原理

三、实战

1、安装

1.下载

2.解压

2、mysql的binLog配置

1、介绍

2、开启binlog

3、配置canal

4、启动canal

5、kafka测试

技术交流

一、简介

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

二、工作原理

MySQL主备复制原理

MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

三、实战

1、安装

1.下载

https://github.com/alibaba/canal/releases

2.解压：

2、mysql的binLog配置

1、介绍

MySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有1%的性能损耗。二进制有两个最重要的使用场景:

其一：MySQL Replication在Master端开启binlog，Mster把它的二进制日志传递给slaves来达到master-slave数据一致的目的。

其二：自然就是数据恢复了，通过使用mysqlbinlog工具来使恢复数据。

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的DDL和DML(除了数据查询语句)语句事件。

2、开启binlog

在mysql的配置文件(Linux: /etc/my.cnf , Windows: \my.ini)下,修改配置

sudo vim /etc/my.cnf

在[mysqld] 区块！！！在[mysqld] 区块！！！在[mysqld] 区块！！！，重要的事情说三遍

设置/添加

server-id=1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=你的数据库名字，多个用逗号分割

这个表示binlog日志的前缀是mysql-bin ，以后生成的日志文件就是 mysql-bin.123456 的文件后面的数字按顺序生成。每次mysql重启或者到达单个文件大小的阈值时，新生一个文件，按顺序编号。

mysql binlog的格式，那就是有三种，分别是STATEMENT,MIXED,ROW。

区别：

1） statement

语句级，binlog会记录每次一执行写操作的语句。相对row模式节省空间，但是可能产生不一致性，比如

update tt set create_date=now()

如果用binlog日志进行恢复，由于执行时间不同可能产生的数据就不同。

优点：节省空间

缺点：有可能造成数据不一致。

2） row

行级， binlog会记录每次操作后每行记录的变化。

优点：保持数据的绝对一致性。因为不管sql是什么，引用了什么函数，他只记录执行后的效果。

缺点：占用较大空间。

3） mixed

statement的升级版，一定程度上解决了，因为一些情况而造成的statement模式不一致问题

在某些情况下譬如：

当函数中包含 UUID() 时；

包含 AUTO_INCREMENT 字段的表被更新时；

执行 INSERT DELAYED 语句时；

用 UDF 时；

会按照 ROW的方式进行处理

优点：节省空间，同时兼顾了一定的一致性。

缺点：还有些极个别情况依旧会造成不一致，另外statement和mixed对于需要对binlog的监控的情况都不方便。

通过mysql客户端添加canal角色和权限

sudo mysql -uroot -p你的密码

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

如果报错：

SHOW VARIABLES LIKE 'validate_password%';

set global validate_password_length=4;
set global validate_password_policy=0;

密码的长度是由validate_password_length决定的,但是可以通过以下命令修改
validate_password_policy决定密码的验证策略,默认等级为MEDIUM(中等),可通过以下命令修改为LOW(低)

修改后执行成功

mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;
Query OK, 0 rows affected, 1 warning (0.00 sec)

重启mysql

sudo systemctl restart mysqld

确定mysqlbinLog已经开启

sudo cd /var/lib/mysql

到了此步骤，一切准工作完成

3、配置canal

1、总体配置

2、配置要追踪的mysql服务器

 vim conf/example/instance.properties

instance.properties是针对要追踪的mysql的实例配置

4、启动canal

 ./bin/startup.sh

jps

出现 4962 CanalLauncher

5、kafka测试

./bin/kafka-console-consumer.sh --bootstrap-server  你的kafka集群地址 --topic  canal中配置的kafkatopic

技术交流

canal安装最详细教程相关推荐

mysql超详细教程_MySQL8.0.23安装超详细教程
前言最近在做一个人脸识别的项目,需要用数据库保存学生信息与前段交互. MySQL的优点 1.mysql性能卓越,服务稳定,很少出现异常宕机. 2.mysql开放源代码且无版权制约,自主性及使用成本低 ...
Ubuntu16.04在线安装MongoDB详细教程
Ubuntu16.04在线安装MongoDB详细教程文章目录 Ubuntu16.04在线安装MongoDB详细教程前言安装流程信任MongoDB公钥创建列表文件安装MongoDB 常见问题 ...
PHP的swoole扩展安装方法详细教程
这篇文章主要为大家分享了PHP的swoole扩展安装方法详细教程,具有实用性和参考价值,感兴趣的小伙伴们可以参考一下 Swoole支持PHP 5.3.10以上版本,所以安装Swoole之前请先安装PH ...
mysql 8.0.22_最新版MySQL 8.0.22下载安装超详细教程(Windows 64位)
前言前几天下载安装了最新版的MySQL 8.0.22,遇到了不少问题,参考了一些方法,最终得以解决.今天将自己的安装过程记录下来,希望对各位有所帮助. 一.MySQL 8.0.22官网下载点击进入 ...
【转】Ubuntu16.04安装 Matlab2018a详细教程
转自:[Ubuntu]安装 Matlab2018a详细教程_My Blogs-CSDN博客_matlab2018a安装教程 Matlab2018a安装包下载: 链接: 百度网盘请输入提取码提取码: ...
LNMP安装步骤详细教程以及一键部署脚本
LNMP安装步骤详细教程以及一键部署lnmp脚本安装包提取码:1w3t 文章目录一.安装 Nginx 服务二.安装 MySQL 服务三.安装配置 PHP 解析环境四.一键部署LNMP脚本 ...
Windows安装Redis 详细教程——《Redis入门》
Windows安装Redis 详细教程--<Redis入门> Redis windows下载地址:https://github.com/MicrosoftArchive/redis/rel ...
青龙面板安装搭建详细教程
一.服务器选择推荐racknerd,服务器位于美国,使用这段时间一直很稳定,最主要是便宜,搞活动的时候可以做到10.98美元/年.当然也可以选择腾讯云或者阿里云等国内服务器. 二.调整时区一般国外 ...
win10安装Tomcat10详细教程
win10安装Tomcat10详细教程提示:安装Tomcat前需要本机有java环境,如未有java环境的,可以先参考此篇博文: win10安装JDK1.8详细教程. 文章目录 win10安装Tom ...

canal安装最详细教程

一、简介

二、工作原理

三、实战

1、安装

1.下载

2.解压：

2、mysql的binLog配置

1、介绍

2、开启binlog

3、配置canal

4、启动canal

5、kafka测试

技术交流

canal安装最详细教程相关推荐

最新文章

热门文章