canel-1.1.5 canal.deployer安装
简介
canal [kə’næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费
工作原理
canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送 dump 协议
MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)
安装
下载canal.deployer
地址:https://github.com/alibaba/canal/releases
准备
对于自建 MySQL , 需要先开启 Binlog 写入功能,配置 binlog-format 为 ROW 模式,my.cnf 中配置如下
[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复
注意:针对阿里云 RDS for MySQL , 默认打开了 binlog , 并且账号默认具有 binlog
dump 权限 , 不需要任何权限或者 binlog 设置,可以直接跳过这一步
授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant
CREATE USER canal IDENTIFIED BY ‘canal’;
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘canal’@’%’;
– GRANT ALL PRIVILEGES ON . TO ‘canal’@’%’ ;
FLUSH PRIVILEGES;
启动
下载 canal, 访问 release 页面 , 选择需要的包下载, 如以 1.0.17 版本为例
wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz
解压缩
mkdir /tmp/canal
tar zxvf canal.deployer-$version.tar.gz -C /tmp/canal
解压完成后,进入 /tmp/canal 目录,可以看到如下结构
drwxr-xr-x 2 jianghang jianghang 136 2013-02-05 21:51 bin
drwxr-xr-x 4 jianghang jianghang 160 2013-02-05 21:51 conf
drwxr-xr-x 2 jianghang jianghang 1.3K 2013-02-05 21:51 lib
drwxr-xr-x 2 jianghang jianghang 48 2013-02-05 21:29 logs
配置修改
vi conf/example/instance.properties
##mysql serverId
canal.instance.mysql.slaveId = 1234
#position info,需要改成自己的数据库信息
canal.instance.master.address = 127.0.0.1:3306
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =
#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#username/password,需要改成自己的数据库信息
canal.instance.dbUsername = canal
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#table regex
canal.instance.filter.regex = .\*\\\\..\*
canal.instance.connectionCharset 代表数据库的编码方式对应到 java 中的编码类型,比如 UTF-8,GBK , ISO-8859-1
如果系统是1个 cpu,需要将 canal.instance.parser.parallel 设置为 false
启动
sh bin/startup.sh
查看 server 日志
vi logs/canal/canal.log
2013-02-05 22:45:27.967 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
2013-02-05 22:45:28.113 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]
2013-02-05 22:45:28.210 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......
查看 instance 的日志
vi logs/example/example.log
2013-02-05 22:50:45.636 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2013-02-05 22:50:45.641 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2013-02-05 22:50:45.803 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example
2013-02-05 22:50:45.810 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....
关闭
sh bin/stop.sh
--------------------------------文章来源 https://www.byteblogs.com/article/200
canel-1.1.5 canal.deployer安装相关推荐
- canal.deployer部署
前面已经讲过MySQL 开启 Binlog 写入功能 canal.deployer部署 mkdir server tar -zxvf canal.deployer-1.1.5.tar.gz -C /u ...
- cannel mysql_mysql、canal、kafka、数据同步系列(四)canal的安装和配置
历经了前面的各种安装,终于到canal的安装和配置了.这里依然采用docker-compose安装. 1.编写docker-compose.yml文件 version: '3' services: c ...
- deployer安装
1.简介 Deployer是一个基于Laravel 5.1的.免费的.开源的PHP应用部署工具.由Stephen Ball编写和维护. 2.GitHub https://github.com/REBE ...
- canal deployer+canal adapter自动同步MySQL数据到ElasticSearch
一.安装Elastic Search 6.8 1.下载 Elastic Search 6.8资源下载 2.部署环境配置 创建用户(es不能使用root启动,否则报错) adduser elastic ...
- Canal的安装与使用(直接食用)--监控数据库binlog日志 实现实时操作
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x 1. 在MySQL中创建一个用户 并授权: create user 'c ...
- 0. Canal 的安装和使用
我看过一场风景,后来我才知道,那是我人生中最美的一段时光. 我爱的人,爱我的人,都能度过这场新型感冒,那该多好. Canal 的官网: https://github.com/alibaba/canal ...
- mysql数据实时同步:Canal安装部署、kafka安装、zk安装、mysql安装、Canal Server+Canal Client HA,Canal+mysql+Kafka,相关验证(学习笔记)
目录 Canal安装部署 1.1. 服务器准备 1.2. 设置主机名并配置hosts 1.3. 免密设置 1.4. 设置ntp时间 1.5. 关闭防火墙 1.6. 关闭selinux 1.7. 安装J ...
- Docker安装部署MySQL+Canal+Kafka+Camus+HIVE数据实时同步
因为公司业务需求要将mysql的数据实时同步到hive中,在网上找到一套可用的方案,即MySQL+Canal+Kafka+Camus+HIVE的数据流通方式,因为是首次搭建,所以暂时使用伪分布式的搭建 ...
- canal学习1--canal初始安装使用
目录 背景 canal实现原理 准备 mysql相关配置 开启binlog配置 同步账户准备 创建账户 授权 canalAdmin配置 配置 application.yml配置 conf其他 界面操作 ...
最新文章
- Python使用matplotlib可视化绘图时你可用的颜色有哪些?把色彩可视化出来自己选好了
- Linux 查找指定文件并删除
- java之Synchronize
- 【CSS布局】已知布局元素的高度,写出三栏布局,要求左栏、右栏宽度各为300px,中间自适应。
- python中map函数返回值类型_Python函数精解:map函数
- matplotlib简单使用
- js打印不询问直接打印_直接成型喷墨打印的五个关键注意事项
- Zabbix 服务器性能指标参考(学习笔记十七)
- 批处理只执行第一句,其他的不被执行,怎么办?
- 有一个无法超越的神国,叫“外国”
- 管家婆服务器备份文件夹,[任我行]管家婆软件的使用方法,管家婆辉煌提示备份报错3202...
- C++ stander library--type traits and type utility
- 【圣诞节给爱的人打印一颗圣诞树吧】超详细代码实现——圣诞树打印
- # 关于Dran,Cran,CloundRan ,的区别
- iphone图片编辑画笔_iOS13图片编辑功能使用教程
- select下拉菜单问题
- DHCP原理及DHCP服务器的防攻击手段
- VS2019怎么没有C++的窗体应用模板_砖混结构模板技术交底
- C语言系列之初识C语言(二)2021.10.19
- 企业如何实现在线客服功能?