canal+mysql+rocket

版本

canal.deployer-1.1.5
canal.admin-1.1.5
rocketmq-all-4.9.3-bin-release
rocketmq-deshboard-master
mysql5.7

官网

链接：canal链接：rocket

操作系统

centos7

mysql5.7安装

链接：centos7上mysql5.7安装

vim /etc/my.cnf

[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

配置canal.deployer

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz# 解压
tar zxcf canal.deployer-1.1.5.tar.gz
-C deployer# 修改cancal.properties
cd conf

vim cancal.properties

# tcp, kafka, rocketMQ, rabbitMQ
canal.serverMode = rocketMQ
rocketmq.producer.group = canal_group
rocketmq.namesrv.addr = 127.0.0.1:9876

vim conf/example/instance.properties

# 源数据库配置
canal.instance.master.address=127.0.0.1:3306
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal# mq config
canal.mq.topic=canal_topic

启动

sh bin/start.sh

配置rocket

# 官网下载rocket二进制包# 启动mqnamesrv
nohup sh bin/mqnamesrv &tail -f ~/logs/rocketmqlogs/namesrv.logThe Name Server boot success...# 启动mqbroker
nohup sh bin/mqbroker -n localhost:9876 &tail -f ~/logs/rocketmqlogs/broker.log The broker[%s, 172.30.30.233:10911] boot success...

操作看看

1.在数据库中新增数据
2.启动rocketmq-deshboard-master打成的jar，看的rocket可视化界面
：Message -> Topic(下拉框选择：canal_topic就可以看的消息了)

canal+mysql+rocket相关推荐

Canal Mysql binlog 同步至 Hbase ES
文章目录一.Canal介绍工作原理 canal 工作原理二.下载三.安装使用 Mysql准备 canal 安装解压缩 canal-deployer 配置修改启动查看server日志查看 ...
canal mysql多实例_canal搭建实例
canal [k?'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主 ...
canal mysql重置_canal: 首先装完阿里的canal，然后数据库同步，仅供学习参考
背景需要将数据库增量内容同步到另外的数据库,两者保持一致.包含增删改,数据库创建.删除,数据库名称修改,内容清空,表结构修改,索引创建.修改.删除. 方案采用阿里巴巴Canal,用于监听mysql ...
kafka mysql安装与配置_Mac环境canal+mysql+kafka的安装及使用
为了实现实时同步数据,在mac环境搭建了canal,mysql,kafka的一套流程使用canal加mysql加kafka的方式传递数据 mysql 数据源头 canal模仿slave冲mysql ...
mysql数据实时同步：Canal安装部署、kafka安装、zk安装、mysql安装、Canal Server+Canal Client HA，Canal+mysql+Kafka，相关验证（学习笔记）
目录 Canal安装部署 1.1. 服务器准备 1.2. 设置主机名并配置hosts 1.3. 免密设置 1.4. 设置ntp时间 1.5. 关闭防火墙 1.6. 关闭selinux 1.7. 安装J ...
canal mysql 数据同步
首先canal是什么呢? canal是阿里巴巴旗下的一款开源项目,纯Java开发.基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL:简单来说,canal 会将自己伪装成 ...
canal mysql从库_canal中间件|数据增量同步解决方案
上一文中提到延时双删等策略实现数据一致性的时候,可能存在删除缓存失败的情况,就会出现缓存和数据库不一致的问题.为了应对删除缓存失败而导致数据不一致的问题,可以通过回溯数据库日志文件,提供一个保障的重试 ...
Canal Mysql binlog 同步至 ElasticSearch 详细介绍
文章目录数据同步ElasticSearch 单表基本配置适配器映射文件详细介绍(单表.多表映射介绍) 单表映射索引示例sql 单表映射索引示例sql带函数或运算操作多表映射(一对一, 多对一)索 ...
Canal Mysql同步至ES/Hbase只有新增时生效，修改删除不生效
问题描述新增Mysql数据时,ES.Hbase数据会同步成功:当删除Mysql数据,或者修改Mysql数据时同步ES.Hbase数据无变化(PS:修改和删除加上LIMIT xxx 就可以成功.) 问 ...

canal+mysql+rocket

版本

官网

操作系统

mysql5.7安装

配置canal.deployer

配置rocket

操作看看

canal+mysql+rocket相关推荐

最新文章

热门文章