数据同步神器Canel-day01

背景

关于数据同步的方式有很多种，现在有一个场景需要将mysql数据库的数据主动同步到我们的工程中，并且能再mysql数据库客户端更改某一行的数据也能将数据同步到另一个数据库或者工程中，对于这种场景的使用我们应该怎么去实现呢？

我们从问题点去分析，

同步mysql数据库数据到工程中，这个很简单，那就是工程直接连接数据库直接读取。这不是主动是被动，这样的话那就肯定得数据库主动去触发了。
那这肯定要改动mysql的底层源码，或者mysql又提供接口，既然说到了这里，想想mysql的主从同步机制呢？

master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
slave将master的binary log events拷贝到它的中继日志(relay log)；
slave重做中继日志中的事件，将改变反映它自己的数据。
这不就搞定了吗？？写个中间件模仿slave不就搞定了？这是要自己造轮子，NO，面向搜索编程，这肯定得google一下。

canel 了解一下，直接用起来。

什么是canel？

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费也就是有新改变的数据日志的同步。
早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
基于日志增量订阅和消费的业务包括
- 数据库镜像
- 数据库实时备份
- 索引构建和实时维护(拆分异构索引、倒排索引等)
- 业务 cache 刷新
- 带业务逻辑的增量数据处理

工作原理

MySQL主备复制原理
- MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
- MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
- MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据
Canel 工作原理
- 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)

真的不想写，烂泥巴不想打渔了！！！

下篇继续主从具体原理和canel 具体原理

数据同步神器Canel-day01相关推荐

阿里开源数据同步神器DataX异构数据源间数据同步同步MySQL与HDFS相互实战
Datax 实战使用继上一篇阿里开源数据同步神器DataX异构数据源间数据同步基础介绍与快速入门之后的实战篇 1.MySQL-To-HDFS 环境 & 准备说明: 描述: 为了快速搭建测试 ...
离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute
2019独角兽企业重金招聘Python工程师标准>>> 摘要: 概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.Oracle.SqlSer ...
mysql获取最好成绩对应数据的其他项_开源数据同步神器——canal
前言如今大型的IT系统中,都会使用分布式的方式,同时会有非常多的中间件,如redis.消息队列.大数据存储等,但是实际核心的数据存储依然是存储在数据库,作为使用最广泛的数据库,如何将mysql的数据 ...
开源数据同步神器——canal
前言如今大型的IT系统中,都会使用分布式的方式,同时会有非常多的中间件,如redis.消息队列.大数据存储等,但是实际核心的数据存储依然是存储在数据库,作为使用最广泛的数据库,如何将mysql的数据 ...
datax 定时执行多个job_数据同步神器Datax源码重构
每日一句永远不要认为我们可以逃避, 我们的每一步都决定着最后的结局, 我们的脚步正在走向我们自己选定的终点.Do not ever think about that we can escape , o ...
Cloudcanal数据同步神器
一.背景与需求最近有个OLAP的需求,我们需要将MySQL的一些数据(这种数据有一种特性就是一旦产生记录,以后不会再进行修改.删除操作,例如登录日志.操作日志等诸如此类).这种数据特性正好符合Cli ...
推荐一个开源数据同步神器，支持多种数据源和预警功能！
DBSyncer是一款开源的数据同步中间件,提供MySQL.Oracle.SqlServer.PostgreSQL.Elasticsearch(ES).Kafka.File.SQL等同步场景. 支持上 ...
机器学习第6天：数据可视化神器--Matplotlib
文章目录一.Matplotlib简介二.散点图第1步:导入数据第2步:拆分成训练集和测试集第3步:使用简单线性回归模型来训练训练集第4步:绘制散点图二.线图三.等高线图第1步:定义一 ...
mysql同步数据到另一张表_mysql:Otter跨机房数据同步(单向)
重要说明:需要同步的表必须要有主键主键主键 otter是一款基于Java且免费.开源基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库的解决方案. Otter目前 ...

数据同步神器Canel-day01

背景

什么是canel？

工作原理

真的不想写，烂泥巴不想打渔了！！！

数据同步神器Canel-day01相关推荐

最新文章

热门文章