Canal的理解与应用

什么是Canal？
canal是阿里开源的中间件，主要用于同步mysql数据库变更；
Canal数据库监听的原理是什么？
canal可以用来监听数据库的变化，从而获得新增数据，或者修改的数据；
Canal的同步机制：

为什么使用Canal？
(1). 更灵活的架构，多机房同步比较简单。
(2). 异构表之间也可以同步，同时可以控制不同步DDL以免出现数据丢失和不一致。
(3). Canal可以实现一个表一线程，多个表多线程的同步，速度更快。同时会压缩简化要传输的binlog，减少网络压力。
(4). 双A机房同步. 目前mysql的M-M部署结构，不支持解决数据的一致性问题，基于canal的双向复制+一致性算法，可一定程度上解决这个问题，实现双A机房；

同步原理：
1.canal模拟mysql sllave的交互协议，伪装自己为mysql salve；
2.mysql master收到dump请求，开始推送binary log给 slave（也就是canal）；
3.canal解析binary log 对象（原始byte流）；
canal在项目中主要做什么事情？
主要用于数据增量同步操作，可以将数据同步到Redis，其他Mysql，ES等；
可以首页广告缓存，网站公布，商品数据，击穿缓存更新，商品数据缓存更新，ES（索引库数据增量更新）；
简单汇总下！

Canal的理解与应用相关推荐

阿里canal的理解
一:什么是canal 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析, ...
canal 历史数据如何处理_MySQL日志解析工具Canal的使用
canal伪装为slave存在接收master的同步日志什么是Canal 简单来说就是MySQL数据同步工具,通过canal可以实现对MySQL数据变更的监听,获取数据变更情况,并应用到业务中,举 ...
大促突围：京东到家基于Canal的数据异构设计
张磊京东到家高级研发工程师 8年+软件研发经验,曾先后就职于链家地产.互动吧.寺库网等公司,任研发人员或团队leader,在解决业务系统设计落地方面拥有丰富经验: 现就职于达达-京东到家,主要负责 ...
阿里是如何做Code Review的
前言最近 CodeReview(以下简称CR )心态相当的平和,代码是一个讲道理的东西,是就是,否就否.在 CR 时,沟通特别轻松,问题讨论也特别聚焦,因为它是量化和定向的.CR 的过程不是恃强凌弱 ...
谈谈对 Canal（增量数据订阅与消费）的理解--大数据平台技术栈系列(3)
之前说了,大数据平台技术栈 (可点击查看),今天就来说说其中的Cannal 来源:朱小厮, blog.csdn.net/u013256816/article/details/52475190 概述 c ...
彻底理解Canal，看这篇就够了
目录前言 1. 什么是canal 2. canal能做什么 3. 如何搭建canal 3.1 首先有一个MySQL服务器 3.2 安装canal 4. Java客户端操作总结前言我们都知道一个 ...
谈谈对Canal（增量数据订阅与消费）的理解
原文出处: 朱小厮概述 canal是阿里巴巴旗下的一款开源项目,纯Java开发.基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL(也支持mariaDB). 起源:早期 ...
谈谈对Canal（增量数据订阅与消费）的理解
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
MySQL 的 Binlog 日志处理工具（Canal/Maxwell/Databus/DTS）对比
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! Canal 定位:基于数据库增量日志解析,提供增量数据订阅 ...

Canal的理解与应用

Canal的理解与应用相关推荐

最新文章

热门文章