canal 使用注意事项
canal是一个同步mysql二进制日志到kafka分布式队列的工具，直接支持数据从mysql同步到kafka的主题中，一般为了不影响主库的性能，canal监控的是slave从库的binlog
主要要注意的事项是顺序性问题，常见的有以下几种配置：
- 一个数据库的所有数据写到一个topic主题中，然后按照表名作为分区键，每个表的数据发送到不同的分区中 --保证了表的数据都在同一个分区中
1.1 一个数据库的部分表数据写到一个topic主题中，另一些表数据写到另一个topic主题中，针对每个topic主题按照表名作为分区键，每个表的数据发送到不同的分区中 --保证了表的数据都在同一个分区中 - 一个数据库的所有的表写到N个表名称命名的topic中，然后按照主键作为分区键，每个主键的数据发送到不同的分区中 --只能保证一个表的同一个主键在同一个分区中(只保证了更新同一个主键的时候的先后顺序)
这几种常用的方式中，第1和1.1方式兼顾了性能和顺序性 --表维度的顺序性和mysql的完全一致
canal 使用注意事项相关推荐
- Binlog同步工具Canal部署使用
为什么80%的码农都做不了架构师?>>> Canal介绍 早期,阿里巴巴 B2B 公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基 ...
- canal原理的一些学习-2(HA 模式搭建)
简介 本篇主要介绍canal的HA集群的搭建过程,以及结合自身使用过程的一些经历介绍一些注意事项. 简介 1. 集群的搭建 1.1 机器准备 1.2 在两台canal机器上完成以下配置 1.2.1 ...
- mysql 分词搜索_实战 | canal 实现Mysql到Elasticsearch实时增量同步
题记 关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题,也是社区.QQ群等讨论最多的问题之一. 问题包含但不限于: 1.Mysql如何同步到Elasticsear ...
- Canal Mysql binlog 同步至 ElasticSearch 详细介绍
文章目录 数据同步ElasticSearch 单表基本配置 适配器映射文件详细介绍(单表.多表映射介绍) 单表映射索引示例sql 单表映射索引示例sql带函数或运算操作 多表映射(一对一, 多对一)索 ...
- doris同步作业配置参数修改和注意事项
创建同步作业 创建数据同步作业的的详细语法可以连接到 Doris 后,执行 HELP CREATE SYNC JOB; 查看语法帮助.这里主要详细介绍,创建作业时的注意事项. job_name job ...
- 增量同步_实战 | canal 实现Mysql到Elasticsearch实时增量同步
题记 关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题,也是社区.QQ群等讨论最多的问题之一. 问题包含但不限于: 1.Mysql如何同步到Elasticsear ...
- canal deployer+canal adapter自动同步MySQL数据到ElasticSearch
一.安装Elastic Search 6.8 1.下载 Elastic Search 6.8资源下载 2.部署环境配置 创建用户(es不能使用root启动,否则报错) adduser elastic ...
- 系统重构数据同步利器之Canal实战篇
一.背景 二话不说,先上图 上图来自于官网(https://github.com/alibaba/canal),基本上涵盖了目前生产环境使用场景了,众所周知,Canal做数据同步已经是行业内标杆了.我 ...
- 基于Canal+kafka监听数据库变化的最佳实践
1.前言 工作中,我们很多时候需要根据某些状态的变化更新另一个业务的逻辑,比如订单的生成,成交等,需要更新或者通知其他的业务.我们通常的操作通过业务埋点.接口的调用或者中间件完成. 但是状态变化的入口 ...
最新文章
- WCF分发简述-ChannelDispatcher,EndpointDispatcher,MessageFilter
- ML之H-Clusters：基于H-Clusters算法利用电影数据集实现对top 100电影进行文档分类
- mysql目录权限设置_MySQL文件及目录权限设置分析-爱可生
- 数据结构题：根据所给权值设计相应的哈夫曼树,并设计哈夫曼编码
- Quartz Job scheduling 基础实现代码
- java获取linux下面所有线程,获取Linux中Java线程的线程ID
- java date 转换sql date_java.util.Date和java.sql.Date之间的转换
- android 保留edittext中的文字不被后面添加的文字覆盖_【Go语言绘图】图片添加文字（一）...
- CMMI3 和 CMMI 4
- 阿里巴巴Java开发手册.pdf （详尽版 和 终极版）
- ie8打不开java项目_IE8点击打开没反应，尝试多种方法始终打不开
- netty 之 异步处理双子星io.netty.util.concurrent.Future与io.netty.util.concurrent.Promise
- 超级计算机运算中心,中国科学技术大学超级计算中心
- 海报绘制 - Java 贴图 - Java 图片绘制工具类
- NR-PRACH接受端如何检测出preambleid和TA的
- Mysql数据库快速插入亿级数据
- 入门级c语言小游戏———实现三子棋（图文详解，代码可复制）
- python怎么定义int_python中如何定义int类型
- 《经济计量学精要》读书笔记
- socket udp java_JAVA Socket之UDP | 学步园