【Canal源码分析】TableMetaTSDB

2019独角兽企业重金招聘Python工程师标准>>>

这是Canal在新版本引入的一个内容，主要是为了解决由于历史的DDL导致表结构与现有表结构不一致，导致的同步失败的问题。采用的是Druid和Fastsql，来记录表结构到DB中，如果需要进行回滚时，得从DB中根据时间点去查到对应的库表结构，然后进行业务的处理。也就是，如果我们想要这样的效果，需要开启TSDB的功能，同时要新增库表来记录表结构的变更。

这个基本上是在parser启动时，寻找位点时需要的。当然在系统启动的时候，会将库表的信息写入到DB中，然后定时24小时写入一次。另外就是在发生了DDL时，会更新表结构。

我们来看下他的类图。

一张表记录的是表结构，加上了时间，另一张记录的是当时的DDL语句。在进行回溯的时候，直接根据时间戳和binlog文件名来进行寻找即可找到。当然这些数据也会在内存中保存一份，加快速度。

具体的介绍可以见这个链接https://github.com/alibaba/canal/wiki/TableMetaTSDB。

转载于:https://my.oschina.net/nuaazhaofeng/blog/1821761

【Canal源码分析】TableMetaTSDB相关推荐

Canal源码分析deployer模块
canal有两种使用方式:1.独立部署 2.内嵌到应用中. deployer模块主要用于独立部署canal server.关于这两种方式的区别,请参见server模块源码分析.deployer模块源码 ...
【转】canal源码分析
canal源码分析,canal server源码分析,canal deployer源码分析.转载保留记录.当做笔记.侵权告知. 以下为转载内容早期,阿里巴巴 B2B 公司因为存在杭州和美国双机房部署 ...
【Canal源码分析】Sink及Store工作过程
一.序列图二.源码分析 2.1 Sink Sink阶段所做的事情,就是根据一定的规则,对binlog数据进行一定的过滤.我们之前跟踪过parser过程的代码,发现在parser完成后,会把数据放到一 ...
Redis分布式锁解析源码分析
Redis分布式锁解析&源码分析概述实战简单的分布式锁 Redisson实现分布式锁 Redission源码分析构造方法获取锁lock 解锁锁失效红锁案例分析原始的写法进化 ...
【Golang源码分析】Go Web常用程序包gorilla/mux的使用与源码简析
目录[阅读时间:约10分钟] 一.概述二.对比: gorilla/mux与net/http DefaultServeMux 三.简单使用四.源码简析 1.NewRouter函数 2.HandleF ...
SpringBoot-web开发(四): SpringMVC的拓展、接管（源码分析）
[SpringBoot-web系列]前文: SpringBoot-web开发(一): 静态资源的导入(源码分析) SpringBoot-web开发(二): 页面和图标定制(源码分析) SpringBo ...
SpringBoot-web开发(二): 页面和图标定制(源码分析)
[SpringBoot-web系列]前文: SpringBoot-web开发(一): 静态资源的导入(源码分析) 目录一.首页 1. 源码分析 2. 访问首页测试二.动态页面 1. 动态资源目录t ...
SpringBoot-web开发(一): 静态资源的导入(源码分析)
目录方式一:通过WebJars 1. 什么是webjars? 2. webjars的使用 3. webjars结构 4. 解析源码 5. 测试访问方式二:放入静态资源目录 1. 源码分析 2. 测 ...
Yolov3Yolov4网络结构与源码分析
Yolov3&Yolov4网络结构与源码分析从2018年Yolov3年提出的两年后,在原作者声名放弃更新Yolo算法后,俄罗斯的Alexey大神扛起了Yolov4的大旗. 文章目录论文汇总 ...

【Canal源码分析】TableMetaTSDB

【Canal源码分析】TableMetaTSDB相关推荐

最新文章

热门文章