【TiDB专题】基础篇TiDB数据迁移

  • TiDB Data Migration (DM)
  • TiDB Lightning
  • Dumpling
  • TiCDC
  • TiDB Binlog
  • Backup & Restore (BR)
  • sync-diff-inspector
# 全量数据迁移
# 增量数据迁移
# 集群全量数据初始化
# 集群增量数据同步

TiDB Data Migration (DM)

用于将数据从与 MySQL 协议兼容的数据库迁移到 TiDB
上游:MySQL,MariaDB,Aurora
下游:TiDB

TiDB Lightning

用于将数据全量导入到 TiDB
上游:

  • Dumpling 输出的文件
  • 从 Amazon Aurora 或 Apache Hive 导出的 Parquet 文件
  • CSV 文件
  • 从本地盘或 Amazon S3 云盘读取数据
    下游:TiDB

Dumpling

用于将数据从 MySQL/TiDB 进行全量导出
上游:MySQL,TiDB
下游:SQL,CSV

TiCDC

通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具,具有将数据还原到与上游任意 TSO 一致状态的能力,支持其他系统订阅数据变更
上游:TiDB
下游:TiDB,MySQL,Kafka,Confluent

TiDB Binlog

用于 TiDB 集群间的增量数据同步,如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群
上游:TiDB
下游:TiDB,MySQL,Kafka,增量备份文件

Backup & Restore (BR)

通过对大数据量的 TiDB 集群进行数据备份和恢复,实现数据迁移。
上游:TiDB
下游:SST,backup.meta 文件,backup.lock 文件

sync-diff-inspector

用于校验 MySQL/TiDB 中两份数据的一致性

【TiDB专题】基础篇TiDB数据迁移相关推荐

  1. TiDB数据库备份恢复与数据迁移

    TiDB数据库备份恢复与数据迁移 数据迁移 使用 mydumper/loader 全量导入数据 mydumper/loader 全量导入数据最佳实践 某次导入示例,以及相关的配置 从 MySQL 导出 ...

  2. layui数据表格(一:基础篇,数据展示、分页组件、表格内嵌表单和图片)

    表格展示神器之一:layui表格 前言:在写后台管理系统中使用最多的就是表格数据展示了,使用表格组件能提高大量的开发效率,目前主流的数据表格组件有bootstrap table.layui table ...

  3. 【MySQL基础篇】数据导出导入权限与local_infile参数

    [MySQL基础篇]数据导出导入权限与local_infile参数 问题背景 数据导出测试 创建测试库(在主库进行) 测试数据导出(在从库进行) 测试数据导入(在主库进行) 问题背景 MySQL高可用 ...

  4. Dubbo 专题(基础篇):Dubbo 介绍、环境搭建与实践

    前几天复习了 Dubbo 相关的技术点,趁热打铁记录一下,本篇博客属于 Dubbo 的入门基础篇,内容主要包括 Dubbo 概念,Dubbo 特点,Dubbo 基本工作原理,Dubbo 环境搭建,Du ...

  5. MySQL基础篇:数据定义语言DDL

    文章目录 1.介绍 2.操作数据库Database 创建数据库 查看有哪些数据库 删除数据库 选择数据库 查看当前正在使用哪个数据库 3.表结构的操作 查看当前数据库的所有表 创建表结构 查看表结构 ...

  6. Java专题 基础篇--判断(三元表达式,switch等) +个税计算案例

    Java中各种判断 判断主要通过表达式或者boolean值来判断 比如 大于(>),小于(<),等于(==),大于等于(>=),小于等于(<=), 不等于(!=) 要注意 单个 ...

  7. 大数据课程00——[基础篇]大数据学习入门

    文章作者邮箱:yugongshiye@sina.cn              地址:广东惠州 ▲ 前置知识 一.编程语言 至少应该掌握一门编程语言,计算机专业的同学大多学的第一门编程语言是 C语言, ...

  8. MySQL基础篇:数据操作语言DML

    1.概述 数据操作语言(DML)用于插入.修改.删除.查询数据记录,包括以下SQL语句: INSERT:添加数据到数据库中 UPDATE:修改数据库中的数据 DELETE:删除数据库中的数据 2.插入 ...

  9. WF4.0 基础篇 (六) 数据的传递 Arguments 参数

    节主要介绍如何在WF4.0中使用参数,以及在流程启动时传入参数据在流程结束时读取参数 本文例子下载: http://files.cnblogs.com/foundation/ArgumentsSamp ...

最新文章

  1. 华谊兄弟出现什么问题_曾经的影视龙头一哥华谊兄弟,为什么如今混得那么惨?...
  2. 【Qt】在ubuntu上打包发布Qt程序,可以不依赖Qt环境
  3. 智慧电梯物联网 未来电梯将更智能
  4. php简单文章,php编写简单的文章发布程序
  5. Paper之Algorithms:国内外Algorithms高质量论文、CUMCM分类推荐(建议收藏,持续更新)
  6. 如何用堆栈和循环结构代替递归调用--递归转换为非递归的10条军规
  7. 又一款度盘不限速神器!无需登录即可下载
  8. 李佳琦“云逛”进博会 携手央视带货阿富汗松子
  9. sap 新建事务_SAP GUI里的收藏夹事务码管理工具
  10. 机器学习代码实战——SVM(支持向量机)(使用不同核函数)
  11. mysql主键和外键的连接_MySQL主键和外键使用及说明
  12. Linux安装gcc和运行代码教程
  13. js json转excel并下载
  14. 信号处理电路整理(RC、运放、TTL)
  15. 风尚云网学习-本地拖拽文件夹实现gitee码云代码文件提交
  16. 分数阶微分_分数微分特征
  17. Cannot create an instance of class AndroidViewModel (androidx ViewModelProvider AndroidViewModel)
  18. 音频识别(Audio Classification)学习笔记
  19. linux 多播路由查看,实现Linux下多播路由
  20. N70 (葵花宝典)

热门文章

  1. 下拉菜单的四种实现方式
  2. windows10 解决打开下载文件夹很慢的问题
  3. 智慧农业五大应用项目
  4. python人工智能算法包_Python 人工智能算法工具包 SimpleAI
  5. 使用jquery追加table行
  6. Android 11.0 去掉无法连接到 WLAN 网络的通知
  7. WhatsApp-跨境电商必争之地
  8. 运放输出接电容会带来的问题
  9. [ R ] 如何在iPadOS、iOS和MacOS上优雅的跑R —— 使用腾讯云搭建RStudio server的懒人包
  10. 使用YYModel 字典转换模型