一、工具介绍

dbbridge是腾讯云提供的用于实现oracle、mysql等异构数据库迁移到Tbase、TDSQL的工具。目前只有私有化部署,要想获取安装包需要联系腾讯云的客服/技术支持。

dbbridge的功能其实蛮多的,可以实现tbase方向数据同步和把数据订阅到kafka.

二、安装过程

略,因为都是腾讯云的技术工程师帮忙安装的,所以偶也不知道怎么安装。

不过在未来公有云paas化的路上,懂不懂安装已经不重要了,重要怎么应用。

三、应用介绍

dbbridge提供四大功能:

  1. 迁移评估
  2. 结构迁移
  3. 全量迁移
  4. 增量迁移
  5. 数据校验【默认进行】

看图:

创建任务

1、 输入任务名称

2、 选择【通道类型】,无非就是oracle2tbase,oracle2tdsql 这些通道,我们这里选择oracle2tbase

3、数据源 ,第一次进行需要新建,你点新建就可以了,就是配置一下ip,port 用户/密码这些信息。。。

4、数据源选择好,一定要选择【测试连接】-->【加载】这时才会把源库里的对象加载到下面的列表框中,否则你是什么也看不到。

5、目标端同样操作。

6、迁移规则模版,我也是选择默认的oracle2tbase,基本在迁移过程中不会报错。够用。

7、配置好后,可以进行迁移【对象】选择,可以按整个schema、table、index、view、procedure进行迁移。但建议只做table、view、index迁移。procedure、function还是以手动为主好一点。

小技巧:在迁移列表框里在放大镜左边可以输入表名进行精准和模糊查询(格式%object_name%),输入完后,按回车,然后逐层点开,就可以看到你想迁移的对象。

8、最后保存退出。这里只是创建任务,还没有运行任务。

运行任务

看下图

点击详情进入,看到下图,然后点击【流程图上具体的标签】进入步骤详细配置和启动步骤,每一个步骤都是这样操作。【第一次使用是我以为流程图是用来看,一点也不知道怎么触发启动】

迁移评估

迁移评估共分为两部分:

1、对象评估,就是评估源库里那些对象是可以直接通过dbbridge转换到目标端可以兼容的类型和语法。一般的table\index\view是没有问题。

2、应用评估,这里评估你源库里运行过的sql是否可以直接在目标端运行。实践表明这里只是一个评估作用,只能做参考,实际上还是需要测试的。

评估完,就会打兼容分,然后给出一些建议,如怎么改语法,怎么换类型之类的。

结构迁移

以tbase为例

点击进去后,点击开始迁移,这里就会发现有几个项目需要配置:

  1. 是否设置分布表 ,选择否,意思是不为迁移的表自定义选择分布表还是复制表和分布键,这时dbbridge就会自动帮你选择,所有表为分布表,每个表主键的第一个关键字作为分布键。
  2. 是否设置分布表,选择是,就是需要你手工指定每个表的类型和分布键。如果有几百个表这样指定,一定会疯掉。所以建议还是自己写个脚本在源库里生成脚本。
  3. 这里提一个坑,当你选择‘不设置分布表时’,dbbridge自动选择分布键的话,你的唯一索引建立失败的几率比较高,都要你手工订正。因为tbase 唯一索引里必须包含分布键。

全量/增量迁移/数据校验

这个环节没有什么好说的,和etl那样进行就可以了。

最后补充一下,提升迁移效率的配置

据腾讯技术说,要提升效率在这里设置抽取和装载的行数。。最后建议如果这个工具里有并发数设置就完美了。

Tbase基础积累二之数据迁移工具dbbridge相关推荐

  1. 【信息科学技术与创新】 人类大脑中数据的产生,积累,增长 数据与信息 神经信息学

    人类大脑中数据的产生.积累与增长 摘要 本文首先提出人类大脑的基本定义,数据与信息的相关概念 之后从神经元以及突触的作用机制分析人类大脑中数据的产生.积累与增长 最后结合神经信息学对未来的脑科学相关技 ...

  2. 大数据基础学习二:在VMware虚拟机上安装Ubuntu完整步骤及需要注意的问题(以VMware Workstation 15.1.0 Pro和Ubuntu18.04.3优麒麟版为例)

    大数据基础学习二:在VMware虚拟机上安装Ubuntu完整步骤及需要注意的问题 (以VMware Workstation 15.1.0 Pro for Windows和Ubuntu18.04.3优麒 ...

  3. Python数据分析——Matplotlib数据可视化基础(二)

    Python数据分析--Matplotlib数据可视化基础(二) 思维导图: 图形的绘制 认识要绘制的图形 基本绘图流程 pyplot基础图表函数 pyplot饼图的绘制 pie函数 matplotl ...

  4. C语言基础应用(二)数据的转换与输入输出

    学习了C语言的基本数据类型后,我们可能会想这些数据如何进行运算,是否可以让不同类型的数据直接进行运算呢? 一.数据类型转换 1.1 int类型与float类型之间的转换 int i = 5; // j ...

  5. MySQL基础(二)

    MySQL基础(二) MySQL基础(一) 文章目录 MySQL基础(二) MySQL基础(一) 存储过程与函数 存储过程概述 理解 分类 创建存储过程 语法分析 代码举例 调用存储过程 调用格式 代 ...

  6. 8款数据迁移工具选型,主流且实用

    前言:ETL(是Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理.转换.迁移的场景.今天特地给大家汇总了一些目前市面上 ...

  7. 8 种主流数据迁移工具技术选型,yyds!

    点击上方"芋道源码",选择"设为星标" 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | ...

  8. 数据迁移工具,用这8种就够了!!!

    前言 最近有些小伙伴问我,ETL数据迁移工具该用哪些. ETL(是Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理.转 ...

  9. 【C++自我精讲】基础系列二 const

    [C++自我精讲]基础系列二 const 0 前言 分三部分:const用法.const和#define比较.const作用. 1 const用法 const常量:const可以用来定义常量,不可改变 ...

最新文章

  1. 56.4 AP!超越YOLOv4,更快更强的CenterNet2来了!
  2. Android中NFC编程
  3. UNIX重定向--dup(2)函数
  4. JavaWeb之文件上传
  5. python里面对文件的读写操作
  6. java 读取中文配置文件问题
  7. js实现新闻滚动-单行滚动或者多行滚动
  8. 数列分段(洛谷P1181题题解,Java语言描述)
  9. cover-letter
  10. 关于在线机器学习ftrl_proximal_lr的二三件事
  11. [uva11235]Frequent values(RMQ,ST,离散化)
  12. 那些月入5000的人,凭什么比你更早买房买车?
  13. springboot 指定 logback_Spring Boot日志框架实战解析
  14. Hangfire在ASP.NET CORE中的简单实现方法
  15. LR11安装报错:此计算机上缺少vc2005_sp1_with_atl_fix_redist,请安装所有缺少的必要组件,然后重新运行此安装。
  16. i5 9400f和i7 7700k哪个好
  17. JavaScript基础若干盲点总结
  18. 【BZOJ4134】【树上博弈】【博弈论】【线段树合并】ljw和lzr的hack比赛 题解
  19. h5滚动时侧滑出现_iH5中级教程:微场景H5必备,滑动时间轴+轨迹
  20. 企业如何选择一个好的网站设计公司?

热门文章

  1. 关于glRotatef(GLfloat angle,GLfloat x,GLfloat y,GLfloat z)的参数的一些理解
  2. go语言下载gin失败解决方案
  3. 中级JAVA程序员应该掌握的数据结构知识
  4. PageAdmin CMS建站系统最新版本(V4.0.09)体验评测
  5. bzip2格式文件解压
  6. Mac安装brew 及安装报错的解决办法【已解决】
  7. matlab函数 bsxfun浅谈
  8. Incorrect string value: ‘\\xB2\\xE9\\xD1\\xAF\\xCA\\xD3...‘ for column ‘name‘ at row 1
  9. dparsf是什么_回顾:第五届DPABI/DPARSF特训营暨DPABISurf加强营
  10. 软件定义网络(PART 3)