摘要:很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Cloud,可以非常方便地完成 MySQL 数据实时同步到PostgreSQL,跟大家分享一下,希望对你有帮助。

本次 MySQL 数据实时同步到 PostgreSQL大概只花了几分钟就完成。使用的工具是 Tapdata Cloud ,这个工具是永久免费的。

MySQL 到 PostgreSQL 实时数据同步实操分享

  • 第一步:配置MySQL 连接
  • 第二步:配置 PostgreSQL 连接
  • 第三步:选择同步模式-全量/增量/全+增
  • 第四步:进行数据校验
  • 其他数据库的同步操作

第一步:配置MySQL 连接

1.点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择MySQL

2.在打开的连接信息配置页面依次输入需要的配置信息

【连 接 名 称】:设置连接的名称,多个连接的名称不能重复

【数据库地址】:数据库 IP / Host

【端 口】:数据库端口

【数据库名称】:tapdata 数据库连接是以一个 db 为一个数据源。这里的 db 是指一个数据库实例中的 database,而不是一个 mysql 实例。

【账 号】:可以访问数据库的账号

【密 码】:数据库账号对应的密码

【时 间 时 区】:默认使用该数据库的时区;若指定时区,则使用指定后的时区设置

测试连接,提示测试通过

测试通过后保存连接即可。

第二步:配置 PostgreSQL 连接

1.同第一步操作,点击左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择 PostgreSQL

2.在打开的连接信息配置页面依次输入需要的配置信息,配置完成后测试连接保存即可。


第三步:选择同步模式-全量/增量/全+增

进入Tapdata Cloud 操作后台任务管理页面,点击添加任务按钮进入任务设置流程

根据刚才建好的连接,选定源端与目标端。

根据数据需求,选择需要同步的库、表,如果你对表名有修改需要,可以通过页面中的表名批量修改功能对目标端的表名进行批量设置。

在以上选项设置完毕后,下一步选择同步类型,平台提供全量同步、增量同步、全量+增量同步,设定写入模式和读取数量。

如果选择的是全量+增量同步,在全量任务执行完毕后,Tapdata Agent 会自动进入增量同步状态。在该状态中,Tapdata Agent 会持续监听源端的数据变化(包括:写入、更新、删除),并实时的将这些数据变化写入目标端。

点击任务名称可以打开任务详情页面,可以查看任务详细信息。

点击任务监控可以打开任务执行详情页面,可以查看任务进度/里程碑等的具体信息。

第四步:进行数据校验

一般同步完成后,我都习惯性进行一下数据校验,防止踩坑。

Tapdata Cloud 有三种校验模式,我常用最快的快速count校验 ,只需要选择到要校验的表,不用设置其他复杂的参数和条件,简单方便。

如果觉得不够用,也可以选择表全字段值校验 ,这个除了要选择待校验表外,还需要针对每一个表设置索引字段。

在进行表全字段值校验时,还支持进行高级校验。通过高级校验可以添加JS校验逻辑,可以对源和目标的数据进行校验。

还有一个校验方式关联字段值校验 ,创建关联字段值校验时,除了要选择待校验表外,还需要针对每一个表设置索引字段。

上面就是我亲测的 MySQL数据实时同步到 PgSQL 的操作分享,希望对你有帮助!码字不易,转载请注明出处~

其他数据库的同步操作

其他数据库数据实时同步到 Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、Dummy DB 的方式也都是先配置源和目标的连接,然后新建任务选择同步模式:全量/增量/全量+增量,因为步骤相同,其他就不再贴图说明了。创建连接的时候,有没有发现:DB2、Sybase、Gbase 几个数据库现在是灰色锁定状态,应该是在开发中了,可能后续也会支持这些数据库的同步功能。Tapdata Cloud 是承诺永久免费使用的,不过要求更高、有预算的朋友也可以使用企业版,具体可访问Tapdata 官网:tapdata.net ,还可以申请试用。如果你觉得有用请收藏点赞和评论,有数据库相关的问题随时联系我~!

MySQL 到 ADB MySQL 实时数据同步实操分享
MySQL 到 ADB PostgreSQL 实时数据同步实操分享
MySQL 到 ClickHouse 实时数据同步实操分享
MySQL 到 DM DB 达梦数据库实时数据同步实操分享
MySQL 到 Elasticsearch 实时数据同步实操分享
MySQL 到 GreenPlum 实时数据同步实操分享
MySQL 到 Hazelcast Cloud 实时数据同步实操分享
MySQL 到 Kafka 实时数据同步实操分享
MySQL 到 KunDB 实时数据同步实操分享
MySQL 到 MongoDB 实时数据同步实操分享
MySQL 到 MQ 实时数据同步实操分享
MySQL 到 MySQL 实时数据同步实操分享
MySQL 到 PostgreSQL 实时数据同步实操分享
MySQL 到 SQL Server 实时数据同步实操分享
MySQL 到 Oracle 实时数据同步实操分享

MySQL 到 PostgreSQL 实时数据同步实操分享相关推荐

  1. MySQL 到 MongoDB 实时数据同步实操分享

    MySQL数据怎么实时同步到 MongoDB 实践分享系列 摘要:很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同 ...

  2. MySQL 到 ClickHouse 实时数据同步实操分享

  3. MySQL 到Oracle 实时数据同步实操分享

  4. MySQL 到 MySQL 实时数据同步实操分享

    摘要:很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.最近了解到一款实时数据同步工具 Tapdata C ...

  5. MySQL 到 SQL Server 实时数据同步实操分享

    摘要:很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.最近了解到一款实时数据同步工具 Tapdata C ...

  6. MySQL 到 DM DB 达梦数据库实时数据同步实操分享

  7. TiDB 作为 MySQL Slave 实现实时数据同步

    由于 TiDB 本身兼容绝大多数的 MySQL 语法,所以对于绝大多数业务来说,最安全的切换数据库方式就是将 TiDB 作为现有数据库的从库接在主 MySQL 库的后方,这样对业务方实现完全没有侵入性 ...

  8. Oracle到MySQL实时数据同步CloudCanal实战

    简述 CloudCanal 2.1.0.x 版本开始支持 Oracle 作为源端的数据迁移同步能力,目前邀请测试中. 本文通过 Oracle 到 MySQL 的数据迁移同步案例简要介绍这个源端的能力. ...

  9. ubuntun系统mysql数据库同步_Canal 实现 Mysql数据库实时数据同步

    简介 1.1 canal介绍 ​ Canal是一个基于MySQL二进制日志的高性能数据同步系统.Canal广泛用于阿里巴巴集团(包括https://www.taobao.com),以提供可靠的低延迟增 ...

最新文章

  1. 再探C#类与结构体究竟谁快——考虑栈变量、栈分配、64位整数、密封类
  2. 对比Android和iPhone的优缺点
  3. Android-获取窗口的宽度与高度
  4. norm--求矩阵和向量的范数
  5. oracle cpu 利用率过高 kswapd0_服务器带宽监测与利用率过高的解决办法
  6. PyTorch学习问题记录
  7. centos 需要哪些常用端口_仓库加盟:电商仓库需要配备哪些常用仓储设备
  8. Firefox(火狐)下载时卡在最后1秒解决办法
  9. MongoDB 复制集的结构以及基本概念
  10. 【sklearn第二十讲】聚类
  11. 贝加莱plc用c语言,贝加莱PLC快速入门.pdf
  12. 《大型网站技术架构:核心原理与案例分析李智慧》pdf版电子书网盘附下载链接+仪式感技术书阅读法
  13. android扁平化按钮图标,35个扁平化设计(Flat UI)图标UI Kit素材下载
  14. 分集与复用,分集用于抵抗信道衰落,复用用于提升系统容量
  15. 编译和执行区别 c语言,C语言编译和执行分析
  16. 连接计算机名提示输入网络凭据,Win10访问局域网共享文件时提示输入网络凭据如何解决...
  17. commvault oracle容灾,解析Commvault云管理解决方案如何实现数据的一体化管理
  18. android系统支持4T硬盘吗,电脑是否有可能,支持3T硬盘,但不支持4T硬盘
  19. Unity3d中最简单物体的旋转移动
  20. (九) 基于cadence 617 电流镜仿真对比 笔记记录

热门文章

  1. 几种相册图片布局方式
  2. Butterfly主题安装文档(二)之主题配置
  3. 考研分割线——关于考研自己的感想
  4. PPT基础(二十六)参考线和辅助线
  5. xp系统查找哪台计算机,WinXP如何查看电脑使用记录?查看电脑使用痕迹的方法...
  6. c语言和编程是什么关系,C语言与其他编程语言的关系
  7. PPT放映,默认显示器调整
  8. https和http有什么差别、如何抓包、中间人攻击原理
  9. 关于排序二叉树和平衡二叉树的基础知识
  10. 求助:Tinker热更新配置,平台识别失败(问题原因已找到,特此记录)