datax，同步数据，mysql sqlserver 双向

mysql sqlserver 双向同步

在使用sqlserver连接服务器时遇到坑（不细说），所以使用一下的替代方案。

参考：
mysql实时同步到mssql的解决方案
https://×××w.cnblogs.com/liweis/p/4749961.html

DataX 阿里巴巴集团的离线数据同步工具/平台（各种异构数据源之间高效的数据同步）。
主页 https://github.com/alibaba/DataX
介绍 https://github.com/alibaba/DataX/blob/master/introduction.md
Support Data Channels(点读或写会有具体说明) https://github.com/alibaba/DataX
Quick Start https://github.com/alibaba/DataX/blob/master/userGuid.md

在2边的数据库中都做一下配置：

新建一张与同步表结构一样的表，在表内增加一列OpType、一列CTime(默认值为当前时间)、一列操作状态status（0未操作，1已经操作）
使用不同的触发器对OpType列写入相应的值（I表示插入记录，U表示修改记录，D表示删除记录）
PS：DataX不能执行物理删除所有把逻辑放在存储过程里

使用DataX同步，在where里使用CTime来区分需要同步的内容，然后在存储过程里可以完成逻辑

DataX使用笔记
如果表上有触发器会随着写入一起执行,这里的执行意思是如果有错误也可能是触发器里的,但是错误信息不会提示错误发生在那个步骤。
经过一段时间的开发,发现还是需要自己写很多代码而且不能物理删除,所以选择不再继续下去了,找了一个开源软件挺不错的叫SymmetricDS,目前正在开发中等好了上新笔记

转载于:https://blog.51cto.com/ikezcn/2321051

datax，同步数据，mysql sqlserver 双向相关推荐

mysql 5.5 主从双向同步,请教mysql 定时双向主从同步問題
--主机开两个窗口,一个进入mysql,一个是shell--主机阻断写操作mysql>FLUSHTABLESWITHREADLOCK;QueryOK,0rowsaffected(0.00sec) ...
hive-staging文件问题——DataX同步数据重复
1.产生原因 1.使用Hue的界面工具执行Hive-sql.Hue会自动保存sql执行结果方便用户能够查看历史执行记录,所以会在相应目录下生成hive-staging文件: 2.Hive-sql任务执 ...
使用datax同步cassandra数据
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现各种异构数据源之间高效的数据同步功能.最近,阿里云cassandra团队为datax提供了cassandra读写插件,进一步丰富了d ...
DATAX工具同步数据从hdfs到drds性能优化
问题描述在客户现场运维过程中,使用datax同步数据从hdfs到drds速度极其缓慢,因此希望进行datax的json文件进行优化,提升速度,同步缓慢及报错如下: 问题分析对于datax的使用问题 ...
mysql自动同步数据_MySQL数据库实现双向自动同步
[IT168 技术]本文将探讨如何通过MySQL数据库的高级特性,实现数据库的双向自动同步,确保数据的冗余与完整性.通过以往真实的项目实战与经验,把操作实施过程全部记录下来,主要有以下几个主要内容. ...
SqlServer数据实时同步到mysql
SqlServer数据实时同步到mysql 一.首先要装一个ODBC的驱动用来建立mysql的连接.http://www.mysql.com/products/connector/ 注意:一定要用32 ...
datax从mysql同步数据到elasticsearch（使用es的动态模板）
elasticsearch中设置动态模板 PUT _template/hkey_transferbill { "order":0 //order表示模板的优先级,值越大优先级越高, ...
mysql服务器网关,数据库智能网关-PLC与SQLServer／MySQL数据库双向通讯SELECT／INSERT...
在线QQ客服:1922638 专业的SQL Server.MySQL数据库同步软件查询服务器数据报告 SQLServer/MySQL数据库查询(SELECT)/报表(INSERT); 相关案例PLC ...
DataX离线数据同步
目录 1 DataX 2 ODPS同步数据到HDFS HA 配置 Kerberos 配置域外访问配置 3 HDFS同步数据到另一个HDFS 4 MongoDB同步数据到HDFS 5 带 Kerber ...
mysql 定时同步数据_MySQL数据同步之otter
一.otter介绍基于日志数据,用于MySQL或者ORACLE之间准实时同步数据. 用途: mysql/oracle互相同步中间表/行记录同步二.原理及架构图 otter整体模块 manager ...

datax，同步数据，mysql sqlserver 双向

datax，同步数据，mysql sqlserver 双向相关推荐

最新文章

热门文章