MySQL数据库实现本地数据库和远程服务器数据库数据同步

项目中有两个数据库：本地数据库和远程服务器数据库。数据要在本地经过数据洗涤后才传上服务器数据库。之前用的Navicat工具，但是速度慢，且无法设置定时同步。后来改用Datax，它的效率真的非常高。
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
官方地址：下载地址。
我是下载完整包,比较方便不用maven编译
使用步骤:
(1)环境准备：
JDK1.8、python2.6.x（装python3.0会报错）、maven3.x.x(下载源码包时，需要用maven编译)
(2)使用：
将下载好的datax.tar.gz解压，找到job.json文件，路径：E:\datax\job\job.json,用编辑器打开：

{"job": {"setting": {"speed": {"channel":1},},"content": [{"reader": {"name": "mysqlreader","parameter": {
"connection": [{//配置sql语句查询要同步的数据querySql，配置querySql后不需要配置column和table，因为当用户配置querySql时，MysqlReader直接忽略table、column、where条件的配置，querySql优先级大于table、column、where选项。"querySql": ["select * FROM 表名 WHERE date1>='2018-12-24';"],"jdbcUrl": ["jdbc:mysql://[读数据数据库的ip地址]:3306/数据库名?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true"],}],"password": "登录数据库的密码","username": "登录数据库的用户名",}},"writer": {"name": "mysqlwriter","parameter": {"password": "登录数据库的密码","username": "登录数据库的用户名","column":["*"],"connection": [{"jdbcUrl": "jdbc:mysql://[写数据的IP地址]/数据库名","table": ["数据表名"]}],}}}]}
}

打开cmd控制台，执行datax的datax.py，命令：python E:\datax\bin\python E:\datax\job\job.json,运行结果：

MySQL数据库实现本地数据库和远程服务器数据库数据同步相关推荐

mysql数据库提示本地无法连接远程服务器（Host is not allowed to connect to this MySQL server）解决办法
问题描述: 1.远程服务器安装了mysql服务并且启动成功,在本地可以进行自由的访问和更新等操作 2.服务器已开通了远程访问服务器3306端口的权限并且通过netstat -ltnp命令查看3306处 ...
XAMPP连接远程服务器数据库
1.XAMPP下载 https://www.apachefriends.org/download.html 2.直接下一步下一步安装 3.安装完成,打开 http://localhost/phpmya ...
scp复制本地文件到远程服务器,scp 本地文件到远程服务器
linux中scp命令的使用 linux远程拷贝文件命令:scp(scp:secure corp)(1)从本地拷贝文件到远程服务器scp/opt/script/test.pl root@192.168 ...
Redis:本地客户端连接远程服务器方法
Redis:本地客户端连接远程服务器方法找到本地redis-cli.exe存放位置,打开命令行输入下面命令 ./redis-cli -h 127.0.0.1 -p 6379 其中127.0.0.1 ...
本地电脑与远程服务器之间无法复制粘贴解决方法
本地电脑与远程服务器之间无法复制粘贴解决方法情况说明:远程window服务器,将本地文本复制粘贴到window服务器上时,突然粘贴不了,影响工作效率. 解决方法:重启window服务器上rdpcli ...
vs code 如何在服务器打开文件,本地VSCode编辑远程服务器文件
前言先说下我的场景:服务器搭设了一系列复杂环境,然后需要使用PHP实现某些功能选这种远程编辑的原因: 首先PHP打死我也不想装(这个现在是出了VB外最惹人厌的语言了) 然后环境比较复杂,本地装下比 ...
本地Pycharm连接远程服务器详细配置过程（直接在本地使用服务器显卡，很棒）
Pycharm远程工作前言一.建立远程服务器连接 1.创建远程连接 2.进行本地项目与远程项目之间的文夹路径映射 3.设置自动上传项目 4.验证是否连接成功二.本地配置Python解释器三.测 ...
本地电脑与远程服务器之间不能复制粘贴怎么办？
刚才用远程桌面登陆服务器,突然发现不能在本地电脑和远程服务器之间粘贴文本了,即不能从服务器复制文本粘贴到本地电脑,也不能从本地电脑复制文本粘贴到服务器. 这个问题怎么解决呢? Windows 目前针对 ...
linux讲日志暂停,linux – Rsyslog在日志轮换后停止向远程服务器发送数据
在我的配置中,我有rsyslog负责使用imfile跟踪/home/user/my_app/shared/log/unicorn.stderr.log的更改.使用TCP将内容发送到另一个远程日志记录服 ...

MySQL数据库实现本地数据库和远程服务器数据库数据同步

MySQL数据库实现本地数据库和远程服务器数据库数据同步相关推荐

最新文章

热门文章