数据同步结合Crontab

需求：定时同步mysql服务器上的表到另外个数据库内

解决方法：结合linux的contable和mysqldump命令完成该功能

Mysql&Shell

#!/bin/bash
PORT="3306" #端口号
USERNAME="bidbuser" #用户名
PASSWORD="!#1276983ert" #密码
DBNAME="testdb" #数据库名称
RUNDATE=`date +%Y-%m-%d`
HAVEORDER="0"
CLASSIFY="0"PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin####1 数据同步,生成相应推送数据
mysqldump -u'mysqluser' -p'test@ter' -h'192.168.128.15' smartyou tb_user tb_food  tb_city >db.sql
mysql -u$USERNAME -p$PASSWORD -D$DBNAME < '/root/db.sql'
mysql -u$USERNAME -p$PASSWORD -D$DBNAME -P$PORT -e "call pro_gen_recomondcook ('${RUNDATE}')" 1>/root/sysc_test.log####2 数据同步,生成相应推送数据
mysqldump -umytest2 -p'test2@123' -h'192.168.128.16' db_test tb_carry tb_good --set-gtid-purged=OFF>test.sql
mysql -u$USERNAME -p$PASSWORD -D$DBNAME < '/root/test.sql' 1>/root/sysc.log
mysql -u$USERNAME -p$PASSWORD -D$DBNAME -P$PORT -e "call pro_gen_recomondcomm (${HAVEORDER},${CLASSIFY},'${RUNDATE}')" 1>/root/sysc_test.log

crontab –l0 */12 * * * /root/mysqlsync.sh >/root/sync_recom.log2>&1

代码解读：

1）定义常用变量，如DBNAME、USERNAME，指定时间RUNDATE，这里通过date +%Y-%m-%d获取时间会保证每次调度时时间会生成新的

2）重新指定环境变量 PATH=…

3） mysqldump –u用户名 –p密码 –h服务器数据库名表名表名>db.sql文件名，作用是将指定数据库里的表以sql的形式导出，这里有建表语句和insert into语句

4） mysql –u用户名 –p密码 –D数据库 –P端口号 –e执行的语句，这里可以调用存储过程并且可以传参数

5）crontab里的意思是没隔12小时跑一次

数据同步结合Crontab相关推荐

linux 环境 crontab+shell+sqlplus 调用oracle 存储过程实现数据同步
需求背景:与第三方厂商合作使用sql_loadv1.0进行数据加载,他们负责推数,我拉数. 执行流程: 1.ODS推数-------->sftp服务器 2.拉数-------->sftp服 ...
Linux 数据同步方案
方案背景:A服务器和B服务器之间(可1对1,也可多对多,在此以简单的1对1举例)需要数据同步,此方案常用于远程灾备. 同步方案根据应用场景大约有两种,定时同步和实时同步.定时同步具有同步时间固定.实时 ...
DRBD数据同步部署-centos7
DRBD数据同步 DRBD安装:(ha高可用集群.:在7的版本下) 环境: 172.25.0.29 node1 172.25.0.30 node2 1.首先我们需要在node1和node2上添加一 ...
对采用rsync+inotify数据同步方式进行健康检测
一.问题背景我们平时一般都采用 rsync + inotify 的方式进行网站数据实时同步,有时会遇到不能正常推送到某台服务器,而不能及时发现,因此有必要对数据同步进行健康检测. 二.技术原理在源 ...
Linux服务器和客户端之间的数据同步（备份）
最近实验室总是停电,电脑今天系统出现了点问题,所以需要对数据进行备份,以防硬盘发生突然损坏.目前用到的方法是通过rysnc和inotify协同数据同步,数据可以实时更新.另外,对于经常改变且比较大的数 ...
elasticsearch 数据类型_基于 MySQL Binlog 的 Elasticsearch 数据同步实践
来源;马蜂窝一.背景随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存 ...
基于 MySQL Binlog 的 Elasticsearch 数据同步实践
一.为什么要做随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存储业务数 ...
Linux的rsync远程数据同步工具
Rsync(remote synchronize) 是一个远程数据同步工具,可以使用"Rsync算法"同步本地和远程主机之间的文件. rsync的好处是只同步两个文件不同的部分,相 ...
执行sqoop 用shell_Mysql和Hive之间通过Sqoop进行数据同步
文章回顾理论大数据框架原理简介大数据发展历程及技术选型实践搭建大数据运行环境之一搭建大数据运行环境之二本地MAC环境配置 CPU数和内存大小查看CPU数 sysctl machdep. ...

数据同步结合Crontab

数据同步结合Crontab相关推荐

最新文章

热门文章