文档参考地址:http://blog.csdn.net/u010587433/article/details/49305019

需求:

使用Goldengate完成Mysql到Mysql的数据同步,源库的o2m-mc库同步到目标库的gmdc库,表名GMQDSJSP,换句话说,就是不同数据库之间表之间数据的同步

实验准备:

系统: CentOS 7.2

mysql版本 :  5.7-12

mysql-1 : 192.168.68.13     mysql-2:192.168.68.14

1、初始化

1)目标库创建数据库

mysql> create database gmdc;

2)导入数据

将源库表GMQDSJSP数据导出,然后导入到目标库中

mysqldump -uroot -p123456  --single-transaction --flush-logs --master-data=2 -B o2m-mc --tables GMQDSJSP > /tmp/GMQDSJSP20151021.sql

mysql -uroot -p123456 gmdc

2、源库

1)修改参数

在/etc/my.cnf的[mysqld]下添加如下参数

binlog_format=row

log-bin = mysql-bin          #开启二进制日志

重启

service mysqld restat

2)创建用户并授权

mysql> GRANT ALL PRIVILEGES ON `o2m-mc`.* TO 'ogg'@localhost IDENTIFIED BY 'ogg;

mysql> GRANT ALL PRIVILEGES ON `o2m-mc`.* TO 'ogg'@'%'IDENTIFIED BY 'ogg;

3)解压安装创建相应目录

unzip ggs_121210_Linux_x64_MySQL_64bit.zip -d /home/goldengate

cd /home/goldengate

tar xvf ggs_Linux_x64_MySQL_64bit.tar

./ggsci

GGSCI (hadooptest05) 1> create subdirs

Creating subdirectories under current directory /home/goldengate

Parameter files                /home/goldengate/dirprm: already exists

Report files                   /home/goldengate/dirrpt: created

Checkpoint files               /home/goldengate/dirchk: created

Process status files           /home/goldengate/dirpcs: created

SQL script files               /home/goldengate/dirsql: created

Database definitions files     /home/goldengate/dirdef: created

Extract data files             /home/goldengate/dirdat: created

Temporary files                /home/goldengate/dirtmp: created

Credential store files         /home/goldengate/dircrd: created

Masterkey wallet files         /home/goldengate/dirwlt: created

Dump files                     /home/goldengate/dirdmp: created

4)配置管理进程

GGSCI (hadooptest05) 2>  edit params mgr

port 7809

dynamicportlist 7840-7939

autorestart er *, retries 5, waitminutes 3

purgeoldextracts /home/goldengate/dirdat/*,usecheckpoints, minkeepdays 2

GGSCI (hadooptest05) 3> start mgr

Manager started.

5)配置抽取进程

GGSCI (hadooptest05) 4> edit param mce1

extract mce1

sourcedb o2m-mc@192.168.7.221:3306 userid ogg password ogg

exttrail /home/goldengate/dirdat/me

discardfile  /home/goldengate/dirrpt/mce1.dsc,append

TranLogOptions AltLogDest /home/mariadb/data/binlogs.index

table o2m-mc.GMQDSJSP;

GGSCI (hadooptest05) 5> add extract mce1,tranlog,begin now

GGSCI (hadooptest05) 6> add exttrail /home/goldengate/dirdat/me,extract mce1

GGSCI (hadooptest05) 7> start mce1

6)配置传递进程

GGSCI (hadooptest05) 8> edit param mcp1

extract mcp1

passthru

sourcedb o2m-mc@192.168.68.13:3306 userid ogg password ogg

rmthost  192.168.68.14,mgrport 7809,compress

rmttrail  /home/goldengate/dirdat/mp

dynamicresolution

numfiles 3000

table o2m-mc.GMQDSJSP;

GGSCI (hadooptest05) 9> add extract mcp1,exttrailsource /home/goldengate/dirdat/me

GGSCI (hadooptest05) 10> add rmttrail /home/goldengate/dirdat/mp,extract mcp1

GGSCI (hadooptest05) 11> start mcp1

7)创建表的定义文件

#创建参数文件

GGSCI (hadooptest05) 10>  edit param defgen

defsfile ./dirdef/gmqdsjsjp.def

sourcedb o2m-mc@192.168.68.14:3306 userid ogg, password ogg

table o2m-mc.GMQDSJSP;

#生成表定义文件

./defgen paramfile ./dirprm/defgen.prm

#传至目标库目录

scp /home/mysql/goldengate/dirdef/gmqdsjsjp.def 192.168.68.14:/home/goldengate/dirdef/

3、目标库

1)创建用户

mysql> GRANT ALL PRIVILEGES ON `gmdc`.* TO 'ogg'@localhost  IDENTIFIED BY 'ogg';

mysql> GRANT ALL PRIVILEGES ON `gmdc`.* TO 'ogg'@'%'  IDENTIFIED BY 'ogg';

2)同样解压安装并创建目录

unzip ggs_121210_Linux_x64_MySQL_64bit.zip -d /home/goldengate

cd /home/goldengate

tar xvf ggs_Linux_x64_MySQL_64bit.tar

./ggsci

GGSCI (db) 1> create subdirs

Creating subdirectories under current directory /home/goldengate

Parameter files                /home/goldengate/dirprm: already exists

Report files                   /home/goldengate/dirrpt: created

Checkpoint files               /home/goldengate/dirchk: created

Process status files           /home/goldengate/dirpcs: created

SQL script files               /home/goldengate/dirsql: created

Database definitions files     /home/goldengate/dirdef: created

Extract data files             /home/goldengate/dirdat: created

Temporary files                /home/goldengate/dirtmp: created

Credential store files         /home/goldengate/dircrd: created

Masterkey wallet files         /home/goldengate/dirwlt: created

Dump files                     /home/goldengate/dirdmp: created

3)配置管理进程

GGSCI (db) 3>  edit params mgr

port 7809

dynamicportlist 7840-7939

autorestart er *, retries 5, waitminutes 3

purgeoldextracts /home/goldengate/dirdat/*,usecheckpoints, minkeepdays 2

GGSCI (db) 4> start mgr

Manager started.

4)添加检查点表

GGSCI (db) 5>  dblogin sourcedb gmdc@192.168.68.14:3306 userid ogg password ogg

GGSCI (db DBLOGIN as ogg) 6>  add checkpointtable gmdc.checkpoint

GGSCI (db DBLOGIN as ogg) 7>  edit params ./GLOBALS

checkpointtable gmdc.checkpoint

5)配置应用进程

GGSCI (db) 1>  edit params mcr1

replicat mcr1

targetdb gmdc@192.168.68.14:3306 userid ogg password ogg

handlecollisions

sourcedefs /home/goldengate/dirdef/gmqdsjsp.def

discardfile /home/goldengate/dirrpt/mcr1.dsc,purge

map o2m-mc.GMQDSJSP, target gmdc.GMQDSJSP;

GGSCI (db) 2> add replicat mcr1,exttrail /home/goldengate/dirdat/mp,checkpointtable gmdc.checkpoint

GGSCI (db) 3> start mcr1

4、测试数据同步

注意:mysql中表的大小注意区分

info mgr  //查看启动信息

mysql goldengate_Goldengate完成Mysql到Mysql的数据同步相关推荐

  1. Mysql和Hive之间通过Sqoop进行数据同步

    文章回顾 理论 大数据框架原理简介 大数据发展历程及技术选型 实践 搭建大数据运行环境之一 搭建大数据运行环境之二 本地MAC环境配置 CPU数和内存大小 查看CPU数 sysctl machdep. ...

  2. mysql数据库版本不同_MySQL不同版本数据同步

    1.环境准备: 系统环境:CentOS Linux release 7.7.1908 (Core) MySQL环境: 172.16.6.140: Ver 5.0.96-community-log fo ...

  3. mysql sync es 异步双写_mysql数据同步es方案思考

    在线QQ客服:1922638 专业的SQL Server.MySQL数据库同步软件 大体计划 1.双写 矫捷长处:简略. 错误谬误: a.停业代码耦合严重. b.如何保证双写成功 c.同步双写会增加响 ...

  4. MySQL主主(双主)数据同步

    1. 两台mysql都可以读写,互为主备,默认只是用一台(masterA)负责数据的写入,另一台(masterB)备用: 2. masterA是masterB的主库,masterB又是masterA的 ...

  5. mysql 替换重复数据库,mysql关联修改,批量修改,数据同步

    在线QQ客服:1922638 专业的SQL Server.MySQL数据库同步软件 业务场景: 1.从接口获取数据,根据本地表数据处理接口数据 2.将处理好的数据更新到指定表中 思路: 1.建立临时表 ...

  6. mysql hdfs_MySQL数据库与HDFS的实时数据同步

    [IT168 技术]通过Map/Reduce进行批处理递送到Apache Hadoop仍然是中枢环节.,但随着要从"超思维速度"分析方面获取竞争优势的压力递增,因此Hadoop(分 ...

  7. Mysql主从复制,实现数据同步

    大型网站为了软解大量的并发访问,除了在网站实现分布式负载均衡,远远不够.到了数据业务层.数据访问层,如果还是传统的数据结构,或者只是单单靠一台服务器扛,如此多的数据库连接操作,数据库必然会崩溃,数据丢 ...

  8. mysql 与 es 数据同步常见方案

    mysql 与 es 数据同步常见方案 说明 @author JellyfishMIX - github / blog.jellyfishmix.com LICENSE GPL-2.0 问题背景 最近 ...

  9. php resque gearman,通过Gearman实现MySQL到Redis的数据同步

    对于变化频率非常快的数据来说,如果还选择传统的静态缓存方式(Memocached.File System等)展示数据,可能在缓存的存取上会有很大的开销,并不能很好的满足需要,而Redis这样基于内存的 ...

  10. 高效数据同步工具DataX的使用

    一.DataX 简介 DataX 是阿里云 DataWorks 数据集成 的开源版本,主要就是用于实现数据间的离线同步. DataX 致力于实现包括关系型数据库(MySQL.Oracle 等).HDF ...

最新文章

  1. 可疑文件_如何识别文件的真假
  2. php的匿名函数和闭包函数
  3. stm32 GPIO简单介绍及初始化配置(库函数)
  4. eayUi panel实现上一页下一页
  5. python mysqldb安装_Flask干货:访问数据库——Python数据库框架MySQLPython
  6. (三十)java多线程一
  7. XDOJ-1073-Nunchakus_求一个集合能否分裂成两个和相等的集合(dp、背包问题)
  8. cnn神经网络可以用于数据拟合吗_使用Keras搭建卷积神经网络进行手写识别的入门(包含代码解读)...
  9. python 个人项目_80个Python练手项目列表,学完立马成大神 牛逼了
  10. 原子变量的原理与应用
  11. 【万里征程——Windows App开发】数据绑定——简单示例、更改通知、数据转换...
  12. iOS网络开发—POST请求和GET请求
  13. 自动操作: mac新建文本文档
  14. 【动画演示软件】Focusky教程 | 加入 配音/录音/字幕
  15. bootstrap之文字排版
  16. How Did Watson Answer? —— Typing Coerced Candidate Answer
  17. 使用matplotlib.plot绘制随机点位图
  18. 华为和荣耀怎么区分,不止LOGO不同
  19. 市值4000亿,超越京东小米!8年奋斗狂奔美团终于上市了
  20. HTML中如何自动切换页面背景图片

热门文章

  1. demo-定时移动鼠标(防止自动息屏还得用手按亮)
  2. python 数字转化excel行列_Python 3 实现数字转换成Excel列名(10进制到26进制的转换函数)...
  3. 各类VRP问题标准算例资源汇总
  4. [iOS]iPhone手机如何取消Apple ID对App的授权
  5. 人人网上市七年芳华不再 市值缩水逾97%仅余空壳?
  6. 为什么学习帕拉卡3D动画编程要从搭建开始?
  7. 安装MySQL遇到的问题
  8. 软件设计模式与体系结构 课后练习1
  9. 北大青鸟深圳嘉华分享MySQL基础知识
  10. C语言中全局变量和局部变量,内部函数和外部函数的区别