最简单OGG配置方式
ogg一般来说有4个进程,Manager进程,Extract进程,Pump进程,Replicat进程
Manager进程:
是GoldenGate的控制进程,它主要作用有以下几个方面:启动、监控、重启GoldenGate的其他进程,报告错误及时间,分配数据存储空间,发布阀
值报告等。
Extract进程:
运行在数据库源端,负责从源端数据表或日志中捕获数据。Extract进程利用其内在的checkpoint机制,周期性地检查 并记录其读写的位置,通常
是写入到本地的trail文件。这种机制是为了保证如果Extract进程终止或者操作系统宕机,我们重启Extract进程 后,GoldenGate能够恢复到以前
的状态,从上一个断点处继续往下运行,而不会有任何数据损失。
Pump进程:(如果trail文件落本地才会用这个进程,一般OGG都会把traile文件落地)
运行在数据库源端,其作用非常简单。如果源端使用了本地trail文件,那么Pump进程就会把Trail文件以数据块的形式通过 TCP/IP协议发送到目
标端,我们下面的配置都是这种方式。Pump进程本质是Extract进程的一种特殊形式,如果不使用Trail文件,那么 Extract进程在抽取完数据后,
直接投递到目标端。
与Pump进程相对应的叫Server Collector进程,这个进程不需要引起我们关注,因为在实际操作过程中无需对其进行任何配置,它运行在目标端,
任务就是把Extract/Pump进程投递过来的数据块重新组装成Trail文件。
Replicat进程:
运行在目标端,是数据投递的最后一站,负责读取目标端Trail文件中的内容,并将解析其解析为DML或DDL语句,然后应用到目标数据库中。
测试环境
源端:
IP:172.16.0.30 SID:prod
目标;
IP: 172.16.0.40 SID:prod(实例名可以不一致)
1、安装ogg软件,安装方式如下(两端均执行)
oracle用户下创建ogg目录
mkdir /home/oracle/ogg
[oracle@localhost ~]$ cd ogg/
[oracle@localhost ogg]$ unzip ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip
[oracle@localhost ogg]$ tar -xvf fbo_ggs_Linux_x64_ora11g_64bit.tar
设置LD_LIBRARY_PATH参数
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
查看运行./ggsci命令行接口所缺是的库文件,可能会出现libnnz11.so,libclntsh.so.11.1缺失,只需要将libnnz10.so,libclntsh.so.10.1软
解析到缺失的文件即可
[oracle@localhost ogg]$ ldd ./ggsci
2、数据库环境准备(两端均执行)
打开最小附加日志
SQL>alter database add supplemental log data;
SQL>select supplemental_log_data_min from v$database;
创建数据库ogg用户
SQL>CREATE USER ogg IDENTIFIED BY ogg DEFAULT TABLESPACE USERS ;
授权ogg用户,如果对用户权限要求不严格可以直接授予dba权限,否则授予如下权限
源端:
GRANT CONNECT TO goldengate;
GRANT CREATE SESSION TO goldengate;
GRANT ALTER SESSION TO goldengate;
GRANT RESOURCE TO goldengate;
GRANT SELECT ANY DICTIONARY TO goldengate;
GRANT SELECT ANY TABLE TO goldengate;
GRANT FLASHBACK ANY TABLE TO goldengate;
GRANT ALTER ANY TABLE TO goldengate;
目标端:
GRANT ALTER SESSION TO goldengate;
GRANT CREATE SESSION TO goldengate;
GRANT CONNECT TO goldengate;
GRANT RESOURCE TO goldengate;
GRANT SELECT ANY DICTIONARY TO goldengate;
GRANT SELECT ANY TABLE TO goldengate;
GRANT FLASHBACK ANY TABLE TO goldengate;
GRANT INSERT ANY TABLE TO goldengate;
GRANT UPDATE ANY TABLE TO goldengate;
GRANT DELETE ANY TABLE TO goldengate;
3、主备库创建mgr管理进程,添加端口7809(两端均执行)
创建ogg子目录
[oracle@localhost ogg]$ ./ggsci
GGSCI>create subdirs
GGSCI (localhost.localdomain) 10> edit params mgr
port 7809
GGSCI (localhost.localdomain) 11> start mgr
GGSCI (localhost.localdomain) 11> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
mgr可以添加如下参数:
DYNAMICPORTLIST 7820-7830, 7833, 7835
autostart er *
autorestart er *, retries 5, waitminutes 3 (自动启动所有参数,会尝试5次,每次等待3分钟)
purgeoldextracts ./dirdat/*,usecheckpoints, minkeepdays 7(自动清理过期的trail文件,会保留7天)
4、添加表级附加日志
ggsci>dblogin userid ogg, password ogg
ggsci>add trandata hzq.*
5、添加抽取进程 (源端)
GGSCI> add ext exta, tranlog, begin now
exta为进程名,一般为ext开头表示是extract进程,后面可以加1-2位字符标识;begin可以是now也可以是指定的时间
为exta进程配置本地队列,本地的trail文件以la开头
GGSCI> add exttrail ./dirdat/lc, ext exta, MEGABYTES 20
添加投递进程pmpa,将本地的./dirdat/la文件传送到目标端
GGSCI> add extract pmpa, EXTTRAILSOURCE ./dirdat/lc
为pmpa进程配置远程队列,队列的位置是源端的主机目录,传送到目标断后命名以rc开头。
GGSCI> add rmttrail ./dirdat/rc, ext dpea, MEGABYTES 20
GGSCI (localhost.localdomain) 23> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
EXTRACT STOPPED EXTA 00:00:00 00:00:02
EXTRACT STOPPED PMPA 00:00:00 00:00:01
6、配置进程参数(源端)
GGSCI (localhost.localdomain) 25> edit params exta
EXTRACT exta
setenv ( NLS_LANG = "AMERICAN_AMERICA.ZHS16GBK" )
setenv (ORACLE_SID = prod)
USERID ogg, PASSWORD ogg
EXTTRAIL ./dirdat/lc
dynamicresolution
--GETUPDATEBEFORES
--DDL INCLUDE ALL (DDL复制参数)
--DDLOPTIONS ADDTRANDATA NOCROSSRENAME REPORT (ddl复制参数)
--NOCOMPRESSDELETES
table hzq.*;
GGSCI (localhost.localdomain) 28> edit params pmpa
extract pmpa
setenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )
passthru
--REPORT AT 01:59
--reportrollover at 02:00
rmthost 172.16.0.40, mgrport 7809, compress
rmttrail ./dirdat/rc
dynamicresolution
table hzq.*;
启动进程
GGSCI>start ext *
GGSCI (localhost.localdomain) 29> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
EXTRACT RUNNING EXTA 00:00:00 00:00:04
EXTRACT RUNNING PMPA 00:00:00 00:00:05
7、配置目标端进程和参数(目标端)
GGSCI> add rep rep1a, exttrail ./dirdat/rc, nodbcheckpoint
GGSCI>edit param rep1a
replicat rep1a
setenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )
setenv (ORACLE_SID = prod)
userid ogg, password ogg
reperror default,abend
discardfile ./dirrpt/rep1a.dsc,append, megabytes 10
assumetargetdefs
--allownoopupdates
dynamicresolution
--DDL include all
--ddloptions report
--DDLERROR DEFAULT IGNORE RETRYOP MAXRETRIES 3 RETRYDELAY 5
ASSUMETARGETDEFS
--INSERTALLRECORDS
map hzq.*, target hzq.*;
启动参数
GGSCI (localhost.localdomain) 12> start rep1a
GGSCI (localhost.localdomain) 11> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
REPLICAT RUNNING REP1A 00:00:00 00:00:06
ogg一般来说有4个进程,Manager进程,Extract进程,Pump进程,Replicat进程
Manager进程:
是GoldenGate的控制进程,它主要作用有以下几个方面:启动、监控、重启GoldenGate的其他进程,报告错误及时间,分配数据存储空间,发布阀
值报告等。
Extract进程:
运行在数据库源端,负责从源端数据表或日志中捕获数据。Extract进程利用其内在的checkpoint机制,周期性地检查 并记录其读写的位置,通常
是写入到本地的trail文件。这种机制是为了保证如果Extract进程终止或者操作系统宕机,我们重启Extract进程 后,GoldenGate能够恢复到以前
的状态,从上一个断点处继续往下运行,而不会有任何数据损失。
Pump进程:(如果trail文件落本地才会用这个进程,一般OGG都会把traile文件落地)
运行在数据库源端,其作用非常简单。如果源端使用了本地trail文件,那么Pump进程就会把Trail文件以数据块的形式通过 TCP/IP协议发送到目
标端,我们下面的配置都是这种方式。Pump进程本质是Extract进程的一种特殊形式,如果不使用Trail文件,那么 Extract进程在抽取完数据后,
直接投递到目标端。
与Pump进程相对应的叫Server Collector进程,这个进程不需要引起我们关注,因为在实际操作过程中无需对其进行任何配置,它运行在目标端,
任务就是把Extract/Pump进程投递过来的数据块重新组装成Trail文件。
Replicat进程:
运行在目标端,是数据投递的最后一站,负责读取目标端Trail文件中的内容,并将解析其解析为DML或DDL语句,然后应用到目标数据库中。
测试环境
源端:
IP:172.16.0.30 SID:prod
目标;
IP: 172.16.0.40 SID:prod(实例名可以不一致)
1、安装ogg软件,安装方式如下(两端均执行)
oracle用户下创建ogg目录
mkdir /home/oracle/ogg
[oracle@localhost ~]$ cd ogg/
[oracle@localhost ogg]$ unzip ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip
[oracle@localhost ogg]$ tar -xvf fbo_ggs_Linux_x64_ora11g_64bit.tar
设置LD_LIBRARY_PATH参数
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
查看运行./ggsci命令行接口所缺是的库文件,可能会出现libnnz11.so,libclntsh.so.11.1缺失,只需要将libnnz10.so,libclntsh.so.10.1软
解析到缺失的文件即可
[oracle@localhost ogg]$ ldd ./ggsci
2、数据库环境准备(两端均执行)
打开最小附加日志
SQL>alter database add supplemental log data;
SQL>select supplemental_log_data_min from v$database;
创建数据库ogg用户
SQL>CREATE USER ogg IDENTIFIED BY ogg DEFAULT TABLESPACE USERS ;
授权ogg用户,如果对用户权限要求不严格可以直接授予dba权限,否则授予如下权限
源端:
GRANT CONNECT TO goldengate;
GRANT CREATE SESSION TO goldengate;
GRANT ALTER SESSION TO goldengate;
GRANT RESOURCE TO goldengate;
GRANT SELECT ANY DICTIONARY TO goldengate;
GRANT SELECT ANY TABLE TO goldengate;
GRANT FLASHBACK ANY TABLE TO goldengate;
GRANT ALTER ANY TABLE TO goldengate;
目标端:
GRANT ALTER SESSION TO goldengate;
GRANT CREATE SESSION TO goldengate;
GRANT CONNECT TO goldengate;
GRANT RESOURCE TO goldengate;
GRANT SELECT ANY DICTIONARY TO goldengate;
GRANT SELECT ANY TABLE TO goldengate;
GRANT FLASHBACK ANY TABLE TO goldengate;
GRANT INSERT ANY TABLE TO goldengate;
GRANT UPDATE ANY TABLE TO goldengate;
GRANT DELETE ANY TABLE TO goldengate;
3、主备库创建mgr管理进程,添加端口7809(两端均执行)
创建ogg子目录
[oracle@localhost ogg]$ ./ggsci
GGSCI>create subdirs
GGSCI (localhost.localdomain) 10> edit params mgr
port 7809
GGSCI (localhost.localdomain) 11> start mgr
GGSCI (localhost.localdomain) 11> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
mgr可以添加如下参数:
DYNAMICPORTLIST 7820-7830, 7833, 7835
autostart er *
autorestart er *, retries 5, waitminutes 3 (自动启动所有参数,会尝试5次,每次等待3分钟)
purgeoldextracts ./dirdat/*,usecheckpoints, minkeepdays 7(自动清理过期的trail文件,会保留7天)
4、添加表级附加日志
ggsci>dblogin userid ogg, password ogg
ggsci>add trandata hzq.*
5、添加抽取进程 (源端)
GGSCI> add ext exta, tranlog, begin now
exta为进程名,一般为ext开头表示是extract进程,后面可以加1-2位字符标识;begin可以是now也可以是指定的时间
为exta进程配置本地队列,本地的trail文件以la开头
GGSCI> add exttrail ./dirdat/lc, ext exta, MEGABYTES 20
添加投递进程pmpa,将本地的./dirdat/la文件传送到目标端
GGSCI> add extract pmpa, EXTTRAILSOURCE ./dirdat/lc
为pmpa进程配置远程队列,队列的位置是源端的主机目录,传送到目标断后命名以rc开头。
GGSCI> add rmttrail ./dirdat/rc, ext dpea, MEGABYTES 20
GGSCI (localhost.localdomain) 23> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
EXTRACT STOPPED EXTA 00:00:00 00:00:02
EXTRACT STOPPED PMPA 00:00:00 00:00:01
6、配置进程参数(源端)
GGSCI (localhost.localdomain) 25> edit params exta
EXTRACT exta
setenv ( NLS_LANG = "AMERICAN_AMERICA.ZHS16GBK" )
setenv (ORACLE_SID = prod)
USERID ogg, PASSWORD ogg
EXTTRAIL ./dirdat/lc
dynamicresolution
--GETUPDATEBEFORES
--DDL INCLUDE ALL (DDL复制参数)
--DDLOPTIONS ADDTRANDATA NOCROSSRENAME REPORT (ddl复制参数)
--NOCOMPRESSDELETES
table hzq.*;
GGSCI (localhost.localdomain) 28> edit params pmpa
extract pmpa
setenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )
passthru
--REPORT AT 01:59
--reportrollover at 02:00
rmthost 172.16.0.40, mgrport 7809, compress
rmttrail ./dirdat/rc
dynamicresolution
table hzq.*;
启动进程
GGSCI>start ext *
GGSCI (localhost.localdomain) 29> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
EXTRACT RUNNING EXTA 00:00:00 00:00:04
EXTRACT RUNNING PMPA 00:00:00 00:00:05
7、配置目标端进程和参数(目标端)
GGSCI> add rep rep1a, exttrail ./dirdat/rc, nodbcheckpoint
GGSCI>edit param rep1a
replicat rep1a
setenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )
setenv (ORACLE_SID = prod)
userid ogg, password ogg
reperror default,abend
discardfile ./dirrpt/rep1a.dsc,append, megabytes 10
assumetargetdefs
--allownoopupdates
dynamicresolution
--DDL include all
--ddloptions report
--DDLERROR DEFAULT IGNORE RETRYOP MAXRETRIES 3 RETRYDELAY 5
ASSUMETARGETDEFS
--INSERTALLRECORDS
map hzq.*, target hzq.*;
启动参数
GGSCI (localhost.localdomain) 12> start rep1a
GGSCI (localhost.localdomain) 11> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
REPLICAT RUNNING REP1A 00:00:00 00:00:06
转载于:https://www.cnblogs.com/houzhiqing/p/5289383.html
最简单OGG配置方式相关推荐
- ogg批量配置_最简单OGG配置方式
ogg一般来说有4个进程,Manager进程,Extract进程,Pump进程,Replicat进程 Manager进程: 是GoldenGate的控制进程,它主要作用有以下几个方面:启动.监控.重启 ...
- Hive metastore三种配置方式
Hive的meta数据支持以下三种存储方式,其中两种属于本地存储,一种为远端存储.远端存储比较适合生产环境.Hive官方wiki详细介绍了这三种方式,链接为:Hive Metastore. 一.本地d ...
- c3p0对mysql配置_c3p0的常用配置方式
1:第一种方式非常简单 c3p0.driverClass=com.mysql.jdbc.Driverc3p0.jdbcUrl=jdbc:mysql://localhost:3308/databasec ...
- IPv6 — 地址配置方式
目录 文章目录 目录 IPv6 的地址配置方式 ICMPv6 NDP 协议 ICMPv6 NDP 协议的消息类型 ICMP NDP 协议的地址配置流程 1.路由器发现 2.自动生成链路本地地址 3.重 ...
- Spring Boot 添加拦截器的配置方式
在进行 Java Web 开发的时候我们经常会使用到过滤器,例如日志的记录.权限的验证等功能.以前使用 Spring MVC 的时候需要在 web.xml 中配置过滤器,现在使用 Spring Boo ...
- struts+spring的配置方式总结
现在最流行的j2ee的程序,一般都是用struts+spring+hibernate框架做的,spring+hibernate的配置方式很简单,这里就不说了,下面对struts+spring的几种配置 ...
- 面向切面(AOP)之Spring接口方式 schema配置方式 aspectj注解方式
一.初识AOP 关于AOP的学习可以参看帮助文档:spring-3.2.0.M2\docs\reference\html目录下index.html的相关章节 1.AOP:Aspect-O ...
- Spring的Java配置方式
Java配置是Spring4.x推荐的配置方式,可以完全替代xml配置. 1 @Configuration 和 @Bean Spring的Java配置方式是通过 @Configuration ...
- 框架源码系列四:手写Spring-配置(为什么要提供配置的方法、选择什么样的配置方式、配置方式的工作过程是怎样的、分步骤一个一个的去分析和设计)...
一.为什么要提供配置的方法 经过前面的手写Spring IOC.手写Spring DI.手写Spring AOP,我们知道要创建一个bean对象,需要用户先定义好bean,然后注册到bean工厂才能创 ...
最新文章
- pandas进行数据处理常用方法与属性
- 算法笔记_120:蓝桥杯第六届省赛(Java语言B组部分习题)试题解答
- oracle分页性能不同,oracle高效分页
- 高并发编程-自定义简易的线程池(2),体会原理
- PostgreSQL索引页
- 关于Unity中变量和函数的定义
- 【MyBatis】MyBatis分页插件PageHelper的使用
- 【codevs1869】硬币购物,背包+神奇的容斥原理
- pytorch加载之前训练模型中的部分参数以及冻结部分参数(实测,自己实际项目代码中的)
- 机器视觉光源学习总结——开孔背光源
- 图像处理课程设计大报告 MATLAB GUI APP实现直方图均衡化、几何变换和加噪滤波
- tomcat启动成功 未加载项目_智云CRM项目启动大会在深圳成功召开
- Mysql之无法查询中文字解决办法
- 阿里云云计算 12 对象存储 Object Storage Service OSS 的概念
- winrar软件如何测试
- 软件设计模式学习笔记(八)
- TikTok二面:“聊聊二维码扫码登录的原理”
- Selenium WebDriver 数据驱动测试框架
- 微信二维码线下推广是否有效
- 堡垒机远程连接报“由于安全设置错误, 客户端无法连接到远程计算机. 确定你已登录到网络后,再重新连接” 错误处理步骤
热门文章
- 关于推送的一些记录要点
- 常用的正则表达式方法1
- 格式化显示(日期\货币)
- android 表情退格,讯飞输入法Android V8.1.8212 嘘-别说话全套emoji表情上
- 基于pytorch实现图像分类——理解自动求导、计算图、静态图、动态图、pytorch入门
- HDFS数据恢复模式
- (70)信号发生器DDS正弦波设计(二)(第14天)
- 学计算机修图,宅家修图很简单 手机电脑都可以修出大片的感觉
- ajax获取后生成元素,获取动态的子元素生成的内容与jQuery AJAX
- 【蓝桥杯嵌入式】【STM32】9_PWM之实现交替呼吸灯