goldengate复制同步单表修复

goldengate–使用filter+@GETENV在线重新初始化指定的table

在oracle-oracle goldengate的复制环境中，有时候会碰到一些紧急的问题一时无法修复，为了避免影响整个复制环境的复制进度，采取跳过错误事务或者跳过特定对象的办法使得goldengate继续同步；如果后续某个表不得不需要重新同步，而且应用是不间断进行事务操作的，在不停止应用和重建整个复制环境的情况下，为了保证数据的一致性，如何在线对特定的问题对象重新初始化和继续同步呢？

处理的办法还是不少的，下面给出一个在replicat端过滤SCN事务的办法，来实现数据的一致同步。

处理的思路就是首先在target上获得该表上某个特定SCN版本上的数据(比如使用导入导出或者数据泵)，然后通过filter功能来筛选出该表上大于该commit scn的事务，从而确保事务的一致性。在goldengate v10之后，可以通过@GETENV函数直接获得事务的CSN。

简单看一下处理步骤，假设目前gg环境中hr.translog表需要重新初始化，由source端hr用户同步到target端hr2用户下。

1.停止target上的replicat进程

GGSCI (sh) 44> stop rep_hr2

Sending STOP request to REPLICAT REP_HR2 …
Request processed.

2.获得source上hr.translog表的特定SCN一致性版本

SQL> select dbms_flashback.get_system_change_number from dual;

9543774

使用exp进行一致性版本导出

[oracle@gz ~]$ exp hr/hr tables=translog file=translog.dmp flashback_scn=9543774

Export: Release 10.2.0.1.0 – Production on Tue Aug 9 00:27:42 2011

Copyright (c) 1982, 2005, Oracle. All rights reserved.
Connected to: Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 – 64bit Production
With the Partitioning, OLAP and Data Mining options
Export done in US7ASCII character set and AL16UTF16 NCHAR character set
server uses ZHS16GBK character set (possible charset conversion)

About to export specified tables via Conventional Path …
. . exporting table TRANSLOG 5062409 rows exported
EXP-00091: Exporting questionable statistics.
Export terminated successfully with warnings.

3. target上导入一致性版本

[oracle@gz ~]$ imp hr2/hr2@sh tables=translog file=translog.dmp ignore=y

Import: Release 10.2.0.1.0 – Production on Tue Aug 9 00:28:36 2011

Copyright (c) 1982, 2005, Oracle. All rights reserved.

Connected to: Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 – 64bit Production
With the Partitioning, OLAP and Data Mining options

Export file created by EXPORT:V10.02.01 via conventional path

Warning: the objects were exported by HR, not by you

import done in US7ASCII character set and AL16UTF16 NCHAR character set
import server uses ZHS16GBK character set (possible charset conversion)
. importing HR’s objects into HR2
. importing HR’s objects into HR2
. . importing table "TRANSLOG" 50624 rows imported
IMP-00017: following statement failed with ORACLE error 30567:
"ALTER TABLE "TRANSLOG" ADD SUPPLEMENTAL LOG GROUP "GGS_TRANSLOG_56459" ("OB"
"JECT_ID") ALWAYS"
IMP-00003: ORACLE error 30567 encountered
ORA-30567: name already used by an existing log group
Import terminated successfully with warnings.

4. 修改replicat参数，过滤hr.translog上小于SCN 9543774上的事务。

GGSCI (sh) 43> view param rep_hr2

replicat rep_hr2
USERID gg, PASSWORD AACAAAAAAAAAAACANJPHHDSJCIYCFCZB,ENCRYPTKEY DEFAULT
assumetargetdefs
map hr.translog, target hr2.translog, filter (@GETENV ("transaction", "csn") > 9
543774);
map hr.org, target hr2.org;

map hr.unp_file, target hr.unp_file;

5. 启动replicat进程

GGSCI (sh) 2> start rep_hr2

Sending START request to MANAGER …
REPLICAT REP_HR2 starting

采用这种办法，即使source上hr.translog表不断被DML，因为SCN过滤的存在，保证了复制过程中的数据一致性。对source上的应用来讲，也无须额外的停机时间。在初始化过程中，因为target上复制进程的暂停，会影响到复制的实时性，为减少target上replicat的暂停时间，可以采用分割datapump和replicate group的方法，也可实现特定对象的在线初始化，具体参考goldengate–split replicat group在线重新初始化指定的table

goldengate复制同步单表修复相关推荐

CentOS6.4 配置mysql服务器启动多个端口，同步单表数据
============================================================ ====多端口启动==== ========================= ...
GoldenGate复制单表开并行
最近有几项业务下线,需要从一张表中删除6.8亿多条数据.想办法把数据删除掉了,但对应的ogg灾备端复制时有了的延迟,而且延迟的时间起来越长. 对于表太多造成的延迟可以把所有表分为多个组来做复制,于是想 ...
oracle大表复制加并行,GoldenGate复制单表开并行
最近有几项业务下线,需要从一张表中删除6.8亿多条数据.想办法把数据删除掉了,但对应的ogg灾备端复制时有了的延迟,而且延迟的时间起来越长. 对于表太多造成的延迟可以把所有表分为多个组来做复制,于是想 ...
【ORACLE 高可用】 ORACLE STREAM 基于单表的流复制配置案例
ORACLE STREAM 演示基于单表的流复制案例主数据库: 操作系统:REDHAT 5 IP地址:192.168.10.87 数据库:Oracle 11.2.0.3 ORACLE_SID:DB1 ...
MySQL第四天（逻辑备份，AB复制、gtid，单表查询，）
写在前面:笔记两种,以====分割开. 逻辑备份较物理备份: 优点:不论是什么存储引擎,都可以用mysqldump备成SQL语句缺点:速度较慢,导入时可能会出现格式不兼容的突发情况,无法做增量备份 ...
ETL增量单表同步简述_根据dateTime增量
ETL增量单表同步简述 1. 实现需求当原数据库的表有新增.更新.删除操作时,将改动数据同步到目标库对应的数据表. 2. 设计思路设计总体流程图如下: 步骤简单说明: 1.设置job的执行属性,如 ...
单库单表到多库多表的全量复制方案
单库单表到多库多表的全量复制方案背景方案背景公司最近业务发展比较快速,数据库里面表的数据量猛增,当前单库单表的模型已经无法满足后续业务的发展,需要从单库单表切换到多库多表的模型方案
【分享】集简云小程序识别身份证同步到表单流程搭建示例
1. 场景通过小程序智能识别功能,可将居民提供的照片自动识别成文字并同步到表单系统存储,如Excel 365.伙伴云.轻流等进行汇总,实现防疫信息采集自动化! 2. 如何搭建自动化流程? 提前准备工 ...
Excel将单表复制追加到另一个未打开的工作簿
大家都知道我们再复制一个表格内容到另一个表的时候,有的会直接全选复制粘贴,有的呢可能会右键单击表名然后选择复制或移动,但是这个操作的前提都是要打开另一格工作簿,那今天小编分享的是,Excel将单表复制 ...

goldengate复制同步单表修复

goldengate复制同步单表修复相关推荐

最新文章

热门文章