Oracle GoldenGate For Big Data

2019独角兽企业重金招聘Python工程师标准>>>

作者本人最近有需求处理Orace到Kafka的业务，所以就学习一下这一块内容。随手记录，后续会再整理。

这是第一篇，关于ogg for big data的kafka处理,版本12.3.2.1

1. ogg到大数据有好多种handler。kafka的有两个，一个是kafka handler，另一个是kafka connect handler。后一种是conflut的一个功能组件，有兴趣的可以先去学习一下conflut，我这边肯定用不着，所以只介绍kafka handler.

2. 官方地址：https://docs.oracle.com/en/middleware/goldengate/big-data/12.3.2.1/gadbd/using-kafka-handler.html#GUID-2561CA12-9BAC-454B-A2E3-2D36C5C60EE5

请阅读官方文档。难理解的地方可以在下面找答案。

3. 主要配置3个文件(在官方下载包中的/AdapterExamples/big-data/kafka路径下有这三个文件)：rkafka.prm, kafka.props, custome-kafka-producer.properties.下面只解释几个难懂的点：

(1)rkafka.prm这个文件里没有难懂的点.

(2)kafka.props中topicMappingTemplate、keyMappingTemplate指的是写入的topic和key，可以写死，也可以配置成动态的。其中messgae key是用来kafka用来计算讲数据存储在哪个分区的。另外，关于Catalog和Schema,各种数据库系统对Catalog和Schema的支持和实现方式千差万别，比较简单而常用的实现方式是使用数据库名作为Catalog名，使用用户名作为Schema名，具体可参见下表：

供应商	Catalog支持	Schema支持
Oracle	不支持	Oracle User ID
MySQL	不支持	数据库名
MS SQL Server	数据库名	对象属主名，2005版开始有变
DB2	指定数据库对象时，Catalog部分省略	Catalog属主名
Sybase	数据库名	数据库属主名
Informix	不支持	不需要
PointBase	不支持	数据库名

(3)custome-kafka-producer.properties没有难点。

转载于:https://my.oschina.net/u/3651261/blog/2877401

Oracle GoldenGate For Big Data - Kafka Handler相关推荐

Oracle GoldenGate简介
一.什么是Oracle GoldenGate? Oracle GoldenGate是用于实时数据集成和复制的综合软件包.它支持高可用性解决方案,实时数据集成,事务性更改数据捕获,数据复制,转换以及运营 ...
Oracle GoldenGate 文章集合
传统架构微服务架构参考文章官方文档 Oracle GoldenGate - Oracle GoldenGatehttps://docs.oracle.com/en/middleware/gold ...
76 道 Oracle Goldengate 面试问题
基础 12c新特性性能 Troubleshoot 其它 1. Oracle Goldengate 支持部署到哪些拓扑? GoldenGate supports the following topol ...
Oracle GoldenGate微服务架构
Oracle GoldenGate支持两种架构,经典架构和微服务架构(MA). 可以出于以下目的配置Oracle GoldenGate: 从一个数据库中静态提取数据记录,并将这些记录加载到另一个数据库 ...
【ogg Reference Part II Oracle GoldenGate Microservices Architecture】5 Oracle GoldenGate AdminClient
您可以使用Oracle GoldenGate MA使用HTML用户界面配置和管理数据复制. 本部分描述可以与Oracle GoldenGate微服务体系结构一起使用的命令.参数和选项. 5 Oracl ...
Oracle GoldenGate 详细概述
首发地址:https://www.pengtao.vip/archives/oraclegoldengatexiang-xi-gai-shu 什么是 Oracle GoldenGate Oracle ...
Oracle GoldenGate（OGG）- 超级详细
1. OGG简介 OGG 是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化(数据量只有日志的四分之一左右) OGG 能够实现大量交易数据的实时捕捉,变换和投 ...
mysql ogg kafka_Oracle goldengate 实现mysql到kafka同步配置
一.oracle goldengate技术架构 Oracle GoldenGate 实现原理是通过抽取源端的redo log 或者 archive log ,然后通过TCP/IP投递到目标端,最后解析 ...
decfloat转换成oracle种类型,Oracle GoldenGate 19.1新特性
1.GoldenGate 19.1 新特性概览 a.支持Oracle数据库19.1 长期支持发布版本.集成Oracle GoldenGate 12.3版的最终补丁集更新. b.微服务的安全性和可管理性 ...

Oracle GoldenGate For Big Data - Kafka Handler

Oracle GoldenGate For Big Data - Kafka Handler相关推荐

最新文章

热门文章