GBase 8a Kafka 数据同步

数据同步系统通过 Oracle Goldengate、GBase RTSync 等工具复制 Oracle、GBase 8s等数据库的业务数据到 GBase 8a MPP Cluster，为了应对业务系统可能的峰值，在系统中加入 Kafka 消息队列作为缓冲区。以 Oracle 同步实时数据到 GBase 8a 集群为例，总体流程如下：

OGG 发送端（GoldenGate Extract）从 Oracle 的在线日志和归档日志中抽取事务信息，生成 Trail 文件。OGG 接收端（GoldenGate Replicat）收到 Trail 文件，抽取事务信息转换为目标格式，并生产事务消息到 Kafka。集群的 Consumer 模块从 Kafka中消费事务消息，将数据更新到 GBase 8a MPP Cluster 中。

Kafka consumer 的主要功能就是同步 Kafka 数据到 GBase 8a MPP Cluster：

根据配置，可以指定需要同步的业务；
在同步过程中，提供同步状态查询功能；
实现数据同步的高可用性和事务数据一致性。

GBase 8a Kafka 数据同步相关推荐

客快物流大数据项目(六十一)：将消费的kafka数据同步到Kudu中
目录将消费的kafka数据同步到Kudu中一.导入表名映射关系类
Clickhouse Engine kafka 将kafka数据同步clickhouse
本篇文章转自:https://blog.csdn.net/weixin_41461992/article/details/106790507 起因由于需要做各种数据库摆渡到kafka的组件研究. 其 ...
kafka数据同步Elasticsearch深入详解
1.kafka同步到Elasticsearch方式? 目前已知常用的方式有四种: 1)logstash_input_kafka插件: 缺点:不稳定(ES中文社区讨论) 2)spark stream同步 ...
30.kafka数据同步Elasticsearch深入详解(ES与Kafka同步)
1.kafka同步到Elasticsearch方式? 目前已知常用的方式有四种: 1)logstash_input_kafka插件: 缺点:不稳定(ES中文社区讨论) 2)spark strea ...
Kafka-connect将Kafka数据同步到Mysql
一.背景信息 Kafka Connect主要用于将数据流输入和输出消息队列Kafka版.Kafka Connect主要通过各种Source Connector的实现,将数据从第三方系统输入到Kafka ...
基于MirrorMaker与火山引擎的Kafka数据同步
Kafka MirrorMaker是Kafka官网提供的跨数据中心流数据同步方案,其实现原理是通过从Source集群消费消息,然后将消息生产到Target集群从而完成数据迁移操作.用户只需要通过简单的 ...
oracle rollup分组没有数据时为0_数据库周刊19│GBASE适配鲲鹏;MySQL窗口函数;OGG双向数据同步……...
摘要:墨天轮数据库周刊第19期发布啦,每周1次推送本周数据库相关热门资讯.精选文章.干货文档.本周分享GBASE适配鲲鹏: 疫情激活COBOL语言:TiDB数据库的未来:Oracle与double w ...
携手长亮数据打造数据底座 GBase 8a MPP助力承德银行数字化转型
GBASE南大通用联合长亮数据为承德银行搭建 HADOOP+MPP 混搭架构的基础数据底座,具备数据采集.数据预处理.数据存储.数据建模.数据分析.数据可视化等支撑能力,为全行数字化转型提供数据支撑. ...
canal+Kafka实现mysql与redis数据同步
前言上篇文章简单介绍canal概念,本文结合常见的缓存业务去讲解canal使用.在实际开发过程中,通常都会把数据往redis缓存中保存一份,做下简单的查询优化.如果这时候数据库数据发生变更操作,就不 ...

GBase 8a Kafka 数据同步

GBase 8a Kafka 数据同步相关推荐

最新文章

热门文章