oracle库之间实现数据的实时同步探索
1.建dblink，创建触发器，源库数据更新触发器往目标库插入数据
2.按时间戳增量同步
即创建定时任务，按照时间字段从源表向目标表插入数据，如每小时插入一次该小时内的新数据
3.基于数据库归档日志的同步
基于数据库归档日志的同步属于实时数据同步，如开源mysql可使用Canal利用主从自动同步机制实时采集binlog，对于商业软件Oracle数据库的日志格式不是公开的，没有开源解决方案，选择引进Oracle数据集成产品组件Oracle GoldenGate（OGG）来实现，OGG可提供不影响系统处理功能的实时数据集成和持续可用性解决方案，使企业能显著提高整个企业关键系统的可用性、可靠性和性能并同时降低IT成本。OGG For BigData可支持对接kafka/HDFS/HBase/Elasticsearch/Flume/JDBC/MongoDB 等大数据常用组件。 比如Oracle数据实时增量同步Kafka消息系统，供下游做实时处理场景。
源端 oracle database + oracle goldengate for oracle,目标端oracle goldengate for bigdata +kafka
4.使用kettle和sqoop工具
ketlle的优势：本身有利于大数据体系架构之外，sqoop的资源分配要由yarn管理，集群任务多要排队，按部就班，很耗时间，但是kettle不需要，并且kettle在处理小数据量的实时采集方面效率显得更优秀，速度更快，我们实时增量数据量不大的情况下，完全可以用kettle，且速度更快。
kettle缺点：大数据量的数据采集显的力不从心，数据初始化还是要用sqoop工具，增量用kettle
5.Kafka实现oracle实时数据处理
数据库必须处于archivelog模式，并且必须启用补充日志记录。
6.欢迎补充
oracle库之间实现数据的实时同步探索相关推荐
- 不同数据库之间表数据的实时同步_syncnavigator数据库同步工具
软件下载地址:www.syncnavigator.cn SyncNavigator 做数据同步时所支持的数据库类型: 支持sqlserver 2000-2014所有版本,全兼容,和MYsql 4.x ...
- 如何实现Oracle数据库之间的数据同步？
我们都知道,在Oracle数据库的管理与开发工作中,总会存在着一些表数据和基础资料数据,这时需要有效的将这些数据库进行同步合并,有没有什么简单的方法可以实现Oracle数据库之间的数据同步呢?在此诚恺 ...
- Oracle 数据怎么实时同步到 MySQL | 亲测干货分享建议收藏
摘要: 这段时间负责一个老项目开发的数据库管理工作,这个项目中开发库与测试数据库分离,其中有些系统表数据与基础资料数据经常需要进行同步,相信很多 DBA 同学经常会遇到要从一个数据库实时同步到另一 ...
- Oracle 数据怎么实时同步到 Kafka | 亲测干货分享建议收藏
摘要: 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,可以非常方便地完成 Oracl ...
- Oracle 数据怎么实时同步到 SQL Server | 亲测干货分享建议收藏
摘要: 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,可以非常方便地完成 Oracle ...
- Oracle 数据怎么实时同步到 PgSQL | 亲测干货分享建议收藏
摘要: 这段时间负责一个老项目开发的数据库管理工作,这个项目中开发库与测试数据库分离,其中有些系统表数据与基础资料数据经常需要进行同步,相信很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数 ...
- Oracle 数据怎么实时同步到 MongoDB | 亲测干货分享建议收藏
摘要: 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,可以非常方便地完成 Oracle ...
- Oracle 数据怎么实时同步到 Elasticsearch | 亲测干货建议收藏
摘要: 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,很快实现了Oracle 数据实时 ...
- Oracle 数据怎么实时同步到 DM DB 达梦数据库 | 亲测干货建议收藏
摘要 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,可以很方便地完成 Oracle 数 ...
最新文章
- Twitter的应急预案、部署流程
- Spring Cloud简介和服务中心的搭建
- 数据仓库中的维度表和事实表概述
- 2020，微服务之死？
- 437. Path Sum III
- 第三周项目4顺序表应用2 删除元素在[x,y]之间的所有元素
- 《基于张量网络的机器学习入门》学习笔记1
- 狗年过节不收礼，短信打劫才时尚[ZT]
- 数字签名与HTTPS详解
- 嵌入式算法-傅里叶变换算法
- kappa和lambda对比 | 程序员硬核评测
- BugkuCTF-MISC题猫片
- 头回见！95后女大学生买iPhone11出租：租借者想尝鲜或显摆
- 二叉搜索树与双向链表的转换
- OrzFAng系列–树 解题报告
- win7文件夹加密_小编还原win7系统文件夹加密码的步骤
- [React Native]导航器Navigator
- 支配树 / Dominator_Tree（待补）
- jquery对cookie进行读取、写入和删除
- emoji 表情包全套手机端pc都支持