oracle全量增量_数据同步：全量与增量

1.背景

数据如果保留多份，就会存在一致性问题，就需要同步，同步分为两大类：全量和增量

2. 概述

数据如果要保留副本，要么同时写(就是多写)，或者进行复制：异步写(即从主数据拷贝到副本)；

同时写(多写)，引出一个问题，写多少节点算成功(场景：分布式系统)？全部写成功才算成功，还是写大多数成功算成功，还是写指定几个节点算成功？

异步写的话，如果采用异步复制，那么实时性需要考量的话，就需要采用性能优先的架构。

3.同步方式

数据同步一般分为两种方式：全量和增量。

3.1 全量

全量，这个很好理解。就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方；

全量的话，可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据)；或者走更新逻辑(覆盖前判断下，如果新旧不一致，就更新)；

这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步？这就需要借助一些中间操作日志文件，或者其他手段，把这些“看不到”的数据记录起来。

3.2 增量

增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然后再采用增量方式同步更新。

增量的话，就是指抓取某个时刻(更新时间)或者检查点(checkpoint)以后的数据来同步，不是无规律的全量同步。这里引入一个关键性的前提：副本一端要记录或者知道(通过查询更新日志或者订阅更新)哪些更新了。

3.2.1 确定更新点

采用更新时间戳、有的采用checkpoint等来标识和记录更新点。

oracle全量增量_数据同步：全量与增量相关推荐

canal mysql多节点_数据同步的终极解决方案，阿里巴巴开源的Canal框架当之无愧！！...
写在前面在当今互联网行业,尤其是现在分布式.微服务开发环境下,为了提高搜索效率,以及搜索的精准度,会大量使用Redis.Memcached等NoSQL数据库,也会使用大量的Solr.Elastics ...
接口推送数据原理_数据同步组件（Canal）在珍爱网的应用与实践
本文作者:珍爱网技术团队二爷随着公司业务的不断发展,公司对于实时报表的需求越来越旺盛,原则上来说,实时报表最好的实现方式的通过Spark,storm这类的技术去支撑,由于人手原因,并不能很好的支撑 ...
etl数据抽取工具_数据同步工具ETL、ELT傻傻分不清楚？3分钟看懂两者区别
什么是数据同步工具(ETL.ELT) 数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取.清洗转换之后加载到数据仓库的过程,目的是将企业中的分散.零乱.标准不统一的数据整合到一起,为企业的决 ...
mysql binlog查看工具_数据同步工具otter（一）谈谈binlog和canal
之前因为懒,没有针对otter做更多的解释和说明,在使用过程中,也发现了一些问题,此次补上一个完整的文档,方便大家使用. Otter是基于cannal开源的,canal又是基于mysql binlog ...
外网数据同步到内网方案_数据同步之解决方案
关于数据同步的需求,想必是开发人员都可能遇到!下面就聊聊关于数据同步的解决方案: 一.使用中间表:数据生产者将数据放在一个中间库,数据消费方定时的去这个中间库取数据,用来消费这些数据, 但是这中方案并 ...
oracle和redis关联查询,redis与oracle之间如何可以实现数据同步
redis与oracle之间不能进行直接同步,关键还是看你的架构设计是否合适: 1,插入时同步,例如先更新了oracle,再对redis进行更新,这些需要通过代码逻辑实现.设计决定先后顺序. 2,查询 ...
excel怎么启用宏_#数据同步#Excel + mysql 制作自动化报表
问题描述:Excel数据更新繁琐虽然市面上各类报表工具,可视化工具种类繁多,比如Tableau,Power BI,FineBI 等等,但是Excel 依旧是日常数据工作中的主力,我们依旧使用Exce ...
神经网络的全连接层_深度神经网络全连接层
一.概念全连接层一般在网络的最后部分做分类输出,全连接层的有m个输入和n个输出,每一个输出都和所有的输入相连,相连的权重w都是不一样的,同时每一个输出还有一个bias. 二.前向全连接假设输入是4 ...
android 全屏动画_如何创建全屏视频开幕动画
android 全屏动画 View demo 查看演示 Download Source 下载源 In this in-depth tutorial we want to show you how to ...
mysql全角正则表达式_中文字符,全角字符的正则表达式（转载）
经过测试其中匹配双字节字符(包括汉字在内):[^\x00-\xff]非常好用推荐一下这个家伙收录的正则很多,呵呵关键字:正则表达式模式匹配 Javascript 摘要:收集一些常用的正则表达式 ...

oracle全量增量_数据同步：全量与增量

oracle全量增量_数据同步：全量与增量相关推荐

最新文章

热门文章