企业系统之间数据同步处理

引用内容：

数据同步一般是指一个数据源的数据发生改变时，其他相关的数据源的数据也发生相应变化。数据同步可以有五种实现方案，根据具体需求不同，可以采取不同方案。
1. 触发器：在源数据库建立增、删、改触发器，每当源数据库有数据变化，相应触发器就会激活，触发器会将变更的数据保存在一个临时表里。ORCLE 的 同步 CDC (synchronized CDC) 实际上就是使用的触发器
优点：
能做到实时同步
缺点：
降低业务系统性能，ORCLE 的 synchronized CDC 大概降低10% 左右。
影响到业务系统，因为需要在业务系统建立触发器。
2. 日志：通过分析源数据库日志，来获得源数据库中的变化的数据。ORCLE 的 异步 CDC (Asynchronized CDC) 就是使用这种方式。
优点：
基本不影响业务系统，如Oracle Asynchronized CDC 的 HotLog 方式对业务系统的性能大概降低 3% 左右，而 AutoLog 方式对业务系统几乎没有影响。
缺点：
有一定的延时
对于没有提供日志分析接口的数据源，开发的难度比较大。
3. 时间戳：在要同步的源表里有时间戳字段，每当数据发生变化，时间戳会记录发生变化的时间。
优点：
基本不影响业务系统
缺点：
要求源表必须有时间戳这一列。
在删除数据时，还要做一些特殊处理。
4. 数据比较：通过比较两边数据源数据，来完成数据同步。一般用于实时性要求不高的场景。
优点：
基本不影响业务系统
缺点：
效率低
5. 全表拷贝：定时清空目的数据源，将源数据源的数据全盘拷贝到目的数据源。一般用于数据量不大，实时性要求不高的场景。
优点：
基本不影响业务系统
开发、部署都很简单
缺点：
效率低
总结：
1. 上面五种数据同步方式，除了第五种都需要业务表有主键。
2. 对于没有触发器和日志的一些小型数据源，如txt 文本，excel 文件，Aceess，则只能使用后三种方式。
3. 对于大型数据源，一般优先选择日志方式，如 ORCALE Asynchronized CDC, 对于不能通过日志来实现的情况，可以考虑第1，3，4种方式。

一般企业级内部软件之间因为软件提供商的原因，采用最多的数据同步方式都是第4种：进行数据比较，提供方提供数据接口服务，接收方根据服务对数据进行同步分析比较。

在不要求数据实时的情况下：

接收方如何处理数据呢？

1.接收数据接口数据（最新全局数据），存入临时数据表中。（如果是UPDATE数据，就不需要第2步了）

2.将临时数据表中数据与本地数据进行比对，分析差异，按时间批次记录差异数据。

3.提供服务专门处理差异数据进行数据同步。

企业系统之间数据同步处理相关推荐

浅谈Oracle 数据库之间数据同步方案
随着信息技术的飞速发展,企业信息化建设的不断深入,使得企业业务系统数量不断增加.这时,各业务系统之间数据交互,各子业务系统与核心业务系统之间数据交互,诸如此类场景的应用需求不断出现.因此,IT部门应对 ...
不同系统之间数据的交互
最近公司的项目要实现几个子系统的数据同步,讨论了几种方式,现记录如下.背景介绍: 子系统职责 MarketResearch 实时更新基金产品价格 ...
Redis配置主从数据，实现主从库之间数据同步
一.背景需求来源:在现代网络时代,随着用户访问量增加,网站并发量增加,数据库面临压力倍增,当并发到达一个巅峰值,服务器会宕机,那么如何避免这种现象出现呢? 下面是个人总结的几点解决方案: 1.增加服 ...
系统重构数据同步利器之Canal实战篇
一.背景二话不说,先上图上图来自于官网(https://github.com/alibaba/canal),基本上涵盖了目前生产环境使用场景了,众所周知,Canal做数据同步已经是行业内标杆了.我 ...
Nifi实时同步mysql_nifi实现数据库到数据库之间数据同步
一.安装:NiFi 是免安装地,仅需从官网下载压缩包,然后解压,即完成了整个安装过程,官网下载安装包(http://nifi.apache.org/download.html),选择nifi-x.x. ...
微服务之间数据同步的思考
周末无聊,来一篇服务之间数据同步的博客吧(主要讲注意的问题).具体什么业务场景就不举例了. ps:纯属个人瞎说,有错误.不足请大侠指出.嗯,开始说正事了. 业务流程主要业务流程如下: #mermai ...
excel服务器数据同步修改,excel表格数据同步修改-关于excel不同表格（不同工作簿）之间数据同步修改......
EXCEL表格文档如何数据同步更新 excel中让两份表格实现数据同步的具体步骤如下: 首先打开计算机,在计算机桌面找到excel软件,鼠标左键双击excel的快捷方式以打开软件.然后打开需要进行数据 ...
康耐视智能相机insight主从触发以及康耐视insight视觉系统之间数据特有交互方式
康耐视智能相机Insight-毛刺缺陷检测 1.一个相机设置为主系统,指定自己的名称,下方可以指定发给从系统的数据,触发方式不要设置成网络 2.另外一个相机触发方式设置成网络,然后下方指定主系统的名 ...
上下级平台之间数据同步方案_Alluxio与底层存储系统之间的元数据同步机制
请点击上方蓝字,关注我们哦! 作者简介:林意群,Apache Hadoop PMC member,Apache Ozone PMC member,拥有多年参与开源社区经验,主要专注于存储领域的研究和学 ...

企业系统之间数据同步处理

企业系统之间数据同步处理相关推荐

最新文章

热门文章