5.4.1 数据一致性检验

数据一致性是指在对一个副本数据进行更新的同时，必须确保也能够更新到其他的副本，否则不同的副本之间的数据将不再一致。例如，当你在银行已经存有五千元，接着又存了一千元，然后跑到另外一个地方游山玩水，需要在当地的银行把这六千元取出来，但是存钱的银行没有及时将你存钱的信息传给当地的银行，所以当地银行还不知道你已经存了1000元进去，当地银行的工作人员告诉你账户余额只有5000元，这时你的同一账户的余额在不同的地方出现了不一致的情况。

数据的一致性有三种情况，即强一致性、弱一致性以及最终一致性，具体如下。

(1)强一致性是指对数据完成更新操作后，所以有客户端访问到的数据均为更新之后的数据，这样可以保证客户端获取到的是最新数据，但是若要达到强一致性，将会降低性能。

(2)弱一致性是指当数据完成更新操作后，系统并不保证所有的客户端访问到的数据都是最新数据，但是会尽量保证在某个时间（如秒级或分钟级）内让数据达到一致性状态。

(3)最终一致性是弱一致性的一种特例，当数据更新完成后，保证没有后续更新的前提下，系统将最终返回的是上一次更新操作的值。

下面以一张名为Personnel_Information的数据表为例进行数据一致性处理。

一，创建转换

用e57.ktr保存。

二，表输入配置

三。值映射配置

把字段GENDER中数据Male替换为数字0，Female替换为数字1。

四配置插入/更新

五，查看结果

分析：由于转换e57.ktr的运行是单次的，若后续需要将原始数据进行转换，插入操作，则需要运行该转换，这样工作效率很低，因此通过kettle工具创建一个作业，对转换e57.ktr设置定时器，使得转换程序定时自动执行同步的操作。

六，创建作业

命名为e571.kjb

七，配置Start控件

勾选重复复选框，类型为时间间隔，下面以秒计算的间隔设为5，以分钟计算的间隔设为0。这里意思为每五秒进行一次该作业。

八，配置转换控件

九，运行作业e571.kjb

可以看出转换每5秒进行一次。

5.4.1 数据一致性检验相关推荐

Clumpify：能使 Fastq 压缩文件再缩小 30% 并加速后续分析流程
由于微信不允许外部链接,你需要点击文章尾部左下角的 "阅读原文",才能访问文中链接. Clumpify 是 BBMap 工具包中的一个组件,它与其他工具略有不同的是 Clumpif ...
mysql主从数据库验证_数据库主从一致性验证
数据库数据一致性检验部署文档 1.pt-table-checksum 安装: 各个版本一览地址:http://www.percona.com/downloads/percona-toolkit/ 我们 ...
中国石油大学《化工热力学》第三阶段在线作业
第三阶段在线作业单选题 (共15道题) 收起 1.(2.5分) 过量函数表示的是实际溶液的热力学性质与之间的差 A.纯液体 B.理想溶液 C.理想气体 D.纯组分性质之和我的答案:B 此题得分 ...
数据库检测数据一致性时的哈希值不一致的原因
检测数据一致性时的哈希值不一致的原因内容目录检测数据一致性时的哈希值不一致的原因一.问题介绍二.哈希值不同的原因有什么三.问题排查四.日常小技巧今天在做一个数据需求的时候,大概要把几张有 ...
Spark 2.3.0 用户自定义聚合函数UserDefinedAggregateFunction和Aggregator
Spark 2.3.0 用户自定义聚合函数UserDefinedAggregateFunction和Aggregator 一.无类型的用户自定于聚合函数(Untyped User-Defined Ag ...
C#基础教程-c#实例教程，适合初学者
C#基础教程-c#实例教程,适合初学者. 第一章 C#语言基础本章介绍C#语言的基础知识,希望具有C语言的读者能够基本掌握C#语言,并以此为基础,能够进一步学习用C#语言编写window应用程序和W ...
kappa一致性检验教程_SPSS在线_SPSSAU_Kappa一致性检验
如果研究人员想要考察不同的诊断方法是否在结果上具有一致性:也或者两个医生对于同一病例做出病情判断上是否具有一致性:两个医生对于MRI检验结果的一致性情况:也或者两个评委的打分一致性情况.诸如此类,如果 ...
CSDN ARIMA R语言_R语言实现Fleiss#39; Kappa系数处理多个观察者一致性检验
Fleiss' kappa系数.该检验适用于分析重复测量3次及以上且测量结果是无序分类变量的重测一致性或观察者一致性检验.SPSS没有内置操作模块,但可以通过拓展包输出结果.Fleiss' kappa ...
软件测试矩阵,什么是过程/数据矩阵(U/C矩阵)？
过程/数据矩阵(U/C矩阵) 什么是U/C矩阵 U/C矩阵是用来表达过程与数据两者之间的关系.矩阵中的行表示数据类,列表示过程,并以字母U(Use)和C(Create)来表示过程对数据类的使用和产生. ...

5.4.1 数据一致性检验

5.4.1 数据一致性检验相关推荐

最新文章

热门文章