什么是血缘分析

血缘分析是一种技术手段，用于对数据处理过程的全面追踪，从而找到某个数据对象为起点的所有相关元数据对象以及这些元数据对象之间的关系。元数据对象之间的关系特指表示这些元数据对象的数据流输入输出关系。

目的：根据集成的数据库或视图，通过血缘追踪，获得结果数据的来源信息；更新数据时能够反映原始数据库的变化，查看数据在数据流中变化过程。

1.什么是血统分析

血统分析采用图形方式展示了以某个元数据为终止节点，其前与其有关系的所有元数据，反应数据的来源与加工过程，使用血统分析可分析数据来源和数据质量问题的定位。如果数据从A表变化到B表然后再变化到C表，查看C表的血统分析时，就会显示下方的图片。

2.什么是影响分析

影响分析采用图形方式展示了以某个元数据为起始节点，其后与其有关系的所有元数据，反应数据的流向与加工过程，使用影响分析可分析数据流向和数据转换中错误的定位。如果我们查看A表的影响分析时，就会显示上方的图片。

3.什么是全链分析

全链分析采用图形方式展示了以某个元数据为目标节点，其前后与其有关系的所有元数据，反应数据的来源与加工过程，使用全链分析可分析数据来源和数据质量问题的定位。如果我们查看B表的全链分析时，就会显示上方的图片。

血缘分析带来的创新价值

血缘分析能够提供丰富的创新，其唯一的限制元素在于想象力。首先我们先看看在传统意义上，血缘分析可以帮助我们解决什么样的问题。

1.问题定位分析

类似于影响分析，当程序运行出错时，可以方便找到问题的节点，并判断出问题的原因以及后续的影响。

2.差异分析

通过对元数据对象关联的其他对象或参与过程、不同元数据对象之间进行分析，就可以看到它们之间的差异和关联情况，包括名字、属性以及数据血缘对系统其他部分的影响等。通过差异分析，业务人员可以对相似的指标从业务定义、数据生成将各个方向进行分析；技术人员可以针对相似的物理对象进行信息辨别。

3.指标波动分析

当某个指标出现较大的波动时，可进行溯源分析，判断是由哪条数据发生变化所导致的。

4.数据体检

判定系统和数据的健康情况，是否存在大量的冗余数据、无效数据、无来源数据、重复计算、系统资源浪费等问题。

5.数据评估

通过血缘分析和元数据，可以从数据的集中度、分布、冗余度、数据热度、重要性等多角度进行评估分析，从而初步判断数据的价值。

6.案例分析

1.加速数据处理

很多银行在生成各类全局指标的过程中，需要大量的计算工作，往往只能满足T+1.5（1T代表1天）的要求，昨天的数据，要等到明天中午才能看。尽管这样的效率已经不能够让业务部门满意，技术部门因此承担着巨大的压力，最让技术部门烦恼的还不只是如此，而是原始采集的数据可能因为各种各样的问题，在数据处理中做很多调整。我们这些做技术的，都能理解技术部门烦恼的原因。试想一下，原本一个5个小时左右的处理任务，在运行4.5小时以后，即将完成，突然有人告诉你，最初给定的数据有问题，现在必须得改，而且还希望你能在1个小时内把数据算出来。借助血缘分析，这个方案有很大的提升空间。

如上图所示，在生成指标B的过程，输入表A进行了变更，如果通过血缘分析，了解到了A所影响的路径范围，那么完全不必要重新做一次所有计算任务，而只是把A到B之间影响到的节点重新加工即可。这样计算量可以大大缩减，而且提高任务的弹性时间，或许1小时内就能完成调整后的计算。

2.诊断业务发展问题

血缘分析并不是不仅限于技术层次的数据对象进行分析，如果把业务对象纳入到血缘分析的环境下，或许能得到意外的收获。快递消费品公司拥有全国连锁的门店网络，所销售的商品肯定种类繁多。但对于公司决策层来说，如何分析每个季度的业务发展情况是一件非常痛苦的事情，尤其是关键指标的波动情况到底是什么因素引起的，让数据分析团队每天要加班加点的去研究，非常受累，公司上层对团队的工作效率和绩效很不满意。

我们可以通过血缘分析能力的引入，去更好的理解不同指标之间的关系，以及产生指标的数据源头波动情况带来的影响。从而能够及时发现经营活动中存在的隐患，针对性的去解决问题。

血缘分析是对数据对象内在关系的一种映射，同时还结合了时间顺序、递次关系也能够反映出一定的相关性和它的前因后果。因此应用的范围可以说非常广泛，也是我们数据资产治理的核心利器。

何为血缘分析？血缘分析能给我们带来什么影响？相关推荐

马哈鱼SQLFLow数据血缘分析器增量分析血缘任务
马哈鱼数据血缘分析器是一个分析数据血缘关系的平台,支持对大量复杂的数据快速准确的分析,支持分批增量分析血缘. 本文主要介绍如何利用马哈鱼增量分析任务. 使用步骤登录sqlflow-api(SQLFL ...
[css] 父元素下有子元素，子元素也有高度但父元素的高度为何为0呢？分析下可能出现的原因及解决方法
[css] 父元素下有子元素,子元素也有高度但父元素的高度为何为0呢?分析下可能出现的原因及解决方法父元素塌陷父元素在文档流中高度默认是被子元素撑开的,当子元素脱离文档流以后,将无法撑起父元素的高度 ...
R语言效用分析 ( 效能分析、Power analysis)、除了pwr包之外还有其它包、例如、基因研究中的效能分析、MBESS包可用于各种形式的效能分析和最少样本量确定、其他效用分析包的简要介绍
R语言效用分析 ( 效能分析.Power analysis).除了pwr包之外还有其它包.例如.基因研究中的效能分析(power analysis).MBESS包可用于各种形式的效能分析(power ...
R语言效用分析 ( 效能分析、Power analysis)确定样本量、假设检验与两类错误、pwr包进行效用分析 ( 效能分析、Power analysis)的常用函数列表
R语言效用分析 ( 效能分析.Power analysis)确定样本量.假设检验与两类错误.pwr包进行效用分析 ( 效能分析.Power analysis)的常用函数列表目录
python可视化文本分析(1)—分析QQ班群聊天记录宏观
公众号文章链接前一段时间就想做简单的可视化文本分析玩,今天就花点时间先对整体班级的QQ群聊天信息做一个简单的分析. 打算分两步做,本文是最简单的第一步过程 1:分析整个聊天记录的时间分配.并且用ma ...
linux服务器宕机分析/性能瓶颈分析
linux服务器宕机分析/性能瓶颈分析服务器宕机原因很多,资源不足.应用.硬件.系统内核bug等,以下一个小例子服务器宕机了,首先得知道服务器宕机的时间点,然后分析日志查找原因 1.last re ...
php试卷分析,试卷分析失分原因和改进措施
考后如何做好试卷分析?期末考试结束后,如何做试卷分析?要想收获更大,自己再独立分析一遍.这样,对问题理解的才能更深刻,改变现状的行动力也会更强.所以,今天这篇文章手把手来教大家做试卷分析. 如何做好试 ...
FFMpeg中apiexample.c例子分析——编码分析
FFMpeg中apiexample.c例子分析--编码分析apiexample.c例子教我们如何去利用ffmpeg库中的api函数来自己编写编解码程序. (1)首先,main函数中一开始会去调用avc ...
FFMpeg中apiexample.c例子分析——解码分析
FFMpeg中apiexample.c例子分析--解码分析收藏我们直接从 video_decode_example() 函数开始讲,该函数实现了如何去解码一个视频文件,以 .mpeg 文件为例. ...
文法G[E]分析表分析字符串(i+)-编译原理
已知文法G[E]分析表(如下所示) ) 下面来分析(i+) 首先在分析区填入#E,余留下输入串为(1+)#,所用产生式查上表:E行(列,所以为:E->TE' 如下图所示: 随后E出栈,所用产生式 ...

何为血缘分析？血缘分析能给我们带来什么影响？