科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，所上的应用系统也就越来越多。业务发展的过程中沉淀了大量数据，但这些数据没有为企业带来直观价值，没有形成企业的数据资产，所以越来越多的企业进入到数据治理阶段，对于主数据治理的需求越来越明确。

MDM基础数据平台是进行数据清洗和企业治理的主数据，使企业的主数据具有唯一性、准确性、一致性、及时性。但企业数据在展现树形列表的功能时，一般是多对多的关系，为了满足这个需求所有主数据都要进行扩展功能模型，来实现树形关联列表支持多对多数据展现在列表页上的功能。

1整体介绍

主数据治理方案可以将企业的组织、人员、客户、供应商等高度共享的数据进行统一管理；对需要的业务系统进行同步分发，使数据易采集、易理解、易分析，提高部门与部门之间的沟通效率。

1.1产品体系

首先介绍一下我们公司的产品体系：

我们公司的所有产品都是通过K8S云平台进行部署搭建的，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。

MDM主数据管理平台在公司产品体系中是一个重要的一环，主数管理平台可以跟不同产品组合来满足不同的项目需求。

1.2产品介绍

MDM主数据管理平台，主数据管理的关键就是“管理”。主数据管理不会创建新的数据或新的数据纵向结构。相反，它提供了一种方法，使企业能够有效地管理存储在分布系统中的数据。

主数据管理使用现有的系统，它从这些系统中获取最新信息，并提供了先进的技术、流程，用于自动、准确、及时地分发和分析整个企业的数据，并对数据进行验证。

MDM核心数在中间的紫色区域，分别是数据建模，功能建模，流程建模，应用管理，使用这些功能能够自动生成出不同的主数据管理，从而进行数据的治理数据；数据统计，也就是绿色区域的数据管理，流程监控，统计分析功能，并且管理看板也能够进行统计分析，MDM在系统管理中进行添加组织，人员，岗位，并可以配置相应的权限。

1.3功能介绍

本次开发的是数据血缘功能，这个功能提高MDM的关联性，使客户直观地了解MDM数据的来源和目标，此功能是通过系统的数据建模功能配置来源系统和分发系统进行统计出来的，在质量管理中新增的一个数据血缘功能，并且通过导出Excel报表形式展现出来，Excel通过不同Sheet来展示主数据来源和用途。

2实现思路

通过扩展完善数据建模功能配置来源和分发的系统，来构建数据血缘功能，以下是数据血缘的整体思路和考察要点。

2.1整体思路

1.主数据来源配置：主数据建模中添加主数据来源配置标签，可以选择来源的系统和关联的来源字段。

2.主数据分发配置：分发配置有2个位置一个是应用配置里、一个是数据建模中添加一个标签，可以选择要分发的业务系统和分发字段。

3.主数据数据血缘：是可以通过主数据查看到它的来源系统和分发系统、并且查看到它的字段信息和关联的参考数据。

2.2配置功能

主数据建模中添加3个标签：基础信息、来源系统、分发系统。

1.基础信息：主数据基础信息配置，对主数据表和模型的定义。

2.来源系统：是主数据来源系统列表，支持对来源系统选择多选，双击弹出来源字段关联添加，需要重新创建一个表。

3.分发系统：与应用配置根据应用选择主数据一样，只是以主数据角度进行选择应用，使用同一个表即可。

2.3数据血缘

数据血缘是本次新增的一个功能，可以整体的、清晰查看到每个主数据来源和去向。

1.数据血缘整体扩展思路是新增一个数据血缘功能。

2.通过不同的主数据，查看它的来源系统，查看到来源系统的同步的字段。

3.通过不同的主数据，查看到主数据的分发系统和分发系统的字段。

4.通过不同的主数据，查看到主数据所有字段信息和关联的参考数据。

3扩展设计

通过上述的思路，进行模型设计、功能设计、写出功能的技术要点。

3.1模型设计

来源系统配置和字段关联是新增的功能，所以需要新增2个数据模型：

来源系统表：mdm_mentity_sourceapp_rel

来源字段表：mdm_metadata_sourceapp_rel

3.2配置功能

主数据建模中添加3个标签：基础信息、来源系统、分发系统。

基础信息页面：

来源系统页面：

点击添加应用，弹出下面的页面：

点击选择后，弹出同步来源类型页面：

双击进行关联字段页面，选择关联的主数据：

分发系统页面：

双击进行关联字段页面，选择关联的主数据：

3.3数据血缘

1.新增一个数据血缘功能，是左树右表功能。

(1)左侧是主数据树形。

(2)右侧上面是主数据与应用系统关联。

①中间是主数据上下是来源系统和分发的系统。

②不点击图表，右右侧是主数据信息。

③点击图表的应用系统，右右侧是应用信息。

(3)右侧下面有2个标签

①一个标签表格：统计主数据字段信息。

②一个标签表格：统计主数据关联的参考数据信息。

③点击应用只显示一个标签，标签下是系统关联的字段信息。

2.右侧上方新增一个导出功能，点击导出对应主数据的Excel表格。

点击中间的主数据显示如下：

绿色和红色代表是来源系统，其他颜色代表是分发系统，右侧信息栏显示主数据基本信息，下面是统计信息（来源系统、分发系统、字段个数、参考数据）。

图表下面是字段信息和关联主数据信息。

点击上下的应用显示如下：

右侧信息栏显示应用系统基本信息，下面是统计信息（来源系统、分发系统、字段个数、参考数据），图表下面是字段信息。

数据血缘统计也要显示同步来源和清洗来源系统用不同颜色区分。

如果是既时来源还是同步系统下面字段显示2个标签。

导出功能Excel设计：3个Sheet

第一个是来源和分发系统：

第二个是主数据的字段：

第三个参考数据：

4心得总结

平台是主数据治理方案落地的重要工具，平台在功能上满足主数据治理需求的同时，具备快速扩展能力，以适应不同业务场景的变化。并根据技术发展及业务演变，不断迭代升级。通常选择的主数据管理平台要预置典型的模型功能和样例数据，在项目中复用，节省时间。

4.1开发心得

通过这次开发了解在开发过程中要考虑全面，就像这次功能就是整体现出MDM的来源和目标，让业务清晰了解主数据生命周期，所以在以后设计功能时要考虑全面，要按照不同的角度来思考如何开发功能，要考虑产品的实用性，考虑产品的整体性，考虑客户的使用性，这样客户使用时候才能更加满意。

4.2设计优先

通过这次的多对多功能开发，我意识到团队的重要性，一个人不可能完成的任务，多个人可以快速地完成。团结就是力量。像上述所说一个人可能考虑没有那么全面，所以要在设计后一定要进行技术评审，来收集大家的意见完善自己的设计，在开发不明确时也要及时去向领导同事进行请教，这样才能交付出最完美的工作成果。

4.3灵活组合

可以跟公司的产品相互组合使用的，相辅相成，灵活组合，满足绝大多数应用场景，更加灵活地适应企业业务需求的变化，解决不同企业面临的困境，可以和不同步产品组合形成不同的解决方案。

根据不同方案起到不同的作用，如果是业财一体化项目，MDM就担任基础数据映射作用；如果是数据治理项目，就是针对对业务系统中的共享主数据进行治理、完善、统一；如果是数据分析项目，就是抽取整合业务系统中的主数据，保证数据准确、完整后进行数据分析使用。使得企业能够集中化管理数据，在众多系统中保证主数据的一致性，改进数据合规性、快速部署新应用、充分了解客户并提高推出新产品的速度。

MDM数据血缘设计方案相关推荐

python pymongo+networkx 实现mongo数据血缘关系可视化
为什么80%的码农都做不了架构师?>>> 数据血缘通常是指数据产生的链路,其采集主要通过自动解析(存储过程.SQL.ETL过程等文件)结合人工收集的方式实现.本文不涉及数据血缘 ...
全链路数据血缘在满帮的实践
摘要:全链路数据血缘,指在数据的全生命周期内,数据与数据之间会形成各式各样的关系,贯穿整个数据链路中. 本文分享自华为云社区<全链路数据血缘在满帮的实践>,作者: 你好_TT. 什么是全链 ...
流程图外部数据内部数据图形_数据治理工具：基于SQL图形化数据血缘系统的实现和使用...
之前文章,提出了基于SQL图形化数据血缘系统的概念和设计. 这里我们提出系统的实现和使用教程. 把这些做成了视频,放在了网站上:https://www.kexuejisuan.com/all_vedi ...
聊聊Hive数据血缘——从Atlas没有列级血缘的Bug讲起
正文共: 9053字 12图预计阅读时间: 23分钟前几天,Datahub提供了最新的字段级别数据血缘功能,很多朋友迫不及待想对比一下Datahub的字段级血缘与Atlas的区别. 这个时候问题来 ...
数仓基于表级别的数据血缘分析
1.背景:数据血缘分析在日常的处理过程中非常重要,其分为应用级别.表级别和字段级别三种.在数据处理过程中,需要知道目标表的字段是来源于哪张原始表.对于简单的hsql来说我们很容易可以知道目标表的来源, ...
DataHub调研数据血缘
DataHub调研&数据血缘 1. DataHub? 阿里的数据工具datahub? 回答: 不是 DataHub是由Linkedin开源的,官方喊出的口号为:The Metadata Pla ...
大数据血缘分析系统设计（三）
数据级别血缘关系介绍血缘关系数据的收集数据ID的标识数据流转的收集 SQL MapReduce Spark 其他血缘关系图的可视化在前面一篇<大数据血缘分析系统设计(二)>中,对 ...
【DataHub】现代数据栈的元数据平台--如何将数据血缘关系写入DataHub
什么是Data lineage? 在大数据时代,系统的数据来源广泛,各种类型的数据快速产生且爆发性增长.从数据的产生.ETL .数据融合分析.数据应用直至最终消亡,在数据流转过程中数据之间的关联关系称 ...
数据血缘Atlas Rest-API使用
项目场景 atlas支持对hive元数据的管理,通过执行bin/import-hive.sh脚本即可,但目前大多数离线平台是用spark分析数据的,而spark元数据atlas解析不出来数据血缘,这就 ...
如何构建数据血缘系统
1.明确需求,确定边界在进行血缘系统构建之前,需要进行需求调研,明确血缘系统的主要功能,从而确定血缘系统的最细节点粒度,实体边界范围. 例如节点粒度是否需要精确到字段级,或是表级.一般来说,表级粒度 ...

MDM数据血缘设计方案