一、什么是主数据？

主数据是为了解决企业对数据一致性、时效性的需求应运而生。

主数据是用于描述企业运营过程中最为关心的核心数据。它通常更新不频繁，它不是事务性的但用于描述事务。最为典型的主数据例如客户(Customer)、产品(Product)、地区(Locatioin)等。

主数据应该是企业全量数据的一小部分，但是最复杂和最有价值的部分。如何识别主数据？

准则一：主数据能与其它数据交互。例如在交易系统，主数据一般是名词，事务性数据是动词描述，举例“客户购买了产品”，在数据仓库中，主数据相当于维表，事务数据则为事实表。

准则二：主数据是有生命周期的，主数据能增、删、改、查。但这个CRUD生命周期需要根据企业的业务规则处理，不是纯粹的对数据库记录进行CRUD操作。

准则三：数据量需要达到一定的基数，如果只有几个条的客户数据记录，这些不能定义为主数据。

准则四：主数据应该是长期有效的。

准则五：主数据有一定的复杂性。

准则六：主数据对企业有价值的。价值和复杂性通常需要一起考虑。

准则七：主数据相对事务性数据变化少，但是完成不变的数据不是主数据，不应该纳入主数据管理。

准则八：主数据可服用，可跨系统共享。

二、什么是主数据管理？

主数据管理（MDM）是确保主数据在整个企业中协调的技术、工具和过程。MDM提供了一个统一的主数据服务，在整个企业和业务伙伴之间提供准确、一致和完整的主数据。并且：

1）主数据管理不只是一个技术问题，企业的制度更为重要，主数据管理上的困难更多是制度问题。

2）主数据管理是包括创建和维护，需要一套工具和流程保证数据清洗、一致和随时间更新和扩展。

建立高效的主数据管理系统，主数据管理策略应该围绕以下6个方面展开：

a. 治理：管理组织机构、政策、原则和质量，以促进获得准确和经认证的主数据。本质上，这是一个跨职能团队定义、沟通、协调MDM项目各个方面的过程。

b. 测量：基于你的既定目标，你做得怎么样？测量应着眼于数据质量和持续改进。

c. 组织：安排合适的人员在MDM项目中，包括数据所有者，数据管理员等，组织数据治理小组。

d. 政策：MDM应该遵守的要求，政策和标准。

e. 流程：定义主数据的数据生命周期流程。

f. 技术：主数据的中心存储和使能技术。

三、建立主数据管理

通常建立主数据项目有以下这些主要步骤：

确认主数据的来源
确认主数据的生产者和消费者
收集和分析主数据的元数据，包括：属性名称，数据类型，有效值，约束，默认值，依赖和所有者
任命数据管理员，通常数据管理员应该是非常熟悉源数据，并知道如何把源数据转换为主数据格式。
建立数据治理系统和委员会：这个组织必须是权威的和经验丰富的，需要对主数据的维护方式，主数据的内容、时效性、授权和审核等方面作出决策。
开发主数据模型：这步是最为复杂的，包括属性名称，数据类型，数据有效行等，还得包括源数据的映射关系，而且如果要满足多方需求，主数据模型将会十分复杂。
选择工具：通过购买或自建的方式，利用工具完成主数据的清洗，转换，合并，并包括数据模型管理，数据匹配，数据质量和数据质量等方面的管理。
考虑基础架构：完成主数据的开发，接下来需要考虑主数据管理系统的可用性，可靠性，扩展性等问题
数据验证
建立数据维护流程：数据管理员有能力和权力去修改错误数据，MDM系统需要提供工具让数据管理员识别错误数据并方便修改。MDM应该提供数据检视功能，隔离错误的源数据和回滚不正确的变更。

四、如何建立主数据

两点比较重要：

清洗和标准化数据：确认主数据的数据模型，定义主数据的属性内容，类型，和源数据的字段映射等，然后对源数据进行ETL处理。数据清洗最为关键，应该做到：规范化数据格式，替换空值，标准化数据值（如统一单位，货币），字段映射。
匹配数据和消除重复：首先需要一个数据准确性的评审机制，如果是多数据源，数据是否匹配尽可能根据多个字段进行比较，通过置信区间阈值，例如超过95%匹配即可自动处理，80%-95%需要由数据管理员人工合并。

如何合并数据？如果手上有多个数据源合并为单一主数据，那么最好的方法是先从最可信的数据源开始，基于单一的数据源建立主数据并正确运行后，再逐步增加数据源并服务更多数据消费者。

五、如何维护主数据

维护主数据比较常见的情况：

单一副本：这种情况不推荐，因为数据的变更修改都以最新数据提供给数据消费者，甚至如果数据模型发生变化，数据消费者也必须跟着改变，造成使用成本上升。
多副本，单一维护：主数据的增、删、改由单一的责任主体负责，数据消费者同步主数据，他们只维护非主数据部分，限制他们对主数据的增、改。
连续合并：即允许任何人对主数据进行增、删、改、查，对应数据使用者来说是非常方便的，但是对主数据有几个问题：更新冲突，多个数据使用端同时更新同一条数据，这时以谁的为准？新增数据需要重新合并，可能存在多个使用端新增同一条数据，这时需要合并机制把重复数据合并为一条；维护数据难保一致性，例如两个使用端同时读取数据，其中一个修改了数据，而另一个浏览数据过程中可能发生前后不一致情况。

参考资料：

https://profisee.com/master-data-management-what-why-how-who/

主数据管理(Master Data Management)相关推荐

主数据管理(Master Data Management)基础
主数据管理(Master Data Management)基础什么是Master Data(主数据)? 无论是银行.零售商或者政府机构,一个机构内部总有一组核心的数据,各种应用均会使用. 此类数据我 ...
主数据(MD Master Data)
为什么80%的码农都做不了架构师?>>> 主数据(MD Master Data) 目录 1 什么是主数据 2 主数据的因素 3 主数据管理 4 主数据管理问题存在的根源 5 主 ...
[SAP-MDM]MDM的基本概念--主数据管理详解
主数据是指在整个企业范围内各个系统(操作 /事务型应用系统以及分析型系统 )间要共享的数据,比如,可以是与客户 (customers),供应商(suppliers),帐户(accounts)以及组织单 ...
数据集成之主数据管理（一）基础概念篇
数据集成是当下比較热门的话题,相关的产品和平台也越来越多.非常多CIO都在各种数据集成平台和产品之间犹豫不决.因此对数据集成平台的框架体系有全面的理解,对各个厂家产品所提供的功能有深入的认识才干为数据 ...
主数据管理（MDM）的七个最佳实践
主数据管理(MDM)的七个最佳实践 [ 14/09/2009 15:48:00 | By: pegem255 ] 来自网络:http://www.folo.cn/user1/19092/archive ...
数据集成之主数据管理(转载整理)
数据集成是当下比较热门的话题,相关的产品和平台也越来越多.很多CIO都在各种数据集成平台和产品之间犹豫不决.因此对数据集成平台的框架体系有全面的理解,对各个厂家产品所提供的功能有深入的认识才能为数据平 ...
【数据治理】数据治理之主数据管理
1.什么是主数据? 主数据(Master Data,MD):指满足跨部门业务协同需要的.反映核心业务实体状态属性的基础信息. 主数据的5跨特征 (1)跨部门.各个职能部门都需要的公共数据,可以简称为& ...
数据治理之主数据管理MDM
目录一.概念主数据(Master Data): 主数据管理(MDM ,Master Data Management): 二.特点三.主数据管理的关键活动: 1.主数据管理计划: 2.主数据管理执 ...
基于全生命周期的主数据管理：MDM详解与实战学习02 第二章主数据管理的内涵
第二章主数据管理的内涵导读 2.1 主数据的概念 2.1.1 主数据的定义 2.1.2 主数据的特征 2.1.3 主数据的范围 1．描述实体范围 2．应用层次范围 (1)元数据 (2)引用数据 ( ...

主数据管理(Master Data Management)