数据分析 - 基础原理之第三章：数据质量管理

请参考原创：https://mp.weixin.qq.com/s/ovSa7Uhv5IyKzyb-l3PHaA

前言

数据资产的重要性

数据资产是企业或组织拥有或控制，能带来未来经济利益的数据资源。越来越多的企业认识到自身的业务数据是一个有别于其他形式又很重要的企业资产。

打理好企业数据资产，可以为企业带来准确及时的决策和有效的行动，为企业的业务分析预测和决策提供有力的支持，让企业在市场中用前瞻性的决策找到的新的盈利点和商业模式，利用数据资产来获取或增强市场竞争优势，给企业带来巨大的回报。

数据质量管理的必要性

“数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。”——以上内容摘自百度百科。

以下是原创笔者观点，我也高度赞同:

原创笔者观点：“数据质量管理不单纯是一个概念，也不单纯是一项技术、也不单纯是一个系统，更不单纯是一套管理流程，数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效的数据质量控制手段，进行数据的管理和控制，消除数据质量问题进而提升企业数据变现的能力。在数据治理过程中，一切业务、技术和管理活动都围绕这个目标和开展”。

数据质量管理首要条件

数据质量管理中，首先要区分得出数据质量的好坏或划分得开数据质量符不符合要求，如果做不到这点，数据质量管理是无稽之谈；所以数据质量管理的首要条件是有一套健全的数据质量评估标准与分析流程，然后才有接着的数据质量治理、数据质量监控等等。

1.数据质量评估标准（数据质量问题盘点）

数据真实性：数据必须真实准确的反映客观的实体存在或真实的业务，真实可靠的原始统计数据是企业统计工作的灵魂，是一切管理工作的基础，是经营者进行正确经营决策必不可少的第一手资料。
数据准确性：准确性也叫可靠性，是用于分析和识别哪些是不准确的或无效的数据，不可靠的数据可能会导致严重的问题，会造成有缺陷的方法和糟糕的决策。
数据唯一性：用于识别和度量重复数据、冗余数据。重复数据是导致业务无法协同、流程无法追溯的重要因素，也是数据治理需要解决的最基本的数据问题。
数据完整性：数据完整性问题包括：模型设计不完整，例如：唯一性约束不完整、参照不完整；数据条目不完整，例如：数据记录丢失或不可用；数据属性不完整，例如：数据属性空值。不完整的数据所能借鉴的价值就会大大降低，也是数据质量问题最为基础和常见的一类问题。
数据一致性：多源数据的数据模型不一致，例如：命名不一致、数据结构不一致、约束规则不一致。数据实体不一致，例如：数据编码不一致、命名及含义不一致、分类层次不一致、生命周期不一致……。相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题。
数据关联性：数据关联性问题是指存在数据关联的数据关系缺失或错误，例如：函数关系、相关系数、主外键关系、索引关系等。存在数据关联性问题，会直接影响数据分析的结果，进而影响管理决策。
数据及时性：数据的及时性(In-time)是指能否在需要的时候获到数据，数据的及时性与企业的数据处理速度及效率有直接的关系，是影响业务处理和管理效率的关键指标。

2.数据质量分析流程（数据质量问题分析）

关于质量问题的分析，笔者推荐采用经典的六西格玛（缩写：6σ 或 6Sigma），六西格玛是一种改善企业质量流程管理的技术，以“零缺陷”的完美商业追求，以客户为导向，以业界最佳为目标，以数据为基础，以事实为依据，以流程绩效和财务评价为结果，持续改进企业经营管理的思想方法、实践活动和文化理念。六西格玛重点强调质量的持续改进，对于数据质量问题的分析和管理，该方法依然适用。

根据六西格玛的DMAIC模型，我们可以将数据质量分析定义为六个阶段：

（1）定义阶段（D阶段）。界定数据质量治理的范围，并将数据质量改进的方向和内容界定在合理的范围内。通过使用主数据识别法、专家小组法、问卷调查法、漏斗法等方法，定义出数据治理的对象和范围。企业数据质量治理对象一般主要包括两类数据：一类是操作型数据，例如：主数据、参照数据和交易数据。另一类是分析型数据，例如：主题数据、指标数据等。

注：根据笔者经验以及80/20法则，企业的数据质量问题80%是由于管理不当或业务操作不规范引起的，参考：《主数据的3大特点、4个超越和三个80/20原则》。

（2）测量阶段（M阶段）。在定义出数据治理对象和内容后，需要选取以下若干个指标来作为数据质量评价指标，建立数据质量评估模型，对企业的数据进行评估和测量。常用的数据质量评价指标就是我们上述提到的：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

（3）分析阶段（A阶段）。基于数据质量评估模型，执行数据质量分析任务，通过数据分析，找到发生数据质量问题的重灾区，确定出影响数据质量的关键因素。数据治理和大数据分析是密不可分的，数据治理的目标是提升数据质量从而提高数据分析的准确性，而大数据分析技术也可反向作用于数据治理，通过大数据分析算法和大数据可视化技术，能够更准确、更直观的定位到发生数据质量问题的症结所在。该阶段可以用的大数据技术包括：回归分析、因子分析、鱼骨图分析、帕累托分析、矩阵数据分析等。

（4）改进阶段（I 阶段）。通过制定改进管理和业务流程、优化数据质量的方案，消除数据质量问题或将数据质量问题带来的影响降低到最小程度。我们一直在强调数据质量的优化和提升，绝不单单是技术问题，应从管理和业务入手，找出数据质量问题发生的根因，再对症下药。同时，数据质量管理是一个持续优化的过程，需要企业全员参与，并逐步培养起全员的数据质量意识和数据思维。该过程主要用到方法：流程再造、绩效激励等。

（5）控制阶段(C阶段）。固化数据标准，优化数据管理流程，并通过数据管理和监控手段，确保流程改进成果，提升数据质量。主要方法有：标准化、程序化、制度化等。