Data Vault2.0方法论之审查和改进-全面质量管理

全面质量管理

数据质量维度
全面数据质量管理
数据仓库质量
将TQM与Data Vault2.0方法相结合

为了实现卓越的质量，管理者和团队往往参考全面质量管理（TQM），它是一套实现质量以应对全球竞争的理论、方法、技术和质量策略。TQM是一个管理流程，重点是持续的质量改进。在TQM中，Total一词是指组织中的每个人和每个组织职能都应该参与质量的持续改进。在这个意义上，质量意味着满足或超过用户对产品或服务质量的期望。管理是指改进和维护业务系统，包括其相关流程和活动。典型活动包括：

实验设计
质量圈
价值评估工程
质量成本
信息系统
田口法
全生产维修
统计流程控制
质量保证
强劲的设计
计算机集成设计
质量功能部署
持续改进
参与式管理

不包括主要对制造业感兴趣的活动，如制造业资源规划。然而，一些活动可以转移到数据仓库，特别是对于使用Data Vault标准构建的DWH系统。此外，还有一些活动已经在本章的其他概念中描述（或将在后面的章节中描述）。例如，参与式管理已经在Scrum中得到了应用：不再在项目组织的顶层进行决策，而是将决策权进一步下放到组织的底层。
TQM也是如此：责任延伸到尽可能低的水平。项目成员必须有权作出明智的决定，以提高产品或服务的质量。他们可以未经上级批准就作出这方面的决定。
典型的TQM实施工作遵循分阶段的方法，包括图3.22所示的五个阶段。

图 3.22 成功实施TQM的五个阶段

如图所示，这五个阶段是:
1.准备阶段，在实施全面质量管理之前花费了大量的时间、精力和资源，以降低失败的风险；
2.规划阶段，人们聚在一起，制定时间表和目标；
3.评估阶段，用于更好地了解内部组织、外部产品或服务、竞争对手和客户；
4.实施阶段，在组织内部部署质量实践方案以及支持系统；
5.联网阶段，TQM的参与者与组织其他部门的类似工作联系起来，形成更紧密的联系和联盟。

但是，您不应该被图3.22所迷惑。只有准备阶段在组织中实施一次。其他阶段是持续不断发展的活动，在全面质量管理实施过程中不断重复，以进一步提高质量。

数据质量维度

由于Data Vault 2.0方法论的重点是TQM的数据质量管理方面，因此值得研究两种方法论，它们可以成为数据仓库中TQM工作的一部分。
这两种方法论都依赖于对数据质量的客观评估。另一方面，数据质量有许多方面是业务用户感兴趣的，因此可以用来对数据（或信息）的质量进行分类。表3.10列出了常见的数据质量维度。
表3.10数据质量维度

维度	定义
无障碍环境	指示业务用户可在多大程度上获得数据或快速地检索数据
适当的数据量	提供有关业务用户任务的适当数据量的信息
可信度	表示业务用户认为数据真实可信的程度
完整性	由可用数据的范围来定义，即不缺失数据，以及数据是否具有足够的广度和深度，以满足业务用户的任务。它被定义为期望内的全面，缺少的可选数据不会影响数据的完整性。
简洁表示	指示数据是否以紧凑的格式表示
一致性	指示数据是否以相同、一致的格式表示（如果在多个位置可用）。它确保满足标准数据定义，包括数据类型、大小和格式
易于操作	确定数据是否易于操作并应用于不同的任务
无错误	指示数据是否没有错误，因此指明数据是正确可靠的。
健全	指示数据在数据关系中是否有效
可解释性	指示数据是否使用正确的语言、符号、定义和单位
客观性	定义数据无偏见、客观公正的程度
关联性	指示数据是否适用并有助于业务用户的任务
权威性	提供有关数据源或内容的权威性信息
安全	指示数据是否以适当限制的访问方式得到适当的安全
及时性	提供有关业务用户对数据时效性的看法的信息
可理解性	指示数据是否容易被业务用户理解
唯一性	确保数据不会冗余存储
增值	为业务用户提供有关数据的利益点和优势的信息

对这些数据质量维度的评估可以是任务无关的，也可以是任务相关的。与任务无关的评估不需要了解应用程序的上下文，并且可以应用于任何数据集。另一方面，任务依赖的维度要求了解组织的业务规则、公司的条例或法律授权。

全面数据质量管理

第一种方法是全面数据质量管理(TDQM)，它将人力资源和可量化资源应用于改进产品和服务，类似于TQM。 TDQM支持数据库迁移，促进数据标准的使用，并利用业务规则改进数据库。在TDQM中有四个循环阶段，如图3.23所示。

图 3.23 TDQM循环阶段

第一阶段是定义阶段，分析数据并收集业务需求。还定义了处理信息的信息制造系统。该阶段的输出是具有质量相关属性的信息产品的逻辑和物理设计，以及定义信息产品和信息质量的质量E/R模型。
第二阶段是度量阶段，定义信息质量的度量，并在分析后发现信息质量中的问题。
第三阶段是分析阶段，分析上一阶段发现的信息质量问题，并找出错误的根本原因。
第四阶段是改进阶段，选择关键的改进领域以及战略和技术。这些策略和技术是在下一次TDQM循环的定义阶段中应用的。

数据仓库质量

第二种方法是由欧洲数据仓库质量项目开发的数据仓库质量(DWQ)方法。正如上一节所述，在全面数据质量方法中使用了相同的阶段，但这些阶段的含义和联系是不同的。图3.24显示了DWQ方法的流程。

图 3.24 DWQ阶段

定义阶段的输入是来自操作系统、利益相关方视角以及来自数据仓库的项目和上下文信息的数据定义。确定数据仓库的相关数据质量维度，包括与数据仓库中对象的关系。业务用户和其他利益相关者权衡质量维度。
度量阶段使用定义阶段的质量维度，并标识它们之间的依赖关系。
分析阶段，度量阶段的结果被用来通过比较数据质量值和业务用户的数据质量要求来识别关键领域。
改进阶段使用需要改进的数据质量维度列表来改进数据。

将TQM与Data Vault2.0方法相结合

在Data Vault2.0方法中，TQM作为应用敏捷方法、CMMI和六西格玛的治理机制。通过这样做，它连接了这些方法的改进元素，以便不断改进和超出业务用户、业务发起人和其他利益相关者的期望。
在实施以客户为中心的持续改进过程时，TQM有几个重要的基本要素：

客户焦点：TQM背景下的质量最终由客户决定。在数据仓库的情况下，业务用户通过数据仓库项目来确定组件的质量。因此，这些用户决定数据仓库团队所做的努力、培训、持续的过程和质量改进是否值得。
全员参与：为了实现数据仓库组件的卓越质量，每个员工都必须参与持续的改进努力。管理层必须提供支持这些努力所需的环境。持续改进工作需要融入正常的业务运作。
以过程为中心：类似于六西格玛，TQM专注于过程。这对于DataVault2.0是完美的，其中定义的过程具有定义的过程步骤，从而产生预期的结果。业绩计量持续监测。如果预期结果发生意外变化，则向项目管理部门报告。
集成：TQM不发生在一个功能团队中。TQM要求集成许多不同的功能单元，将它们相互连接，以达到总质量。
战略和系统：总质量不是偶然发生的。它是战略规划和战略管理的结果，并将质量纳入组织的战略计划。
持续改进：没有组织能力的持续改进，总的质量就不可能实现。TQM管理这些持续的努力。
基于事实的决策：改进过程中的决策是基于绩效测量的。为了提供这些测量，组织必须不断收集和分析数据。
沟通：需要进行有效的沟通，以保持组织各级员工的积极性。

本节导言中讨论的会议应整合这些要素，以便从TQM的角度取得成功。
有时，当在报表或OLAP中发现错误信息时，组织决定不遵循推荐的TQM方法来识别错误的根本原因并修复它，可能是直接在源系统或业务流程中进行纠错。相反，组织决定修复源系统和前端报表之间的错误。如果遵循这种方法，那么修复数据仓库中错误的唯一可接受的方法就是在原始DataVault层中应用软业务规则，例如使用BusinessVault层或在提供信息集市时。后续文章《实现数据质量》，将演示如何在数据仓库中实现数据质量。然而，根据全面质量管理TQM，努力的目标是实现一个闭环过程。这是通过让业务用户跨源系统对齐数据集，并在源系统而不是在数据仓库中更正错误来实现的。

但TQM不仅仅是修复数据质量(DQ)。虽然它涉及数据质量活动，但它是能够看到异常集市（Error Marts）中的异常，将数据带入问题，然后向源系统发出更改请求，以便纠正过程或数据，或两者兼而有之。没有闭环处理（如前面所述：用户修复和对齐源中的数据集），它只不过是纯DQ。然而，TQM要求人们参与其中，通过提供反馈和消除错误来关闭源系统和表示层之间的闭环，从而缩小整个系统中发现的差距。