数据治理-数据质量-数据质量参考架构

参考架构

大数据质量管理框架覆盖组织在大数据生态链中的所有质量管理相关活动，为组织提供了数据治理管理的方法论，以支撑组织开展大数据质量管理工作，指导决策者将大数据质量管理纳入组织日常工作，建立团队来管理组织的数据资产，确保数据质量能够满足业务运行和管理决策的需要。

结合国内大数据质量管理领域的特点，提出了大数据质量参考框架（BDQM）。

质量策略：大数据质量工作受到组织内部各种业务驱动因素的影响。需要多个内部机构参与，因此必须提升到组织层面，与组织整体业务策略相一致，配合组织业务策略实施，实现组织战略目标。
质量控制目标：大数据质量管理需要符合一系列大数据标准、规章制度和流程，因而必须持续检测已定义的质量测量指标和绩效指标，并及时将监测情况向利益相关方汇报。
指责角色：大数据质量管理需要数据采集、使用、管理等工作定义岗位、角色和指责，清晰界定相关角色的责权利，并通过质量认责机制，确保大数据质量管理工作能够高效、有效执行。质量认责机制的核心是分离大数据使用者和管理者两个角色，大数据使用者负责提出业务需求，大数据管理者对大数据全生命周期中的质量负责。
流程和方法：组织按照统一标准和规范，开展大数据的管理和使用，确保数据质量满足要求，同时，必须将大数据质量相关标准化工作嵌入到日常业务处理流程中，严格执行大数据质量规范指引。
支撑保障：支撑保障包括组织有效实施大数据质量管理相关活动的各类技术工作，软件和系统，必须对其进行统一规划、管理和持续改进。

大数据质量策略

大数据质量是快速应对业务变化、符合监管和法规要求、客户管理、业务流程整合和标准化等工作的前提，大数据质量策略对质量管理文化、职责和角色、流程和方法、服务级别协议等具有深远的影响。

大数据质量策略是组织策略的一部分，管理层对大数据质量的态度影响大数据质量管理实施的效果。大数据质量策略的目标上传达业务发展策略，为业务策略的执行和成功提供保证。主要工作包括：

结合组织业务经营策略和大数据策略，制定、评估和更新组织级的大数据质量策略，主要工作包括：

确定、分析、记录和沟通大数据质量对组织业务目标、绩效、业务创新的影响
规范、审核和更新大数据质量管理的目标和流程使其满足利益相关者的需要和期望，并且与业务创新、发展和管理策略保持一致。
确保大数据质量管理策略有效执行，防止不协调的情况发生
定义大数据质量管理参与机构的工作边界和范围，如数据分级、责任部门等
定义大数据质量分级控制策略下的内外部数据管理、多源异构数据整合、内外部数据一致性控制、冷数据和热数据的融合、数据重用等。

组织高管要积极参与大数据质量策略的制定，确保大数据质量框架的开发、共享、实施和改进，并与管理体系的协调一致，主要包括以下：

协调开展大数据质量管理体系的开发、管理和实施
确保质量管理体系的开发、协调和实施，并进行测量、评估和改进
确保大数据质量管理体系的清晰定义和授权
定义和更新相关过程和活动的优先级，保证与业务、成本效益的协调。

大数据质量控制目标

大数据质量控制目标是实现内外部数据质量的监测度量,通过定量化评估，识别和检测，明确大数据质量和业务流程间的关系，完成大数据质量报告的编制等。

识别大数据质量对业务影响：在数据所有者和使用者配合下，选择、定义和维护合适的大数据质量监测维度及检查规则，

根据业务需求和优先级，识别和定义大数据质量维度，关注基于大数据的个性化应用、预测和决策、服务创新等业务需求。
梳理数据缺陷与业务绩效流程间的关系，实施数据缺陷因果分析；根据结果确定大数据监测点、检测方法和质量测量方法。
明确大数据质量维度的上、下阈值和目标，对大数据质量持续监测。
实施多数据源数据供应、标准化、清洗等质量改进工作。
针对智能设备自动采集的数据，实施跨流程的质量关联核查，监测多数据源关联的一致性检查。

建立、维护关键业务数据的知识库和质量规则库，主要包括：

确定纳入关键业务数据知识库中的数据元素
基于确定的关键业务元素，建立和更新组织级关键业务数据知识库
基于监测数据的质量维度的测量规则，建立和维护数据质量规则库

大数据质量持续监测和后续行动

开发、实施和改进用于数据质量维度指标的度量方法
开发和定义数据质量测量的维护流程
持续监测数据质量维度的阈值，发现异常时，触发数据质量改进活动
实施数据的清洗、标准化、内容完善等数据质量改进活动

职责角色

大数据质量管理必须与相关质量岗位、角色纳入到组织架构中，明确责权利，保证高效、有效地完成质量管理的任何和工作。

定义、管理和改进大数据治理管理人力资源

定义和持续更新大数据质量管理需要的岗位角色和职责
定义和持续更新大数据质量管理需要的决策和活动
明确定义和建立大数据质量报告路线和授权，以协调大数据质量管理的各个角色的工作
定义和实施调解策略，以解决质量管理中不同角色间的冲突
管理从事大数据质量工作的人员聘任、职业开发和规划

建立和维护组织内员工的大数据质量管理意识

积极沟通大数据质量策略和目标，将策略和目标融入组织文化中，鼓励利益相关者积极参与质量工作，消除变革阻力
确保从事大数据质量管理的员工具备必需的知识、技能和信息，以便能胜任大数据质量管理工作

授权组织内员工承担大数据质量管理责任

鼓励和支持个人、团队参与大数据质量改进活动
实施大数据质量管理培训。培养员工管理大数据的能力
分享大数据质量活动中遇到的问题、经验教训和最佳实践

流程和方法

流程和方法是大数据质量控制目标实现的重要保障，对于核心业务流程中各类数据，按照“第一次就做好、做对”的原则进行主要管理和维护，采取“预防替换救火队”的数据质量措施，确保组织内数据达到高质量的目标，在组织核心业务流程中主要管理、使用和维护大数据，保证组织内大数据在其全生命周期管理流程。

系统化地设计、管理和改进大数据质量管理流程，主要包括以下

识别、审批和优化质量活动需要得财务费用、人员和技术资源
开展大数据管理质量培训，加深对大数据质量规范、管理流程的认识
设计、改进和提供大数据产品和服务
配置服务水平协议SLA，提供解决方案
向大数据使用者营销现有大数据产品和服务

定义和改进大数据的采集、应用和维护任务，主要包括以下

定义组织和数据使用者和其他利益相关者
建立覆盖数据全生命周期管理得知识库
设计、实施、检测和改进数据采集、使用和维护流程，以保证其符合监管和业务规则要求
建立和实施数据自动采集智能设备和定期检查、校准制度和流程，确保数据采集治理
依据对数据质量得期望，开展大数据质量评估，保证数据质量和可用性
积极推进数据治理改进的相关分析、清洗、标准化、内容完善等

支撑保障

大数据质量支撑保障主要是通过质量辅助技术工具、软件和系统，支撑大数据质量管理活动，保证大数据质量符合数据标准、业务规则和数据质量规则等。

利用工具软件和系统开展相关的规划、管理和改进，主要包括以下

定义大数据质量管理支撑的活动，如清洗、数据建立、数据分析、数据质量仪表盘等
规划大数据质量软件工具，包括数据清洗、数据缺陷预防、数据分析、数据再造和矫正等，充分使用大数据平台已具备的分布式数据并行处理和数据复制能力。与大数据管理平台全面融合集成在一起
开发部署各类大数据质量辅助技术工具、软件和系统，并对组织相关员工进行使用和维护培训

记录和持续了解大数据质量管理活动的现状与未来的应用功能差异