数据质量管理十步流程
1定义业务需求和方法
明确数据质量管理的重点、时机和目标,来指导整个项目期间的所有工作。
目标:
1.明确信息环境-数据、流程、人员、组织以及与业务情况相关的技术。
2.按顺序排列并最终确定项目重点关注的业务问题。
输入:
1.亟需解决的数据质量业务需求和时机
2.已知现存的数据质量问题
3.企业的需求(以及任何对当前信息环境有帮助的资料,如数据模型、软件架构、组织结构图)
工具和技术:
1.实地调研
2.过往实践经验
3.组织结构图
4.费效矩阵
5.优先级排序技术
输出:
1.待解决问题的明确描述,以及它们与数据质量的关系。
2.信息环境的明确描述。
3.初步沟通方案。
4.项目方案:项目章程、背景图、工作分解结构、实践安排表、预计所需的资源。
2.分析信息环境
收集、整理并分析与数据质量相关的信息环境。明确信息生命周期,确保相关数据得以评估。设计数据获取与评估方案。
目标:
1.收集、整理和分析当前需求、数据及规范、流程、人员、组织以及业务问题相关技术细节。
2.提供信息生命周期的文件资料。
3.制定数据获取和评估的初步方案。
输入:
来自步骤1的输出:
1.待解决问题的明确描述,以及它们与数据质量的关系。
2.信息环境的明确描述。
3.初步沟通方案。
4.项目方案:项目章程、背景图、工作分解结构、实践安排表、预计所需的资源。
其他输入:与业务问题和信息环境有关的资料
1.需求和约束:业务、技术、法律、合同、规划、内部政策、安全要求、保密性。
2.数据规范。
3.业务流程。
4.工作角色和职责。
5.技术体系结构和数据模型。
工具和技术:
1.信息质量框架。
2.信息生命周期。
3.信息生命周期方法。
4.数据捕获。
5.结果分析。
6.数据质量工具。
输出:
1.数据生命周期。
2.数据获取和评估方案。
3.分析信息环境的结果:历史文档资料,影响数据质量的潜在因素及根本原因和解决建议。
4.确定最终需求。
5.详细的数据列表和数据规范。
6.数据模型:包含了解数据结构和数据关系所需的细节。
7.技术背景。
8.流程细节。
9.组织结构、角色和职责。
3.评估数据质量
针对适用于这一问题的数据质量维度,评估数据质量。评估结果用来确定数据质量问题的根本原因、需要改进的地方。
目标:
1.评估适用于业务问题的数据质量为度。
输入:
1.来自步骤2的输出:
方法和技术:
1.适用于维度的技术。
2.适合进行评估的工具:数据剖析工具、报表工具或SQL、数据清洗工具以及其他数据质量相关工具
输出:
1.数据质量评估结果。
2.对业务的潜在影响和根本原因。
3.初步行动建议。
4.评估业务影响
使用各种技术来评估劣质数据对业务的影响。该步骤为业务改进、确定适当的资源投资提供依据。
目标:
1.使用定性及定量方法确定数据质量问题对业务的影响。
输入:
1.来自步骤1-3的输出。
工具和技术:
1.适用于特定业务影响技术的方法,如各类调查模版。
输出:
1.业务影响评估结果。
2.基于影响结果的行动建议。
5.确定数据质量问题原因
确定引起数据质量问题的根本原因,并区分优先次序,以及为解决这些问题的具体建议。
目标:
1.确定数据质量问题的根本原因,并对其优先级进行划分。
2.制定建议。
输入:
1.历史经验以及步骤2-4中获得的输出。
工具与技术:
1.适用于特定根本原因的技术,如因果图、鱼骨图。
2.回报矩阵。
输出:
1.解决数据质量问题的根本原因的具体建议。
2.基于业务影响结果的具体建议。
6.制定提高方案
确定最终具体解决方案。
目标:
基于数据质量或业务影响评估结果,制定行动方案。
输入:
数据质量:
1.高优先级问题、根本原因以及解决问题的具体建议列表。
2.数据质量评估结果的输出。
业务影响:
1.业务影响评估结果以及基于评估的行动建议。
2.优先级划分:费效矩阵。
3.熟悉的规划方法。
输出:
1.解决根本原因、预防数据质量问题和纠正数据错误的具体行动方法。
2.受方案影响的人员。
7.预防未来数据错误
实施解决引起数据质量问题的根本原因的解决方案。
目标:
1.通过处理数据错误发生的原因来预防未来发生数据错误。
2.实施适当的提高方案。
3.确保用于处理数据错误处理的投资不浪费。
输入:
1.来自步骤6的输出。
工具和技术:
1.为修正每一类问题的数据错误适用的工具和技术。
2.将数据剖析和数据清洗工具的功能作为标准流程的一部分。
输出:
1.解决根本原因和预防未来数据错误的方案。
2.活动实施而给当前业务带来的变更。
3.受业务变更影响的人员。
8.纠正当前数据错误
实施数据纠正步骤。
目标:
实施纠正现有数据错误的解决方案。
输入:
1.步骤3、步骤6的输出。
2.实施变更的小规模试点。
3.受影响的人员。
工具和技术:
1.数据清洗工具。
2.可以大规模更新数据的应用软件。
3.与现有应用软件相关的标准接口。
输出:
1.依据规范纠正的数据。
9.实施控制
监控和核实所进行的改进。通过标准化、归档和对改进进行持续监测,维护结果。
目标:
1.实施持续的监测和度量。
2.监测和确认已实施的改进措施。
3.确定包含数据质量控制的新解决方案。
输入:
1.步骤6-8中的输出。
工具与技术:
1.取决于所实施的控制措施。
输出:
1.所实施的控制措施。
10.沟通行动和结果
归档和沟通质量管理效果、所做的改进和改进的结果。其中沟通非常重要。
目标:
1.在项目期间,对结果和进展情况进行适当的沟通。
输入:
1.来自任何步骤的结果。
工具和技术:
1.沟通方案模版。
2.RACI。
3.其他沟通与表达技术。
输出:
1.沟通方案和时间表。
2.表达和培训材料。
3.根据时间表和沟通方案完成沟通。
数据质量管理十步流程相关推荐
- 海外apk转换aab 十步流程
流程图 第一步 解析apk: 使用cmd命令执行apktool对apk进行反编译操作获取对应的所有文件 cmd = java -jar {apktool路径} d {apk路径} -s -o {dec ...
- 十步优化SQL Server中的数据访问
故事开篇:你和你的团队经过不懈努力,终于使网站成功上线,刚开始时,注册用户较少,网站性能表现不错,但随着注册用户的增多,访问速度开始变慢,一些用户开始发来邮件表示抗议,事情变得越来越糟,为了留住用户, ...
- DPDK 数据包捕获基本流程(十六)
内核组件架构 rte_eal+libc:内存的统一组织管理者,但是在这它不只是做内存工作. librte_malloc:对外提供分配释放内存的API,分配的内存都是rte_eal中所管理的内存. li ...
- 数据可视化大屏设计步骤,有3步流程
数据可视化大屏设计步骤,有3步流程 大屏工程师经常碰到那样的窘境:竭力设计方案的大屏,数据精确.視覺酷炫,可是用户满意度一般.究竟哪些的大屏才算是客户必须的呢?回答是:重点突出.层级清楚.怎样设计那样 ...
- ISO9001质量管理体系认证咨询22步流程——上篇
[ISO9001质量管理体系认证咨询22步流程--上篇] 1.制定ISO9001质量管理体系推行计划 推行计划一般包括以下内容:体系诊断(现状调查.识别).成立ISO推行小组并组织相关培训.体系文件结 ...
- ISO9001质量管理体系认证咨询22步流程——下篇
[ISO9001质量管理体系认证咨询22步流程--下篇] 12. ISO9001质量管理体系文件审查.发布 注意以下事项:检查各文件的格式是否符合要求:检查各文件的内容是否符合标准要求:检查各文件之间 ...
- 谈谈什么是数据质量管理
什么是数据质量管理 数据质量管理是一组旨在维护高质量信息的实践.数据质量管理从数据采集和高级数据流程的实施一直到数据的有效分发.它还需要对信息进行管理监督.有效的数据质量管理被认为对于任何一致的数据分 ...
- 数据质量管理(DQM)
数据治理定义 国际数据管理协会(DAMA)给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合. 国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系列信息相关的过程来实现决策权和职 ...
- 数据质量管理的核心要素和技术原则
"十三五",规划提出了国家的大数据战略,指出了企业实现以数字化驱动业务发展,实现数据开放共享,创新业务发展的新思路.现阶段大中型企业已经开始了数据化运营的实践.在这个环境和趋势中, ...
- 做好产品需求文档的这十步
做好产品需求文档的这十步,是经过长期的实践经验和反复验证而得到的.可能这里描述的不是很全面,但他已经足够让你做一个成功的产品需求文档.做好这几步花费的时间要以项目的大小.复杂程度.个体学识.基本技能熟 ...
最新文章
- iKair:放弃硬件制造,切入上游去“送水”的逻辑
- 11款有用的Web开发在线工具
- LNMP服务跨省迁移的解决方案
- html php滚动代码,html中滚动条的代码是什么?如何设置html滚动条?
- .NET 4.6.2正式发布带来众多特性
- mysql grep 提取错误日志_详解grep获取MySQL错误日志信息的方法
- Ververica Platform-阿里巴巴全新Flink企业版揭秘
- linux 基础知识学习(六)
- Windows系统下查看某一进程下所有线程的dos命令
- 我的 计算机朋友作文,电脑我的朋友作文
- python json库安装_jsonc库的安装以及简单使用
- TensorFlow tf.keras.layers.Embedding
- ATT ECOMP与Open-O相互掣肘
- 开务正式加入中国信通院数据库应用创新实验室
- echarts地图显示问题
- C#使用MX Component与三菱PLC建立通讯(以FX5U举例)
- Java Http请求工具类
- python 列表去重
- CentOS7安装oh-my-zsh(github start Top 10)
- Meltdown Spectre原理简要梳理