数据质量管理方法有哪些
数据质量包含两个方面：数据自身的质量和数据使用过程标准规范。数据质量管理是一个集方法论、管理、技术和业务为一体，对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理过程，并通过改善和提高组织的管理水平确保数据质量的提升。那么数据质量管理方法有哪些?
1、建立质量管控流程和规范
明确质量管控的角色、职责，建立可执行的工作流程、可量化的工作评估等关于数据质量管控办法，同时也应具备绩效考核、冲突解决与管控方式等。
2、执行管理工作
1)数据剖析
进行已知数据问题的评估，评估的范围控制在本轮管控的目标范围内。通过对数据进行剖析，发现数据问题，具体规则又可通过标准或业务调研进行提取。
2)设计数据质量控制操作程序
获得已知数据问题后，就应设计数据质量控制操作程序。主要包括制定质量问题评估方式和整改方式、制定质量报告内容及对象以及制定检查和监控的频率及方式。
3)定义数据质量需求
根据剖析的质检规则和控制操作程序，对数据质量需求进行定义。
4)确定数据质量水平
数据质量需求定义完毕之后，我们就需要确定在此需求下，目前数据质量的水平处于什么位置。明确反应质量水平的并最直观的就是错误数据的详情情况。
5)管理数据质量问题
问题找到后，针对根据不同的质量问题，进行不同的质量整改方案。比如：源头修改、补录、技术修复以及遗留问题管控等。
3、检查数据质量
首先确定整改质量，对处理后的数据进行再次质检，出具数据质量的报告;然后，对比处理前后效果，总结改进措施;最后，检查数据质量是否合格，分析不合格原因并下一轮管控中进行技术上或者操作程序上的改进。
4、监控数据质量，控制管理程序和绩效
根据既定的操作程序，对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点制定不同的评分标准，有针对性的进行评价和管控，如整改初期数据缺失严重，则可对完整性规则权重调大，以期更快看到成效或者达到更好的效果。
数据质量管控在数据治理体系中占据了十分重要的地位，是看见实质成效最快的一环，也是数据治理过程中的重要一环，亿信华辰睿治智能数据治理平台，是一款融合数据治理十大产品模块，覆盖数据全生命周期管理的应用平台，其中也包括了数据质量模块，可帮助政企有效提升数据质量，挖掘数据价值。
数据质量管理方法有哪些相关推荐
- 【数据治理案例分享】论工业企业物料数据质量管理方法
文章摘自[2020数据质量管理标杆奖项征集作品精选],本文荣获DQMIS2020第四届数据质量管理国际峰会之"2020数据质量创新论文奖",论文作者:王建峰. 01 物料数据质量管 ...
- 数据治理-数据质量-数据质量管理方法和工具
常用质量管理工具 目前,在质量管理领域,有一系列常用的数据质量管理工具,主要分为传统的质量管理工具.新的质量管理工具和其他质量管理工具. 传统的质量管理七大工具 传统的七种工具包含分层法.检查表.帕累 ...
- 工业时序大数据质量管理
工业时序大数据质量管理 丁小欧,王宏志,于晟健 哈尔滨工业大学海量数据计算研究中心,黑龙江 哈尔滨 150001 摘要:工业大数据已经成为我国制造业转型升级的重要战略资源,工业大数据分析问题正引起重 ...
- 企业如何进行数据质量管理
文章摘自7月9日,华矩科技数据治理系列讲座,华矩科技创始人及董事长CEO带来分享:企业如何进行数据质量管理,从数据质量认知的发展入手,分析业务和IT建设中所隐藏的常见数据质量问题,从而引出企业数据质量 ...
- 数据质量管理有哪些方法
数据质量管理是数据治理中的重要步骤.这是准备数据以符合质量标准(例如有效性,均匀性,准确性,一致性和完整性)的过程.数据质量管理可从数据集中删除不需要的,重复的和不正确的数据,从而帮助分析师获得更加准 ...
- access对比数据_数据仓库系列之数据质量管理
数据质量一直是数据仓库领域一个比较令人头疼的问题,因为数据仓库上层对接很多业务系统,业务系统的脏数据,业务系统变更,都会直接影响数据仓库的数据质量.因此数据仓库的数据质量建设是一些公司的重点工作. 一 ...
- 基于MaxCompute的数仓数据质量管理
声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路--阿里巴巴大数据实践>--阿里巴巴数据技术及产品部 著. 背景及目的 数据对一个企业来说已 ...
- 套用这8种数据治理方法，解决90%的数据治理问题
转载/大数据构架师 前些天,有客户问我,数据治理到底该怎么做?这个问题问的我是一时语塞.因为是在客户现场,我只能根据他的实际情况,针对性的提了一个方案.不过,这客户还真的是做了一些工作,然后就开始讨论 ...
- 如何做好数据质量管理
数据问题的来源可能产生于从数据源头到数据存储介质的各个环节.在数据采集阶段,数据的真实性.准确性.完整性.时效性都会影响数据质量.除此之外,数据的加工.存储过程都有可能涉及对原始数据的修改,从而引发数 ...
- 数据治理：数据质量管理策略！
数据质量管理包含正确定义数据标准,并采用正确的技术.投入合理的资源来管理数据质量.数据质量管理策略和技术的应用是一个比较广泛的范畴,它可以作用于数据质量管理的事前.事中.事后三个阶段. 数据质量管理应 ...
最新文章
- vsearch2.8.1使用和命令简介——中文帮助文档(免费64位版usearch)
- java+hadoop配置参数_将Hadoop参数传递给Java代码
- Canal安装说明(Windows版)
- Swif基础语法01
- ICCV 2019 | 通过多标签相关性研究提升神经网络视频分类能力
- 新浪微博WeiboManageAction的java实现
- 对layoutInflater的理解
- linux 运维基础问题_Linux基础能力问题和解答
- 二叉排序树(Binary Sort Tree) 又称为二叉查找树(Binary Search Tree) - （代码、分析）
- 解决CUDA driver version is insufficient for CUDA runtime version
- Mail.Ru Cup 2018 Round 1 virtual participate记
- cmw500综合测试仪使用_辽宁优质继电器综合测试仪供应商-广州炫通电气科技
- python正则匹配ip_python实战系列之正则获取IP地址(八)
- 计算机网络考试系统考试终端学号,万维全自动网络考试系统
- PyCharm怎么来更新pip
- MSN 错误代码81000306 解决办法
- python为csv文件添加表头_csv大文件分割以及添加表头
- php唯美博客,24个很酷的PHP开源库
- Go语言案例（一）音乐播放器
- 高效生成6位数字验证码代码