数据仓库系列之数据质量管理

　　数据质量一直是数据仓库领域一个比较令人头疼的问题，因为数据仓库上层对接很多业务系统，业务系统的脏数据，业务系统变更，都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。

　　一、数据质量

　　数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。

　　二、数据质量维度

　　1、准确性：数据不正确或描述对象过期

　　2、合规性：数据是否以非标准格式存储

　　3、完备性：数据不存在

　　4、及时性：关键数据是否能够及时传递到目标位置

　　5、一致性：数据冲突

　　6、重复性：记录了重复数据

　　三、数据质量分析

　　数据质量分析的主要任务就是检查数据中是否存在脏数据，脏数据一般是指不符合要求以及不能直接进行相关分析的数据。脏数据包括以下内容：

　　1、缺省值

　　2、异常值

　　3、不一致的值

　　4、重复数据以及含有特殊符号（如

数据仓库系列之数据质量管理相关推荐

access对比数据_数据仓库系列之数据质量管理
数据质量一直是数据仓库领域一个比较令人头疼的问题,因为数据仓库上层对接很多业务系统,业务系统的脏数据,业务系统变更,都会直接影响数据仓库的数据质量.因此数据仓库的数据质量建设是一些公司的重点工作. 一 ...
数据质量管理的核心要素和技术原则
"十三五",规划提出了国家的大数据战略,指出了企业实现以数字化驱动业务发展,实现数据开放共享,创新业务发展的新思路.现阶段大中型企业已经开始了数据化运营的实践.在这个环境和趋势中, ...
数据仓库之数据质量管理
目录第1章数据质量整体概述 1.1 概述 1.2. 数据质量标准分类 1.3 数据质量管理解决方案第2章 ODS层数据校验 2.1 数据校验通用脚本 2.2 ODS层各表检验第3章 DWD ...
数据治理（四）：数据仓库数据质量管理
文章目录数据仓库数据质量管理一."商户营收统计"业务
数据仓库数据质量管理【转】
一个完善的数据仓库必须含有一个完整的数据质量管理系统与元数据管理系统,但是目前国内的数据仓库对数据质量管理这块都不是那么重视,我个人觉得这是一个很大的误区,一个数据仓库如果连数据质量都无法保证,还如何 ...
数据仓库系列1-高质量数据建模
一.前言: 虽然做数据工作5年了,从传统行业到互联网行业,感觉啥都懂点,但是没有一样可以拿出手的,干活时没问题,但是讲东西却存在问题,最近想系统的学习一下数据仓库只是,顺便记录下,也算是对学习的一个总 ...
数据治理系列：浅谈数据质量管理
题外话:看过之前的文章的小伙伴不难发现,文章开篇几乎都是定义.概念,这已成了笔者写文章的一个习惯.本着对专业知识和技术的敬畏以及对文章主题的聚焦,笔者认为文章的开篇是非常有必要先把概念或定义交待清楚的 ...
「数据治理那点事」系列之三：不忘初心方得始终，数据质量管理要稳住！
文 | 乐天(原创)未经许可,不可转载. 编辑 | 刘能碳酸本文约 3209 字,预计阅读时间 9 分钟作者简介:蒋珍波(乐天),6 年+ 大数据咨询经验,擅长为客户提供科学合理的大数据解决方案 ...
【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
关注DataFunTalk有2年多了,DataFun确实像创始人王大川讲的那样,践行选择.努力和利他原则,专注于大数据.人工智能技术应用的分享与交流,秉承着开源开放的精神,免费的共享了很多有营养的行业 ...

数据仓库系列之数据质量管理

数据仓库系列之数据质量管理相关推荐

最新文章

热门文章