数据质量评价体系(附思维导图)
来源:数据学堂
全文共 3424个字,建议阅读 10分钟
数据质量人人有责,这不仅仅只是一句口号,更是数据工作者的生命线。数据质量的好坏直接决定着数据价值高低。
数据质量管理是指在数据创建、加工、使用和迁移等过程中,通过开展数据质量定义、过程控制、监测、问题分析和整改、评估与考核等一系列管理活动,提高数据质量以满足业务要求。
可按照“谁创建、谁负责;谁加工、谁负责;谁提供、谁负责”的原则界定数据质量管理责任,由数据流转环节的各责任方对管辖范围内的数据质量负责。对数据质量规则优先采取系统程序的自动化控制措施,并尽可能前移管控点,从源头上控制数据质量。
01 数据治理问题场景
在日常工作中,业务领导经常会通过报表看板等数据产品来了解各项业务的发展趋势以及KPI的达成情况。倘若某天,他打开某张核心报表,发现当日的数据一直是空白的,询问报表开发人员,开发经排查分析,发现是依赖的上游有延迟,上游数据预计要下午才能到达,导致业务领导在正常时点无法查看业务数据情况。
又或某天,业务人员点开报表发现当日AUM规模暴增,数据增长当然开心,但仔细推敲,发现这波动有点不合常理,于是通知数据负责人验证下数据是否存在异常。经过几个小时的排查分析,数据负责人报告说数据确实算的有些问题,业务业务以后对该报表数据的准确性将会打上问号。
若类似的数据问题经常出现,估计迎接你的不是美好明天,而是你的职业生涯的最后一天。
02 数据质量的重要性
数据质量为什么至关重要?因为拥有高质量的数据可以让您更好地了解任何情况,从而更精准地执行任何事情。反之亦然。
伴随着技术的进步,组织或者企业能够收集大量的数据,用好这些数据已成为焦点。然而,由于以下原因,很多组织或者企业并没有实施数据质量计划:
没有业务部门负责数据质量问题
数据质量需要跨职能合作
它要求组织认识到数据质量是一个重要问题
它需要数据质量准则
它需要投入财力和人力资源
它被认为是非常人力密集的
投资回报往往难以量化
看起来,挑战大于好处。
但是,数据质量务必重视,原因有三。
原因一:成本
数据质量差,是IT项目失败的主要原因,也是客户流逝背后的驱动因素之一。
原因二:合规
质量差的数据会带来重大的法律或者声誉风险。一些例子如下:
数据缺失导致信用风险不准确
信用记录不完整致使风险评估错误
监管违规
原因三:决策
质量好的数据意味着有准确及时的信息来管理从研发到销售的产品和服务。质量差的数据导致错误的洞察力,从而做出错误的决策。决策的错误,公司会付出沉重的代价。
在企业,数据服务的方式有报表看板、标签指标和数据接口等,而这些数据服务要想为业务带来价值的,其首要前提就是要保证数据的准确性,输出高质量的数据。
低质量的数据会误导业务做出错误的决定,致使行动方向发生偏离。特别是在数据驱动的组织中,是否有准确的、可用的高质量的数据,将直接影响领导层能否做出正确的决策和战略目标的实现。
因此需要特别重视数据的质量问题,针对数据质量进行专项治理。
03 数据质量常见问题
在前面的场景案例中,我们可以发现有如下几个数据质量问题:
数据延迟,导致业务无法在正常时效内获得数据结果。
数据错误,导致数据结果完全不可信,以致无法使用。
数据恢复慢,问题发生后,排查分析耗时长,数据恢复时间慢。
发现滞后,数据开发晚于业务人员发现数据异常,导致影响已传导到数据应用端。
04 数据质量问题原因
那应该如何解决这些质量问题,保证数据的高质量交付呢?
首先,我们需要了解这些质量问题产生的根本原因,了解问题才能更好地去解决问题。通过对历次数据质量问题进行复盘、总结,发现质量问题主要由下面几类原因引发:
数据平台问题:平台不稳定、队列资源不足等,导致作业运行延迟、报错。
数据开发问题:数据开发人员的任务脚本性能太差,计算严重耗时,导致数据延迟;或是代码逻辑设计有问题,导致数据计算有误。
上游系统异常:上游源系统异常,数据文件晚到,导致下游依赖作业延迟。
05 数据质量治理
出现问题不可怕,可怕的是出现问题后,我们毫无感知,不能做到“早发现、早处理、早恢复”,以致问题直接传导到业务方,影响业务的开展工作。
在大数据产品矩阵中,我们使用数据质量监控平台来支持数据质量的监控、治理。
数据质量监控平台,主要是对Hive数仓中的库表数据的质量进行监控,包括表级别和字段级别的数据进行监控,以减少或避免由数据质量引起的事故和损失。
借助数据质量监控平台,我们通过实施下面几个关键步骤来进行数据质量的治理:
(1)配置监控规则
对高价值分的作业,我们要求强制配置基础监控规则,如:主键唯一性校验、数据非空校验;
另还可以根据业务场景需要,配置对应的业务规则监控,如:字段总值环比校验、字段极值校验等,监控平台内置了约17种字段级校验规则、5种表级校验规则,供直接配置使用;
除内置了丰富的校验规则,质量监控平台还支持SQL自定义监控规则,极大地满足各种数据监控场景。
(2)监控告警
当校验规则识别异常时,需要通知负责人进行跟进处理,质量监控平台支持以电话、邮件和短信等方式通知作业属主。作业属主收到告警后,需及时地处理和关闭告警,否则告警将一直挂在那,在后面的告警响应度中会被稽核到,上报其领导。
(3)全链路数据监控
根据作业的价值分级,针对高价值作业,开发人员可根据数据血缘,对上游作业依次配上监控,实现全链路的数据质量监控。
06 数据质量评价体系
在执行了一系列的举措来提高数据质量后,如何来验证数据质量的治理效果呢?
根据企业本身的数据特点,设计并构建了一个数据质量七维评价模型,如下图所示:
数据质量评价模型,分别从数据完整性、监控覆盖率、告警响应度、作业准确性、作业稳定性、作业时效性、作业性能分等七个维度来考量平台的数据质量,基于该模型,还设计了“数据质量分”这个指标,来直观地反映平台数据质量的建设水平及健康状况。
数据质量七维模型的评价视角及其计算口径:
1
数据完整性
☆ 考量数据项信息是否全面、完整、无缺失
★ 指标公式:表完整性和字段完整性的平均值
2
监控覆盖率
☆ 确保数据遵循统一的数据标准或规范要求
★ 指标公式:监控的高价值作业个数/高价值作业总个数
其中,高价值作业是指作业价值分在80分以上的作业
3
告警响应度
☆ 通过日常管理、应急响应,降低或消除问题影响,避免数据损毁、丢失
★ 指标公式:已处理告警个数(本周)/告警总个数(本周)
4
作业准确性
☆ 考量数据是否符合预设的质量要求,如唯一性约束、记录量校验等
★ 指标公式:1 - 告警作业个数(本周)/监控作业总个数
5
作业稳定性
☆ 考量作业的运行稳定性,是否经常报错,导致数据事故
★ 指标公式:1 - 错误作业个数(本周)/作业总个数
6
作业时效性
☆ 考量数据项信息可被获取和使用的时间是否满足预期要求
★ 指标公式:1 - 延迟的高价值作业个数(本周)/高价值作业总个数
其中,基准时间为作业近30天平均完成时间加30分钟,作业晚于基准即延迟
7
作业性能分
☆ 考量作业的执行效率和健康度,诊断作业是否倾斜等性能问题
★ 指标公式:1 - 危急作业个数(本周)/作业总个数
从各质量维度的评价视角和指标公式可以发现,虽然数据质量监控的是表及字段的质量情况,但我们的质量分是设定在库这个层级。这么设计主要是为了更好地责任划分、统筹治理。
比如在银行业,每个库都有其对应的所属分层(如明细层、汇总层、应用层等),且每个库都有对应的库负责人,所以到库这个层级,我们能更好的分而治之,由库负责人对库的质量水平负责。
基于数据质量模型,我们还配套对应的数据质量监控报告。在报告中我们不仅能看到数据平台的整体质量评分,了解质量发展趋势,更能通过多维分析、单维深钻来了解平台的质量问题根源。
多维分析:详细展示七个质量维度的评分及趋势变化,每个维度下还配有TOP榜,用来展示低质量的库排名,督促库负责人进行优化、治理;
单维深钻:每一个质量维度都能从整体下钻到具体库及表,深入了解该维度质量评分低的具体原因,以便针对性地解决问题、提高质量;
综上,就是在数据质量治理方面的一些具体实践。数据质量治理是一个长期的、持续性的工作,不可能期望一蹴而就。
在治理过程中,需要不断优化质量短板,夯实质量基石。设目标、定责任,积极配合与行动,充分利用平台工具,共同建设一个数据乌托邦,让数据价值发挥耀眼光芒。
最后附上数据质量治理思维导图:
数据质量治理仅仅是数据治理的一个小环,而企业内部的数据质量问题并非不治之症,根据行业最佳实践开展管理体系提升,配备必要的软件,总能把这个问题解决掉,所谓企业内部的数据质量问题最终会消弭于无形。
进群方式:请加微信(微信号:dataclub_bigdata),回复:加群,通过审核会拉你进群。
(备注:行业-职位-城市)
福利时刻
01. 后台回复「数据」,即可领取大数据经典资料。
02. 后台回复「转型」,即可传统数据仓库转型大数据必学资料。
03. 后台回复「加群」,或添加一哥微信ID:dataclub_bigdata 拉您入群(大数据|数仓|分析)或领取资料。
!关注不迷路~ 各种福利、资源定期分享!
你点的每个在看,我都认真当成了喜欢
数据质量评价体系(附思维导图)相关推荐
- 众包数据库管理、时空众包、移动群智感知方向的综述整理——附思维导图
众包数据库管理.时空众包.移动群智感知方向的综述整理--附思维导图 论文介绍 众包数据库管理 时空众包 移动群智感知 总结 论文介绍 该方向的发展主要分为三个模块:时空众包.群智感知.众包数据库管理: ...
- 软件工程导论第三章复习总结附思维导图
软件工程导论第三章复习总结附思维导图 概述 准确回答"系统必须做什么" 必须理解并描述问题的信息域,根据这条准则应该建立数据模型 必须定义软件应该完成的功能,这条准则要求建立功能模 ...
- 软件工程导论第五章复习总结附思维导图及部分习题答案
软件工程导论第五章复习总结附思维导图及部分习题答案 总体设计 一.设计过程 1.设想提供选择的方案 2.选取合理的方案 3.推荐最佳方案 4.功能分解 5.设计软件结构 6.设计数据库 7.制定测试计 ...
- 计网复习笔记【附思维导图】——【2】应用层
计网复习笔记[附思维导图]--[2]应用层 计网 应用层 2.1 应用层协议原理 位置 应用层协议含义 应用层协议类型 网络应用程序架构 进程通信 网络应用需要的运输层服务 Internet提供的运输 ...
- 从前端view到数据访问逻辑的思维导图
从前端view到数据访问逻辑的思维导图以后写代码就按照这个思路写
- 2312、卖木头块 | 面试官与狂徒张三的那些事(leetcode,附思维导图 + 全部解法)
零 标题:算法(leetcode,附思维导图 + 全部解法)300题之(2312)卖木头块 一 题目描述 二 解法总览(思维导图) 三 全部解法 面试官:看你准备得差不多了,我们开始面试吧. 狂徒张三 ...
- 一份小白前端可视化学习指南——附思维导图
一份小白前端可视化学习指南--附思维导图 前言 因为群里粉丝一直要求我写一篇「可视化入门指南」,今天他来了.其实说起前端可视化,大家所能想到的就是各种图表,大屏.这种看着贼炫酷,而笔者呢工作也一直从事 ...
- 36、有效的数独 | 算法(leetode,附思维导图 + 全部解法)300题
零 标题:算法(leetode,附思维导图 + 全部解法)300题之(36)有效的数独 前言 1)码农三少 ,一个致力于 编写极简.但齐全题解(算法) 的博主. 2)文末附赠 价值上百美刀 资料. 一 ...
- 大数据面试杀器__大数据股市指数项目思维导图
文章目录 引言 总结 引言 大家好,我是ChinaManor,直译过来就是中国码农的意思, 我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者, 平凡但不甘于平庸的人. 本专栏以大数据企业级项目 ...
- 投基取巧:如何选择基金及构建投资组合?基金投资进阶经验分享,附思维导图!
之前发了一个 Chat"投基取巧:如何通过基金投资获得 20%+ 的收益?基金理财干货分享,附思维导图!",不少网友看后跟我联系反馈,有没有更高阶的基金投资的经验分享,比如:具体到 ...
最新文章
- 适合自己的vim配置文件
- SanDisk闪迪推面向VMware Virtual SAN 6的增强型闪存
- golang goroutine 协程原理
- python零基础怎么学-零基础如何学习Python?老男孩Python入门培训
- RHEL环境下调试Shell脚本时遇到字符串转换整数的问题
- String内容不能改变的理解 String的值不能修改的理解
- 当网页太多时,用锚点 以及超链接的使用
- 登录python自动化_Appium+Python实现自动化登录
- 25 PP模块-创建工厂日历报错-请输入年度xxxx和xxxx之间的有效区域
- python实用的几个脚本程序(自己在用)
- 单片机ADC采样算法----加权递推平均滤波法
- IAR for ARM系列教程(一)_新建软件工程详细过程
- python移位运算,python移位运算
- 理解.exe文件的结构原理即运行过程
- 网络访问:从网络访问此计算机属性增加guest组,workgroup无法访问,详细教您workgroup无法访问如何解决...
- DNS错误不能上网怎么办?电脑dns错误修复方法?
- 5G通讯的认知与见解
- PHP 微信公众号和html5接入微信支付
- 最小公倍数的多种求法(C++代码实现)
- (组合游戏)SG函数与SG定理详解