【数仓】数据质量监控

今天来填 2 个月前的坑。之前提到了数据质量：

【数仓】数据质量

我在面试中也碰到了数据质量的问题，没回答出来。今天学习一下数据质量监控原则。欢迎点击此处关注公众号。

1.数据质量概述

数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期，只有达到数据的使用预期才能给予管理层正确的决策参考。数据质量管理作为数据仓库的一个重要模块，主要可以分为数据的健康标准量化、监控和保障。

2.数据质量标准分类

数据完整性：数据不存在大量的缺失值、不缺少某一日期/部门/地点等部分维度的数据，同时在 ETL 过程当中应保证数据的完整不丢失。验证数据时总数应符合正常规律时间推移，记录数总数的增长符合正常的趋势。
数据一致性：数仓各层的数据，应与上一层保持数据一致，最终经过数据清洗转化（ETL）的宽表/指标能和数据源保持一致。

3.数据质量校验

3.1 单表数据量监控

一张表的记录数在一个已知的范围内，或者上下浮动不会超过某个阈值。

方法：select count（*）from 表 where 时间等过滤条件。
报警触发条件设置：如果数据量不在 [数值下限, 数值上限]，则触发报警。
同比增加：如果 ((本周的数据量 - 上周的数据量) / 上周的数据量 * 100) 不在 [比例下线，比例上限]，则触发报警。
环比增加：如果 ((今天的数据量 - 昨天的数据量) / 昨天的数据量 * 100) 不在 [比例下线，比例上限]，则触发报警。
报警触发条件设置一定要有。如果没有配置的阈值，不能做监控。

监控的指标：日活、周活、月活、留存（日周月）、转化率（日、周、月）、GMV（日、周、月）。

例如：平常复购率（日周月）大约 30%，某天检测发现只有 20%。

3.2 单表空值检测

某个字段为空的记录数在一个范围内，或者占总量的百分比在某个阈值范围内。

目标字段：选择要监控的字段。
方法：select count(*) from 表 where 目标字段 is null。
单次检测：如果（异常数据量）不在 [数值下限, 数值上限]，则触发报警。

3.3 单表重复值检测

一个或多个字段没有重复记录。

目标字段：选择要监控的字段。
第一步先正常统计条数；select count(*) form 表；
第二步，去重统计；select count(*) from 表 group by 目标字段；
第一步的值和第二步的值做减法，看是否在上下线阀值之内；
单次检测：如果（异常数据量）不在 [数值下限, 数值上限]，则触发报警。

3.4 单表值域检测

一个或多个字段是否满足某些规则。

目标字段：选择要监控的字段，支持多选。
检测规则：填写“目标字段”要满足的条件。
阈值配置与“空值检测”相同。

3.5 跨表数据量对比

主要针对同步流程，监控两张表的数据量是否一致

方法：count（本表） - count（关联表）
阈值配置与“空值检测”相同。

【数仓】数据质量监控相关推荐

如何保障数仓数据质量？(建议收藏)
导读文|傅宇康有赞数据报表中心为商家提供了丰富的数据指标,包括30+页面,100+数据报表以及400+不同类型的数据指标,它们帮助商家更合理.科学地运营店铺,同时也直接提供分析决策方法供商家使用. ...
基于MaxCompute的数仓数据质量管理
声明本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路--阿里巴巴大数据实践>--阿里巴巴数据技术及产品部著. 背景及目的数据对一个企业来说已 ...
数据质量监控Griffin——使用
一.环境生产环境数据质量监控griffin: 地址:http://XXXXXXXXX:4200/#/health 账号:admin 密码:123456 二.Griffin是干什么的? 官方介绍大 ...
数据仓库之数据质量监控
文章目录 ==数据质量的理解== ==数据质量维度== ==问题反馈流程== ==数据质量治理的三个阶段== ==数据质量产生的根本原因== ==数据质量治理的对象== ==数据质量战略== ==数据 ...
【数据仓库学习】数据质量监控
0x00 前言往往那些不起眼的功能,最能毁掉你的工作成果. 本篇分享一些和数据质量监控相关的内容.数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能,但是它确实至关重要的. 文章结构数据 ...
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
编译:刘佳毅,花名佳易,阿里巴巴计算平台事业部EMR团队开发工程师,目前从事大数据安全相关方面工作. 摘要: 本文主要对Databricks如何使用Spark Streaming和Delta Lake ...
爱奇艺数据质量监控的探索和实践
01 问题和目标:为什么要进行数据质量监控? 数据质量监控其实跟当前疫情的防控工作有些类似,核酸检测能尽早去发现病毒,溯源则会更了解病毒会在哪些场景,或者对哪些人有比较大的影响,方便进行跟踪,这和数据 ...
2.4 离线数仓—数据采集模块总结
离线数仓-数据采集模块总结前言一.数据采集模块整体架构图二.日志数据采集 1.日志数据采集流程图三.业务数据采集 1.业务数据采集流程图 1)全量表同步说明 2)增量表同步说明前言数据采集 ...
数据分析 - 基础原理之第三章：数据质量管理 - 第五节：数据质量监控
前言数据质量监控是容易被忽略的一个重要环节,我刚开始搞数据库时压根也没想到会有这档事,直到频繁出现几次数据"翻车"事故后,才感受到它的重要性与必要性:如果连数据源的状况都不能掌 ...
开源大数据数据质量监控调研
开源工具选择不多,目前了解到的就以下3种: Qualitis griffin DolphinScheduler(最近有人上传了分支,支持数据质量监控功能) 1 Qualitis 腾讯微众银行开源,主要 ...