规则案例

假设有一张用户表，包含3个字段： id、name、age ，每个用户是表中的一行，其内部数据如下图所示：

用户需要对该表配置如下的规则： age>10的这些用户，检测id字段为空的数据量占比不能超过5% 。
当数据不满足要求时，希望能实时收到预警消息：（对应我们系统的告警管理需要完成的内容）

以上需求可以分解为3个步骤来执行：
Step1：明确目标数据
需要对id字段做校验，且需要将age<10的用户过滤掉，即圈定出目标数据：

Step2：执行校验逻辑
对圈定完成的数据范围进行指标统计，本例中需要统计空值的数据量占比，即空值率：

Step3：期望值判断
第二步的校验逻辑执行完成后得出统计值，第三步就是对统计值是否符合要求进行判断：

以上3个步骤就是一条校验规则的后台步骤分解，通过这3个步骤即可判断数据内容是否符合要求，若不符合系统可自动发送告警。

数据质量-稽核任务案例相关推荐

数据质量稽核工具-datacheck
简介一个简单的数据质量稽核自动化工具,通过配置稽核sql,自动化发送报警. 实现常见的稽核规则的检查,例:数据的一致性.完整性.及时性检查,指标的历史波动检查.关联检查.指标平衡检查.其他根据实际业 ...
数据质量控制理论与实践经验
数据质量管理是对数据从计划.收集.记录.存储.回收.分析和展示生命周期的每个阶段里可能引发的数据质量问题,进行识别.度量.监控.预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一 ...
数据治理系列文章：（6）数据质量
概述提升数据质量是数据治理工作中一个非常重要的环节和目标,高质量的数据才能为后续数据的开发应用提供可靠支撑,因而对数据质量的管理就显得尤为重要. 数据质量的定义其实很简单,就是通过一些列的维度和指标 ...
数据质量治理与数据质量评价体系（术）
目录 01 数据治理问题场景 02 数据质量的重要性 03 数据质量常见问题 04 数据质量问题原因 05 数据质量治理 06 数据质量评价体系最后附上数据质量治理思维导图数据质量人人有责,这不仅 ...
数据质量的坑，怎么填？
来源:数据学堂全文共 3424个字,建议阅读 10分钟最近深受数据质量之害,必须要立刻动手,系统解决了,再看一下这篇文章,有没有遗漏的地方. 数据质量人人有责,这不仅仅只是一句口号,更是数据工作者 ...
python如何读dat数据_如何用Python进行数据质量分析
概述数据挖掘的第一步工作是数据准备,而数据准备的第一步就是数据质量分析了.本篇文章着重介绍如何使用Python进行数据质量分析的初步工作,属于比较基础的入门教程. 为什么要进行数据质量分析根据百度 ...
大数据成败之“监”：美团数据质量监管平台这样搭建
http://www.sohu.com/a/227310642_411876 背景数据,已经成为互联网企业非常依赖的新型重要资产.数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力. ...
某银行信用卡中心——大数据反欺诈应用案例 2017-06-23 10:54 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢百融金服的投递作为整体
某银行信用卡中心--大数据反欺诈应用案例 2017-06-23 10:54 本篇案例为数据猿推出的大型"金融大数据主题策划"活动(查看详情)第一部分的系列案例/征文:感谢百融金服 ...
DataMan-美团旅行数据质量监管平台实践
背景数据,已经成为互联网企业非常依赖的新型重要资产.数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力.Michael Hammer(<Reengineering the Cor ...

数据质量-稽核任务案例

规则案例

数据质量-稽核任务案例相关推荐

最新文章

热门文章