简介

一个简单的数据质量稽核自动化工具，通过配置稽核sql，自动化发送报警。
实现常见的稽核规则的检查,例：数据的一致性、完整性、及时性检查，指标的历史波动检查、关联检查、指标平衡检查、其他根据实际业务制定的业务规则检查
功能支持
1、支持mysql、greenplum数据源
2、配置sql，自动化执行，如果sql返回结果有数据，自动发送报警
3、不同sql规则可设置优先级
4、可控制并发

项目源码

https://github.com/xmingyang/datacheck

数据质量稽核工具-datacheck相关推荐

一款优秀的数据质量探查工具应该具有哪些功能？
当前越来越多的企业认识到了数据的重要性,数据仓库.大数据平台的建设如雨后春笋.但数据是一把双刃剑,它能给企业带来业务价值的同时也是组织最大的风险来源.糟糕的数据质量常常意味着糟糕的业务决策,将直接导致 ...
数据质量-稽核任务案例
规则案例假设有一张用户表,包含3个字段: id.name.age ,每个用户是表中的一行,其内部数据如下图所示: 用户需要对该表配置如下的规则: age>10的这些用户,检测id字段为空的数据 ...
数据质量控制理论与实践经验
数据质量管理是对数据从计划.收集.记录.存储.回收.分析和展示生命周期的每个阶段里可能引发的数据质量问题,进行识别.度量.监控.预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一 ...
数据治理-数据质量-数据质量管理方法和工具
常用质量管理工具目前,在质量管理领域,有一系列常用的数据质量管理工具,主要分为传统的质量管理工具.新的质量管理工具和其他质量管理工具. 传统的质量管理七大工具传统的七种工具包含分层法.检查表.帕累 ...
【数据质量】数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis
开源数据质量管理工具预研--Griffin VS Deequ VS Great expectations VS Qualitis. 概述数据质量监控(DQC)是最近很火的一个话题,也是数据治理中最重 ...
数据质量分析之校验规则模板
现在的校验规则模板,把校验规则的种类.含义以及要填写的内容整理成了excel通用模板,但在实际执行过程中,每个人对校验规则的用途和校验方法存在不同的理解,而对于如何写出相应的校验SQL,有不同程度的困 ...
什么是数据质量-- 读DAMA数据管理有感
通过学习数据管理知识管理体系指南,了解到在数据质量管理过程中,一个重要原则就是将改进集中在对组织及客户最重要的数据之上开展(即关键数据),也就是说,并不是所有的数据都一样重要,要分出来三六九等,要好钢 ...
数据治理系列文章：（6）数据质量
概述提升数据质量是数据治理工作中一个非常重要的环节和目标,高质量的数据才能为后续数据的开发应用提供可靠支撑,因而对数据质量的管理就显得尤为重要. 数据质量的定义其实很简单,就是通过一些列的维度和指标 ...
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
编译:刘佳毅,花名佳易,阿里巴巴计算平台事业部EMR团队开发工程师,目前从事大数据安全相关方面工作. 摘要: 本文主要对Databricks如何使用Spark Streaming和Delta Lake ...

数据质量稽核工具-datacheck

简介

项目源码

数据质量稽核工具-datacheck相关推荐

最新文章

热门文章