Hive 数据质量检测

可以检测Hive的元数据,比如Hive表元数据存在Mysql中,可以在Mysql中查询

mysql> desc TBLS;
+--------------------+--------------+------+-----+---------+-------+
| Field              | Type         | Null | Key | Default | Extra |
+--------------------+--------------+------+-----+---------+-------+
| TBL_ID             | bigint(20)   | NO   | PRI | NULL    |       |
| CREATE_TIME        | int(11)      | NO   |     | NULL    |       |
| DB_ID              | bigint(20)   | YES  | MUL | NULL    |       |
| LAST_ACCESS_TIME   | int(11)      | NO   |     | NULL    |       |
| OWNER              | varchar(767) | YES  |     | NULL    |       |
| RETENTION          | int(11)      | NO   |     | NULL    |       |
| SD_ID              | bigint(20)   | YES  | MUL | NULL    |       |
| TBL_NAME           | varchar(128) | YES  | MUL | NULL    |       |
| TBL_TYPE           | varchar(128) | YES  |     | NULL    |       |
| VIEW_EXPANDED_TEXT | mediumtext   | YES  |     | NULL    |       |
| VIEW_ORIGINAL_TEXT | mediumtext   | YES  |     | NULL    |       |
+--------------------+--------------+------+-----+---------+-------+

mysql> desc TABLE_PARAMS;
+-------------+---------------+------+-----+---------+-------+
| Field       | Type          | Null | Key | Default | Extra |
+-------------+---------------+------+-----+---------+-------+
| TBL_ID      | bigint(20)    | NO   | PRI | NULL    |       |
| PARAM_KEY   | varchar(256)  | NO   | PRI | NULL    |       |
| PARAM_VALUE | varchar(4000) | YES  |     | NULL    |       |
+-------------+---------------+------+-----+---------+-------+

比如进行0行检测,可以写成脚本,定时执行,这样就可以哪些表只有0行

0行检测可以理解成一些表不应该存在0行的情况，如果有，需要及时告警和排查原因，甚至是0行数据会影响下游任务，需要考虑阻断下游任务的继续执行，一方面减少下游任务异常的多余告警，二来节省下游任务执行的资源。

mysql> select a.TBL_ID, a.TBL_NAME, b.PARAM_KEY, b.PARAM_VALUE from TBLS as a join TABLE_PARAMS as b where a.TBL_ID = b.TBL_ID and TBL_NAME="score" and PARAM_KEY="numRows";
+--------+----------+-----------+-------------+
| TBL_ID | TBL_NAME | PARAM_KEY | PARAM_VALUE |
+--------+----------+-----------+-------------+
|      7 | score    | numRows   | 0           |
|     33 | score    | numRows   | 0           |
|    151 | score    | numRows   | 0           |
|    242 | score    | numRows   | 0           |
+--------+----------+-----------+-------------+

阈值检测

可以提供一些类 sql
的语法，同样是作为离线的定时任务来执行检查。当然阈值检查必须考虑检查范围的问题，抽样肯定要比全量更效率更高，但是全量肯定比抽样更稳妥，需要结合资源和业务来综合衡量。

hive> set checkMode = SAMPLING;
hive> select * from emp where empno>100;
OK
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7499    ALLEN   SALESMAN        7698    1981-02-20      1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-02-22      1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-04-02      2975.0  NULL    10

总结

数据质量检测可以写一些脚本定时执行!

参考

数据质量监测 - 知乎

Hive 数据质量检测相关推荐

数据管理-数据质量检测
目录数据质量检测完整性一致性准确性及时性数据质量检测数据质量是保证数据应用的基础,它的评估标准主要包括四个方面:完整性.一致性.准确性.及时性.评估数据是否达到预期设定的质量要求,就可以 ...
大数据成败之“监”：美团数据质量监管平台这样搭建
http://www.sohu.com/a/227310642_411876 背景数据,已经成为互联网企业非常依赖的新型重要资产.数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力. ...
pb利用datawindow查询符合条件的数据并且过滤掉其他数据_数据质量监测
1 Overview 1.1 数据质量在数据部门里,数据质量问题经常是被动发现,所以数据质量的问题是大多数公司数据部门都不得不面对的问题.数据质量校验的目标是监控数据管道中,生产者.处理阶段以及消费 ...
DataMan-美团旅行数据质量监管平台实践
背景数据,已经成为互联网企业非常依赖的新型重要资产.数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力.Michael Hammer(<Reengineering the Cor ...
Apache拯救世界之数据质量监控工具 - Apache Griffin
点击上方蓝色字体,选择"设为星标" 回复"面试"获取更多惊喜八股文交给我,你们专心刷题和面试 Hi,我是王知无,一个大数据领域的原创作者. 放心关注我,获取更 ...
【数据质量】数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis
开源数据质量管理工具预研--Griffin VS Deequ VS Great expectations VS Qualitis. 概述数据质量监控(DQC)是最近很火的一个话题,也是数据治理中最重 ...
VCT空间数据交换格式数据的检测方法研究
摘要:国土资源信大量的是空间地理信息,由于现买中各GIS系统存储.管理GIS数据的格式各不相同,空间数据交换标准是实现GIS数据共享的必要途径,国土资源部制定了VCT矢量数据交换格式来实现各类国土资源 ...
一款优秀的数据质量探查工具应该具有哪些功能？
当前越来越多的企业认识到了数据的重要性,数据仓库.大数据平台的建设如雨后春笋.但数据是一把双刃剑,它能给企业带来业务价值的同时也是组织最大的风险来源.糟糕的数据质量常常意味着糟糕的业务决策,将直接导致 ...
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
编译:刘佳毅,花名佳易,阿里巴巴计算平台事业部EMR团队开发工程师,目前从事大数据安全相关方面工作. 摘要: 本文主要对Databricks如何使用Spark Streaming和Delta Lake ...

Hive 数据质量检测

总结

参考

Hive 数据质量检测相关推荐

最新文章

热门文章