Hive ANALYZE NOSCAN

2024-04-12 23:49:19

参考官网：https://cwiki.apache.org/confluence/display/Hive/StatsDev

一、Hive分析统计语句如下：

ANALYZE TABLE [db_name.]tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)] -- (Note: Fully support qualified table name since Hive 1.2.0, see HIVE-10007.)

COMPUTE STATISTICS

[FOR COLUMNS] -- (Note: Hive 0.10.0 and later.)

[CACHE METADATA] -- (Note: Hive 2.1.0 and later.)

[NOSCAN];

`二、使用举例`

--使用noscan，不会scan file，因此很快。但只能得到文件数numFiles和HDFS存储空间大小totalSize

hive> ANALYZE TABLE qfqhqtest COMPUTE STATISTICS noscan; Table default.qfqhqtest stats: [numFiles=1, numRows=0, totalSize=816618, rawDataSize=0]

-- 不使用scan，则会scan file，会得到行数 numRows和原始数据大小rawDataSize(未压缩)，并更新到元数据表中，下次noscan也能得到这些字段

hive> ANALYZE TABLE qfqhqtest COMPUTE STATISTICS;

Table default.qfqhqtest stats: [numFiles=1, numRows=7867, totalSize=816618, rawDataSize=800884]

hive> ANALYZE TABLE qfqhqtest COMPUTE STATISTICS noscan;
Table default.qfqhqtest stats: [numFiles=1, numRows=7867, totalSize=816618, rawDataSize=800884]
OK
Time taken: 0.151 seconds

统计字段含义

Hive ANALYZE NOSCAN相关推荐

Apache Hive on Apache Tez
Tez是Apache最新开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input.Processor.Sort. ...
OLAP(三)：Impala介绍、 (和hive/spark对比)、COMPUTE STATS
一.Impala概述 Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎.与其他Hadoop的SQL引擎相比,它提供了高性能和低延迟.换句话说,Impal ...
Impala命令COMPUTE STATS的解析
Impala命令COMPUTE STATS的解析 COMPUTE STATS主要作用: 收集有关表中数据的容量和分布以及所有相关列和分区的信息.这些信息存储在metastore数据库中,Impala使 ...
袋鼠云产品功能更新报告01期丨用诚心倾听您的需求
作为一家以"客户第一"为价值观的公司,袋鼠云一直以来关注客户体验,专注提升产品品质,不断收集客户反馈,持续增加新功能并不断优化旧功能,为用户输出最佳产品使用体验.2022年上半年, ...
Impala的命令COMPUTE STATS
COMPUTE STATS主要作用: 收集有关表中数据的容量和分布以及所有相关列和分区的信息.这些信息存储在metastore数据库中,Impala使用这些信息来帮助优化查询.例如,如果Impala可 ...
史上最详细大数据基础知识
# **1___Hive** ## 0.0.hive基本命令 ```sql [1.分区表] --创建分区 alter table table_name add partition(分区字段='分区值' ...
Hive SQL查询效率提升之Analyze方案的实施
0.简介 Analyze,分析表(也称为计算统计信息)是一种内置的Hive操作,可以执行该操作来收集表上的元数据信息.这可以极大的改善表上的查询时间,因为它收集构成表中数据的行计数,文件计数和文件大小 ...
【Hive】性能调优 - EXPLAIN
Hive版本: hive-1.1.0-cdh5.14.2 用户提交HiveQL查询后,Hive会把查询语句转换为MapReduce作业.Hive会自动完成整个执行过程,一般情况下,我们并不用知道内部是 ...
Hive学习笔记【全】
Hive学习笔记[全] 文章目录 Hive学习笔记[全] 一.Hive简介 1.Hive是什么 2.Hive的架构 3.Hive的数据组织二.Hive安装 1.环境需求 2.安装Hive 3.启动H ...
7.Hive性能优化及Hive3新特性
1.Hive表设计优化分区表优化查询速度分桶表优化join速度索引优化(在Hive3后移除,了解即可) 2.Hive表数据优化 2.1 文件格式概述 Hive数据存储的本质市HDFS,所有数据 ...

最新文章

热门文章