Hive分区表count(*)不起mapreduce的真相

问题背景：
在对Hive求count(*)时，发现有些表会启mapreduce计算、返回结果，比较耗时，有的表1秒之内返回结果
刚开始以为刚刚执行过一次count()后会对结果进行缓存，不用再去跑mapreduce，但经进一步实验发现大多数表每次执行count()操作都会跑mapreduce，于是猜测的结论不成立。
后在必应查找原因，大部分的结果都指向了：‘hive从1.0开始采用Fetch Task，对于简单查询的自动优化’
具体内容可以参考：http://blog.javachen.com/2014/06/09/fetchtask-in-hive.html

查找思路：
经过了解Fetch Task发现，它对简单查询会直接读取文件，但是不适用于聚合操作，继续查找原因，发现有人提到分区表，是有把分区的信息写入元数据，于是查看hive的mysql元数据表。

问题解决：
在hive的元数据库‘hive’库中有8张跟分区表有关的表，其中partitions保存有分区表的源表、分区id等信息，而在另一张表‘partition_params’表中存有 part_id 和对应的参数值（其中包括行数，行数据大小，总大小等）
答案就很明了了，分区表的count(*)是从元数据表中所取，而并非从所有节点上 map 然后reduce。

Hive分区表count(*)不起mapreduce的真相相关推荐

Spark源码之-CDH6下Spark2.4写Hive分区表异常
文章目录一.组件版本二.问题描述三.问题分析四.解决办法一.组件版本组件版本 Hadoop 3.0.0+cdh6.1.1 Hive 2.1.1+cdh6.1.1 spark 2.4.0+ ...
Hive分区表数据压缩
Hive分区表数据压缩 1.背景目前公司的Hive分区表采用的TextFile格式存储,占用的存储空间较大,考虑到存储成本,需要对存储的历史数据进行压缩. 2.压缩格式选择 2.1 snappy压缩 ...
Hive分区表：静态分区、动态分区、多重分区介绍
01 分区表的引入.产生背景现有6份数据文件,分别记录了<王者荣耀>中6种位置的英雄相关信息.现要求通过建立一张表t_all_hero,把6份文件同时映射加载. create table ...
大数据快速入门（09）：永久弄清楚 Hive 分区表和分桶表的区别
蛋蛋和小智今天又在"打情骂俏",他们今天在谈论分区表和分桶表,走,我们去听听. 这天,蛋蛋去茶水间倒水,他把水杯放在饮水机下面,打开开关,一直盯着墙上的画在看,灵魂仿佛已经飞 ...
sqoop动态分区导入mysql,sqoop 导入数据到hive分区表（外表，内表）指定分区指定数据库指定表...
sqoop 导入数据到hive 1.1.导入数据到hive分区表(内表),指定分区创建hive分区表 –hive-database 指定数据库 –table 指定表 –hive-overwrite ...
hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中
测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中. 需要注意的地方: 1,要添加hive.metastore.uris这个参数.否则无法将数据加载到hive表中 ...
Spark操作Hive分区表
前言 Spark操作Hive表可谓是异常的方便和简单,这里根据官网简单的总结一下Spark操作Hive分区表完美的处理处理方式 // 开启Hive动态分区 spark.sqlContext.setC ...
pyspark操作hive分区表以及.gz.parquet和part-00000文件压缩问题
文章目录 pyspark 操作hive表 1> `saveAsTable`写入 2> `insertInto`写入 2.1> 问题说明 2.2> 解决办法 3>`save ...
spark写表指定外部表_spark 将dataframe数据写入Hive分区表
从spark1.2 到spark1.3,spark SQL中的SchemaRDD变为了DataFrame,DataFrame相对于SchemaRDD有了较大改变,同时提供了更多好用且方便的API. D ...

Hive分区表count(*)不起mapreduce的真相

Hive分区表count(*)不起mapreduce的真相相关推荐

最新文章

热门文章