Hive Tuning(三) 从查询计划看hive.auto.convert.join的好处

今天我们来讲一下如何看懂Hive的查询计划。

hive的执行计划包括三部分:

– Abstract syntax tree – 可以直接忽略

– Stage dependencies – 依赖

– Stage plans – hive如何执行任务的信息。

下面还是以一个案例作为说明

设置自动连接为false的话，要走5步。

4 Map Reduces tells you something is not right.

Stage: Stage-1

Map Reduce

Stage: Stage-2

Map Reduce

Stage: Stage-3

Map Reduce

Stage: Stage-4

Map Reduce

设置自动连接为true就只有4步

Only 2 Map Reduces

Stage: Stage-8

Map Reduce

Stage: Stage-4

Map Reduce

hive直接就加载了要做连接的表，client和path表，其中client表做了过滤，剩下的map/reduce是用来连接和排序的。

Hive Tuning(三) 从查询计划看hive.auto.convert.join的好处相关推荐

sql 循环处理数据_图文介绍 SQL 的三种查询计划处理模型，Spark 用了其中两个
我已经在之前的 <一条 SQL 在 Apache Spark 之旅(上)>.<一条 SQL 在 Apache Spark 之旅(中)> 以及 <一条 SQL 在 Apac ...
hive遍历_从Hive中的stored as file_foramt看hive调优
一.行式数据库和列式数据库的对比 1.存储比较行式数据库存储在hdfs上式按行进行存储的,一个block存储一或多行数据.而列式数据库在hdfs上则是按照列进行存储,一个block可能有一列或多列数 ...
Hive学习(三)操作Hive的方式及优化
Hive 一.操作Hive的两种方式 1.通过Beenline 2.通过JDBC 二.Hive的优化 1.Hive优化的思想: 2.优化的方式 (1)开启本地模式 (2)开启并行计算 (3)严格模式 ...
Hive 大小表关联查询异常
异常原因:mr将数据量小的表识别成了大表,数据量大的识别成小表,导致将数据量大的表加入到内存,导致程序异常处理方法: set hive.execution.engine=mr; set hive.m ...
hive相对于oracle的优点,【Hive】Hive面试题
1.hive的join有几种方式,怎么实现join的? left join --以左表为基准,不符合的值以null值显示 --工作中以left join 居多,大表加载小表的形式 select emp ...
hive实战读书笔记(第9章)Hive性能优化
hive用户面临的一个比较大的问题是,用户需要等待较长的响应时间,与传统关系数据库查询的性能相比,hive响应速度慢的令人发指本章介绍一套诊断改进hive查询性能的系统方法,通过这个过程,将单个hi ...
hive报错（1）MoveTask/HIVE return code 1、2、3
今天在CDH上执行hive sql的时候报了一个错错误内容为: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive. ...
hive快还是mysql快_HBase相对Hive查询速度快的对比
原标题:HBase相对Hive查询速度快的对比首先Hive的底层首先是MR,是属于批处理处理时间相对较长,不属于实时读写.在其架构上HBase和Hive有很大的区别. 架构介绍: Hive架构 –( ...
hadoop离线阶段（第十三节）数据仓库、hive简介、hive安装和hive的三种交互模式
目录数据仓库数据仓库的基本概念数据仓库的主要特征数据仓库与数据库区别数据仓库分层架构数据仓库元数据管理 Hive简介什么是Hive Hive的特点 Hive架构 Hive与Hadoop的 ...
Hive第三天——Hive使用（二）（join语句）
文章部分参考自:https://blog.csdn.net/qq_23897391/article/details/92636509 Hive第三天--Hive使用自己的话:黑发不知勤学早,白首方悔 ...

Hive Tuning(三) 从查询计划看hive.auto.convert.join的好处

Hive Tuning(三) 从查询计划看hive.auto.convert.join的好处相关推荐

最新文章

热门文章