Hive SQL执行顺序

1.执行顺序

在 hive 和 mysql 中都可以通过 explain+sql 语句，来查看执行顺序。对于一条标准 sql 语句，它的书写顺序是这样的：

select … from … where … group by … having … order by … limit …

（1）mysql 语句执行顺序：

from... where...group by... having.... select ... order by... limit …

（2）hive 语句执行顺序：

from … where … select … group by … having … order by … limit …

2.Hive执行顺序

hive 基于 MapReduce 程序，它的执行顺序决定了 hive 语句的执行顺序，Map 阶段：

执行 from 加载，进行表的查找与加载
执行 where 过滤，进行条件过滤与筛选
执行 select 查询：进行输出项的筛选
执行 group by 分组：描述了分组后需要计算的函数

map 端文件合并：map 端本地溢出写文件的合并操作，每个 map 最终形成一个临时文件。
然后按列映射到对应的 reduceReduce 阶段：

group by：对map端发送过来的数据进行分组并进行计算。
select：最后过滤列用于输出结果
limit：排序后进行结果输出到HDFS文件

优化重点

根据执行顺序，我们平时编写时需要记住以下几点：

使用分区剪裁、列剪裁，分区一定要加
少用 COUNT DISTINCT，group by 代替 distinct
是否存在多对多的关联
连接表时使用相同的关键词，这样只会产生一个 job
减少每个阶段的数据量，只选出需要的，在 join 表前就进行过滤
大表放后面
谓词下推：where 谓词逻辑都尽可能提前执行，减少下游处理的数据量
sort by 代替 order by

Hive SQL执行顺序相关推荐

Hive 优化--SQL执行顺序、Hive参数、数据倾斜、小文件优化
优化整体思路如果资源充足就加资源加内存, 调度链路优化,调整调度顺序,时效性要求高的模型先产出, 数据接入模块,调优数据接入工具sqoop,datax 模型设计质量不高,调整模型,提高质量和复用度, ...
MySQL高级 - SQL技巧 - SQL执行顺序及正则表达式
SQL执行顺序编写顺序 SELECT DISTINCT<select list> FROM<left_table> <join_type> JOIN<rig ...
hive 语句执行顺序
hive语句执行顺序 msyql语句执行顺序代码写的顺序: select - from- where-. group by- having- order by.. 或者 from - select ...
SQL 执行顺序图解
目录执行顺序数据的关联过程执行顺序这是一条标准的查询语句: 这是我们实际上SQL执行顺序: 我们先执行from,join来确定表之间的连接关系,得到初步的数据 where对数据进行普通的初步的 ...
sql笔记1：sql执行优先级和casewhen用法、sql执行顺序
MySQL 语句中执行优先级--and比or高例: select * from table where 条件1 AND 条件2 OR 条件3 等价于 select * from table wher ...
Spark SQL执行流程解析之 sql执行顺序
一.Spark SQL模板解析 Spark Sql 关键字执行顺序跟Sql执行顺序类似: 1.先将from前两表做笛卡尔积加载进来形成虚拟表vt1, 2.on条件后为真的插入虚拟表形成vt2, 如果包 ...
java程序基础——SQL执行顺序
SQL执行顺序 1.from 2.join 3.on 4.where 5. group by(开始使用select中的别名,后面的语句中都可以使用) 6.avg,sum.... 7.having 8 ...
数据库笔记-sql执行顺序以及检索优先级
sql 执行顺序优先级由高到低依次是: from 关键字后面的语句. where 关键字后面的语句." group by "后面的语句. select 后面的语句." o ...
MySQL 学习笔记（17）— SQL 执行顺序
以查询语句为例,我们看下面的查询语句: (6)SELECT [DISTINCT | ALL] col1, col2, agg_func(col3) AS alias (1) FROM t1 JOIN ...

Hive SQL执行顺序

1.执行顺序

2.Hive执行顺序

优化重点

Hive SQL执行顺序相关推荐

最新文章

热门文章