Hive的HQL的执行过程（怎么转换成MR、Spark等任务）

在面试时候，被问到了Hive的HQL是怎么转换成MapReduce任务的，回去查了一下资料并看了一下源码，在这里做一下整理。

编译过程概述

能大致说出编译过程，基本已经是满足面试要求了。HiveSQL ->AST(抽象语法树) -> QB(查询块) -> OperatorTree(操作树) ->优化后的操作树 ->mapreducer任务树 -> 优化后的mapreducer任务树

Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree；
遍历AST Tree，抽象出查询的基本组成单元QueryBlock；
遍历QueryBlock，翻译为执行操作树OperatorTree ；
逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量；
遍历OperatorTree，翻译为MapReduce任务；
物理层优化器进行MapReduce任务的变换，生成最终的执行计划

源码图解

从Beeline到MR任务执行的图解，大致说明了各个类的作用（图片可以点击放大）。

参考文章：

Hive的HSQL转换为MapReduce的过程_又菜又爱写 ᥬ᭄ᥬ᭄的博客-CSDN博客

Hive3.1.2的Beeline执行过程_虎鲸不是鱼的博客-CSDN博客_beeline源码

Hive的HQL的执行过程（怎么转换成MR、Spark等任务）相关推荐

Hive是如何将hql语法转换成MR执行的
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能.说白了,hive就是MapReduce客户端,将用户编写的HQL语法转换成MR程序进行执行.那 ...
hive底层原理 sql执行过程_Hive mapreduce SQL实现原理——SQL最终分解为MR任务，而group by在MR里和单词统计MR没有区别了-阿里云开发者社区...
转自:http://blog.csdn.net/sn_zzy/article/details/43446027 SQL转化为MapReduce的过程了解了MapReduce实现SQL基本操作之后,我 ...
hive底层原理 sql执行过程_hive sql编译过程
sql查询语句处理步骤流程图准备实例,创建表,插入数据,写要分析的实例查询语句 1.首先创建两个表 2.创建两个表,并插入表数据,脚本略 3.编写咱们要解析的查询语句,即本篇要查询的实例语句. se ...
java rmi 多ip_在rmi连接中客户端指定一个ip地址，但程序执行中却转换成另一个地址...
局域网中的两台电脑想通过rmi技术连接通信服务器端>ip地址:192.168.10.28 import java.net.MalformedURLException; import java. ...
【C/C++】程序环境，探索程序的执行过程（习得无上内功《易筋经》的第一步）
目录 1.程序的翻译环境和执行环境 2.详解编译+链接 2.1翻译环境 2.2编译本身也分为几个阶段预编译(预处理) 编译汇编详解符号表形成符号表 2.3.链接合并段表符号表的合并和重定位 ...
伪代码block转换成程序流程图_程序设计基础
1.程序与程序设计语言的基本知识 1)程序:为解决某一问题而采用程序设计语言编写的一个指令集合. 程序=算法(对操作的描述)+数据结构(对数据的描述)+程序设计语言+语言工具和环境. 2)程序的特点: ...
Hive系列之HSQL转换成MapReduce过程
hive的库.表等数据实际是hdfs系统中的目录和文件,让开发者可以通过sql语句, 像操作关系数据库一样操作文件内容, 比如执行查询,统计,插入等操作.一直很好奇hive是如何做到这些的.通过参考网 ...
hql取满足条件最新一条记录_MySql 之一条查询sql的执行过程
每当我把一条查询sql语句写完了,并且执行完得到想要的结果.这时我就在想为什么我写这样的一条sql语句,就能给我查询出我想要的结果,为什么我写了update就能更新一条语句?它们的执行过程是什么样的? ...
13-hive的执行过程
1. MR 转 hive 的过程–逻辑分析 1.1 Join 实现的基本原理 select u.name, o.orderid from order o join user u on o.uid = ...

Hive的HQL的执行过程（怎么转换成MR、Spark等任务）

编译过程概述

源码图解

Hive的HQL的执行过程（怎么转换成MR、Spark等任务）相关推荐

最新文章

热门文章