hive ：简单查询不走mapreduce

在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。
本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。
hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
这套映射工具称之为metastore，一般存放在derby、mysql中。

hive在hdfs中的默认位置是/user/hive/warehouse，是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。

hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤。

这样做的好处就是不新开mr任务，执行效率要提高不少，但是不好的地方就是用户界面不友好，有时候数据量大还是要等很长时间，但是又没有任何返回。

1、本地模式下，hive可以简单的读取目录路径下的数据，然后输出格式化后的数据到控制台，比如有本地员工employee，当执行 select * from employee 时，直接将文件中数据格式化输出。
2、查询语句中的过滤条件只是分区字段的情况下不会进行Mapreduce。

设置：
在hive-site.xml里面有个配置参数叫

hive.fetch.task.conversion = more

将这个参数设置为more，简单查询就不走map/reduce了，设置为minimal，就任何简单select都会走map/reduce。

hive ：简单查询不走mapreduce相关推荐

大数据培训之核心知识点Hbase、Hive、Spark和MapReduce的概念理解、特点及机制等
今天,上海尚学堂大数据培训班毕业的一位学生去参加易普软件公司面试,应聘的职位是大数据开发.面试官问了他10个问题,主要集中在Hbase.Spark.Hive和MapReduce上,基础概念.特点.应用 ...
Hive Select 查询数据
Hive Select 查询数据基本查询(Select-From) 全表和特定列查询列别名算术运算符常用函数 Limit语句 Where语句比较运算符(Between / In / Is N ...
Hive SQL转化为MapReduce的过程
编译 SQL 的任务是在 COMPILER(编译器组件)中完成的.Hive将SQL转化为MapReduce任务,整个编译过程分为六个阶段: 词法.语法解析: Antl ...
执行Hive的查询语句报错：java.lang.IllegalArgumentException: Does not contain a valid host:port authority: loca
好不容易把Hive装完了,结果一执行Hive的查询语句运行MapReduce程序立马报错... log详细信息如下: Job running in-process (local Hadoop) Had ...
[Hive]子查询使用指南
1.在from语句中使用子查询 Hive在0.12版本后就支持了from条件中子查询,例如: SELECT ... FROM (subquery) name ... SELECT ... FROM ( ...
SpringBoot + Elasticsearch7.6实现简单查询及高亮分词查询
欢迎关注方志朋的博客,回复"666"获面试宝典前言该文章需要提前准备好Elasticsearch7.6以及ik分词器的环境,如果还没准备好的可以看看 https://blog. ...
sql同时操作两列_SQL简单查询
1. 基本的查询语句 selece<列名1>,<列名2>,.... →select子句 from<表名>: →from子句 -- 在student表中查询出姓名.性 ...
简单mysql 查询_MySQL简单查询详解
MySQL的查询操作单表查询:简单查询多表查询:连接查询联合查询布尔条件表达式操作符= 等值比较 <=>:跟空值比较不会产生额外信息的等值比较 <>:不等值 <: ...
hive的条件查询语句_[一起学Hive]之九-Hive的查询语句SELECT
关键字:Hive SELECT.ORDER BY.SORT BY.DISTRIBUTE BY.CLUSTER BY.Hive子查询.Hive虚拟列八.Hive的查询语句SELECT 在所有的数据库系 ...

hive ：简单查询不走mapreduce

hive ：简单查询不走mapreduce相关推荐

最新文章

热门文章