hive优化——严格模式

默认配置为：

<property><name>hive.mapred.mode</name><value>nonstrict</value><description>The mode in which the Hive operations are being performed.In strict mode, some risky queries are not allowed to run. They include:Cartesian Product.No partition being picked up for a query.Comparing bigints and strings.Comparing bigints and doubles.Orderby without limit.</description>
</property>

设置参数为：

set hive.mapred.mode = strict;

严格模式限制以下查询：

1、笛卡尔积查询：join查询不使用on语句而是使用where语句

关系型数据库的执行优化器可以高效地将where语句转化成on语句，hive并不会执行这种优化。

2、查询没有选择分区：对于分区表，where语句中无分区字段过滤条件

不允许用户扫描所有分区，因为分区表通常数据量巨大，没有限制分区的查询可能会消耗巨大资源。

3、order by没有limit语句：

order by 为了执行排序过程，会将所有的结果数据分发到同一个reducer中进行处理，增加limit语句可以防止reducer额外执行很长一段时间。

4、bigint类型数据与string和double类型比较

hive优化——严格模式相关推荐

深入浅出学Hive：Hive优化
目录: 初始Hive Hive安装与配置 Hive内建操作符与函数开发 Hive JDBC Hive参数 Hive高级编程 Hive QL Hive Shell基本操作 Hive优化 Hive体系结构 ...
Hive优化（再一遍系统复习）
Hive优化(或者面试问你工作中遇到的问题就可以答hive优化) select * 是不走MR程序的可以开启本地模式local(当文件小于默认128M且文件数少于4个,不走MR) 表的优化 (1) ...
Hive 优化（通用版）
hive优化 Hive 优化核心思想:把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行: select仅查询本表字段 where仅对本表字段做条件过滤 ...
大数据笔记30—Hadoop基础篇13(Hive优化及数据倾斜)
Hive优化及数据倾斜知识点01:回顾知识点02:目标知识点03:Hive函数:多行转多列知识点04:Hive函数:多行转单列知识点05:Hive函数:多列转多行知识点06:Hive函数: ...
Hive优化笔记（1 - 非数据倾斜）
目录列裁剪和分区裁剪谓词下推本地模式(local mode) 并行执行严格模式 Map端聚合调整mapper数调整reducer数小文件合并优化设置jvm重用引擎选择输出结果压缩 ...
一篇文章让你通透Hive优化
Hive优化一.hive参数优化 1.map数优化 2.reduce数优化 3.Fetch抓取(Hive可以避免进行MapReduce) 4 .模式选择 1)本地模式 2)并行模式 3)严格模 ...
Hive优化总结（史上最全）
Hive优化总结 hive建表设计层面 1.使用分区表优化分区表是在某一个或者几个维度上对数据进行分类存储,一个分区对应一个目录.如果筛选条件里有分区字段,那么 Hive 只需要遍历对应分区目录 ...
Hive优化方法汇总
Hive优化方法: 1.Fetch抓取 2.本地模式 3.表的优化 (1)小表大表Join(MapJoin) (2)大表Join大表 (3)Group By (4)Count(Distinct)去重统 ...
Hive优化的基本思路
一.开头好好理解Map-Reduce过程,多看看执行计划[explain 查询语句],就会更帮帮地理解咯二.Hive-SQL语句转化成MapReduce 1)Join的实现原理 select u. ...

hive优化——严格模式

hive优化——严格模式相关推荐

最新文章

热门文章