1、集群环境

CDH集群，hive的引擎是mr。

2、错误由来

今天在测试环境的集群里跑hive任务，报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask。

3、错误原因

这个错误是因为hive的map join参数默认是开启的：

hive.auto.convert.join=true

使用hive进行map join时，节点内存不够就会报该类型错误。

4、错误分析

MapJoin是指在Map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样就必须等到 Reduce中去连接。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。Map Join会把小表全部读入内存中，在Map阶段直接拿另外一个表的数据和内存中表数据做匹配 (这时可以使用Distributed Cache将小表分发到各个节点上，以供Mapper加载使用)，由于在map时进行了join操作，省去了reduce运行的效率也会高很多。

当机器内存不足时，无法在Map端进行join，即会报错。

5、解决办法

1、可以关闭上面的map join 改为common join
shell命令行：set hive.auto.convert.join=false
2、修改配置文件下的参数可以把map join 关闭，使用common join
hive_conf.xml

<property>
<name>hive.auto.convert.join</name>
<value>false</value>//true修改为false
<description>Enables the optimization about converting common join into mapjoin</description>
</property>

Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask相关推荐

Hive报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce
最近在做hive练习题时使用hive查询报错 Hadoop job information for Stage-3: number of mappers: 0; number of reducers: ...
hive报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
初看特别高大上,实际上自己犯了个挺弱智的错误,就是字段类型判断出错,但是hive的日志报错并没有显示出来,就是一个decimal类型的字段,在判断中使用了 line1 <> '' 这样的判 ...
执行HiveSql时报错“FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTa”
执行HiveSql时报错"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapR ...
Hive 插入数据报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask.
看它的报错信息好像是节点没有启动,但是我的节点都启动起来了,使用jps也能查看到节点信息. 使用hadoop dfsadmin -report命令查看磁盘使用情况,发现出现以下问题: 节点下存储空间都 ...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. ORC split
文章目录 1. 报错 2. 解决方法 1. 报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec. ...
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
项目场景: 使用hive分析.处理数据时问题描述执行hive语句后,报错:FAILED: Execution Error, return code 2 from org.apache.hadoop ...
Hive任务执行报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
报错内容如下: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 22/ ...
Hive更改表名FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Una ble
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Una ble to alter ...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not ...

Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Hive报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask