org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

这个问题是hive进行map join 而机器内存不够导致
map join会把join中的小表读到内存中，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符，继而进行连接。这里的join并不会涉及reduce操作。map端join的优势就是在于没有shuffle。
但我们机器内存不够，所以悲剧了。

修改这个文件下的参数可以把map join 关闭，使用common join

$KYLIN_HOME/conf/kylin_hive_conf.xml
:
<property>
<name>hive.auto.convert.join</name>
<value>false</value>//true修改为false
<description>Enables the optimization about converting common join into mapjoin</description>
</property>

common join也叫做shuffle join，reduce join操作。这种情况下生再两个table的大小相当，但是又不是很大的情况下使用的。具体流程就是在map端进行数据的切分，一个block对应一个map操作，然后进行shuffle操作，把对应的block shuffle到reduce端去，再逐个进行联合，这里优势会涉及到数据的倾斜，大幅度的影响性能有可能会运行speculation，这块儿在后续的数据倾斜会讲到。因为平常我们用到的数据量小，所以这里就不具体演示了。

转载于:https://blog.51cto.com/xiaolanlan/2068900

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask相关推荐

hive异常 return code X from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 解决
转自:https://www.iteye.com/blog/vase-2090320 不知道是不是hive-0.12版增强了local mode的原因,在之前版本运行好好的Hive-QL在这个版本上错 ...
hive3.x异常- return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
提交joinsql核心异常如下 return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask The value of pr ...
Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
Hive报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoo ...
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
报错信息 [2020-09-23 19:26:35] hive:Execution log at: /tmp/mqq/mqq_20200923191542_f05d782a-27c8-4e09-a6e ...
hive-05-Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
hive命令行里执行了一句话: select * from person join zhanghao on person.zjhm = zhanghao.zjhm limit 100 ; 就是两个表做 ...
Hive return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask一种解决办法
尝试在sql执行前加配置参数,以下几种配置参数考虑选择 set hive.auto.convert.join=false; set hive.ignore.mapjoin.hint=false; se ...
Hive报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce
最近在做hive练习题时使用hive查询报错 Hadoop job information for Stage-3: number of mappers: 0; number of reducers: ...
hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误...
hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误起因 ...
USDP使用笔记（五）设置Hive on Tez解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题
前言使用Hive的命令行或者beeline时,经常有测试HQL语法或者逻辑计算公式是否正确的需求,使用Load灌数据到Hive太过重量级了,轻度使用的场景下难免会用到insert操作. 然鹅Hive ...

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask相关推荐

最新文章

热门文章