记录hive sql报错，return code1和return code2解决方法

执行hive sql语句的时候非常容易出现return code 1、return code 2、return code 3的情况，我就遇到了很多次，code3在某次意外中得以解决但是引发了code2 和code1，有些error莫名其妙的出现又莫名其妙的消失，可它还会带来更多的error。

⚠️报错：
[2021-10-19 19:45:38] [08S01][2] Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

✅解决方法：
这个真的困扰了我好久啊啊啊啊啊！！！跟着改了n多配置无用。
就在1019日大概晚上八点突然看到一篇文章醍醐灌顶的感觉，就是说hive sql return code 2 是一种常见的官方报错方式，每个人的错误可能都不一样，但是一定要去yarn上查看log
具体请看这里== 》

于是我去查看了yarn job diagnostics，很明显内存超出了！可是我之前已经改到虚拟内存最大了，没办法只好改大了虚拟机内存，再次调整yarn容器允许分配的最大最小内存和yarn容器允许管理的物理内存大小！

yarn-site.xml：

同时记得修改mapred-site.xml里的

⚠️报错：
[2021-10-19 22:06:07] [08S01][2] Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

✅解决方法：
查看yarn 进度显示succeed？！但是这里又报错，点进去log里看也没有看到任何报错就很奇怪之前也遇到过很很多次这个错误一直没有得到解释，知道刷到下面这条⬇️
说是堆内存溢出导致的==>
由于我已经配置了yarn.scheduler.maximum-allocation-mb 和 yarn.scheduler.minimum-allocation-mb，故如图配置以下两个文件得以解决！！！

最后，贴出我yarn-site.xml的所有配置：

<configuration><!--指定MR走shuffle--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value></property><!--开启日志聚集功能--><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!--设置日志聚集服务器地址--><property><name>yarn.log.server.url</name><value>http://hadoop102:19888/jobhistory/logs</value></property><!--设置日志保留时间为7天--><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property><!--yarn容器允许分配的最大最小内存--><property><name>yarn.scheduler.minimum-allocation-mb</name><value>512</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>4096</value></property><!--yarn容器允许管理的物理内存大小--><property><name>yarn.nodemanager.resource.memory-mb</name><value>4096</value></property><!--关闭yarn对虚拟内存的限制检查--><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false></value></property># 打开hadoop中yarn-site.xml文件,添加<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><!-- 解决堆内存溢出 --><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value></property><property><name>mapred.child.java.opts</name><value>-Xmx1024m</value></property></configuration>

mapred-site.xml配置：

<configuration><!--指定MapReduce程序运行在Yarn上--><property><name>mapreduce.framework.name</name><value>yarn</value></property><!--历史服务器端地址--><property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value></property><!--历史服务器web端地址--><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value></property><!--运行hdfs自带wordcount功能出现错误--><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.2</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.2</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.2</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>4096</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>4096</value></property>
</configuration>

记录hive sql报错，return code1和return code2解决方法相关推荐

DB2 sql报错后查证原因与解决问题的方法
DB2 sql报错后查证原因与解决问题的方法参考文章: (1)DB2 sql报错后查证原因与解决问题的方法 (2)https://www.cnblogs.com/BradMiller/p/31978 ...
npm run build 打包报错primordials is not defined的解决方法
npm run build 打包报错primordials is not defined的解决方法 D:\uniapp项目\huishua_web_agent>npm run build> ...
linux下svn客户端报错Cannot negotiate authentication mechanism的解决方法
svn客户端报错Cannot negotiate authentication mechanism的解决方法: 问题出现的原因之一: 因为SVN服务器配置了saslauthd服务用来实现与ldap的对 ...
【笔记】虚拟机用Xshell登陆报错“ssh服务器拒绝了密码”解决方法
[笔记]虚拟机用Xshell登陆报错"ssh服务器拒绝了密码"解决方法参考文章: (1)[笔记]虚拟机用Xshell登陆报错"ssh服务器拒绝了密码"解决方法 ...
eclipse中同步代码PULL报错checkout conflict with files的解决方法
eclipse中同步代码PULL报错checkout conflict with files的解决方法参考文章: (1)eclipse中同步代码PULL报错checkout conflict wit ...
手机系统安装打印机服务器错误代码,OKI打印机报错？各型号代码故障解决方法...
原标题:OKI打印机报错?各型号代码故障解决方法这一期干货贴邀请大家一起看看OKI打印机常见报错代码↓↓↓ 1.报错代码 610/611/612/613 黄色/品红色/青色/黑色碳粉盒未安装产生原 ...
DeepFaceLab报错，CUDA driver is insufficient 解决方法!
DeepFaceLab报错,CUDA driver is insufficient 解决方法! 参考文章: (1)DeepFaceLab报错,CUDA driver is insufficient 解 ...
phpredis 报错 “Function Redis::setTimeout() is deprecated” 解决方法
phpredis 报错 "Function Redis::setTimeout() is deprecated" 解决方法参考文章: (1)phpredis 报错 "F ...
Maven 手动安装JAR包到本地maven仓库后，但在项目中依旧报错找不到JAR包解决方法
Maven 手动安装JAR包到本地maven仓库后,但在项目中依旧报错找不到JAR包解决方法参考文章: (1)Maven 手动安装JAR包到本地maven仓库后,但在项目中依旧报错找不到JAR包解决 ...

记录hive sql报错，return code1和return code2解决方法

记录hive sql报错，return code1和return code2解决方法相关推荐

最新文章

热门文章