一、项目场景

系统版本：Ubuntu18.04
Hadoop版本：Hadoop3.2.2（分布式安装）
Hive版本：Hive3.1.2

二、问题描述

在使用 Hive 执行 select 语句时，出现了 job 分配报错：

...
ERROR exec.Task: Ended Job = job_1639344121150_0015 with errors
ERROR exec.Task: Error during job, obtaining debugging information...
...
Container [pid=20022,containerID=container_123123432324_0015_01_000005] is running 78348374834B
beyond the 'VIRTUAL' memory limit. Current usage: 247.6 MB of 1GB physical memory used;
2.9GB of 2.1GB virtual memory used. Killing container.
...

三、原因分析

可以看到，2.9GB of 2.1GB virtual memory used. ，2.1GB 的虚拟内存分配了 2.9GB 的任务，导致内存溢出，容器自动被 killed 掉了。这里的容器具体是 map 容器还是 reduce 容器我们暂且不管它。

四、解决方案

在执行 Hive 语句之前，先为 map 和 reduce 端设置参数如下：

set mapreduce.map.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx3276M;
set mapreduce.reduce.memory.mb=4096;
set mapreduce.reduce.java.opts=-Xmx3276M;

注：java.opts 是 memory.mb 的 80% 左右，根据内存溢出时提示的内存大小(例如：Current usage: 2.0 GB of 2 GB physical memory used)进行增大内存，增大的最小单位是1GB。

接着再尝试执行我们的 select 语句。参考博客：https://blog.csdn.net/weixin_33581873/article/details/111948418

Hive虚拟内存溢出报错：2.9GB of 2.1GB virtual memory used. Killing container.解决办法相关推荐

报错：libpng warning: iCCP: cHRM chunk does not match sRGB解决办法
敲代码时出现以下报错: libpng warning: iCCP: cHRM chunk does not match sRGB 解决办法: 如果输入法使用的是qq输入法,切换成别的输入法.
idea 启动报错: Failed to create JVM.JVM.Path XXXXXXX\jbr\ 我的解决办法
idea 启动报错: Failed to create JVM.JVM.Path XXXXXXX\jbr\ 我的解决办法在 C:\Users\Administrator\AppData\Roamin ...
mysql服务启动报错：“服务读取描述失败，错误代码：2”的解决办法？
mysql服务启动报错:"服务读取描述失败,错误代码:2"的解决办法? 这个问题是mysql的服务被损坏了,需要重建服务,不需要重新安装mysql,方法步骤如下第1步:删除已有的 ...
Keil 报错 declaration may not appear after executable statement in block的解决办法
Keil 报错 declaration may not appear after executable statement in block的解决办法在移植修改例程代码时,Keil 报错 " ...
mysql8 10061_MySQL8.0报错Can't connect to MySQL server on 'localhost' (10061)的解决办法
MySQL8.0报错Can't connect to MySQL server on 'localhost' (10061)的解决办法事情的起因今天课堂上要展示小组项目,需要用一个软件叫WPS-I ...
git commit 提交的时候报错husky ＞ pre-commit hook failed (add --no-verify to bypass)（解决办法）
问题原因: 问题原因:pre-commit钩子惹的祸当你在终端输入git commit -m"XXX",提交代码的时候,pre-commit(客户端)钩子,它会在Git键入提交信息 ...
【转】【centos】启动网卡报错（Failed to start LSB: Bring up/down networking ）解决办法总结...
今天一台一直在用的虚拟机重启后,CRT连接不上,ip也ping不通,重启网卡报错,"Failed to start LSB: Bring up/down networking",参 ...
Linux格式化分区报错Could not start /dev/sda No such file or directory 解决办法
Linux查看已经分好的区 [root@linuxidc ~]# fdisk -l /dev/sda Disk /dev/sda: 21.5 GB, 21474836480 bytes 25 ...
2021.04.13丨sRNAnalyzer报错fastx_collapser: Invalid input: This looks like a multi-line FASTA file解决办法
解决方法已更新:2021.06.19丨sRNAnalyzer报错fastx_collapser补充解决办法_穆易青的博客-CSDN博客摘要接到一个外泌体的miRNA分析,正常来说,本来可以直接使用 ...
activiti串行多实例报错Could not execute inner activity behavior of multi instance behavior解决办法
如你报的是这个错误.你看到的是Could not execute inner activity behavior of multi instance behavior.你先去看看你的流程图,他这个报错 ...

Hive虚拟内存溢出报错：2.9GB of 2.1GB virtual memory used. Killing container.解决办法

文章目录

一、项目场景

二、问题描述

三、原因分析

四、解决方案

Hive虚拟内存溢出报错：2.9GB of 2.1GB virtual memory used. Killing container.解决办法相关推荐

最新文章

热门文章