Could not deallocate container for task attemptId attempt_1527460471557_511564_r_000000

hive任务执行出错，map和reduce进程一直为0%

查看log日志发现，报错如下：Could not deallocate container for task attemptId attempt_XXX

从字面意思可知，是因为没有给任务分配container，在创建容器的过程中出错了。

通过查阅资料发现，主要是以下两个原因：

（1）nodemanager内存不够；

（2）yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb的值同倍数调整小了。

其中yarn.nodemanager.resource.memory-mb：指的是YARN可以分配的最大物理内存，要根据真实服务器的物理内存大小进行调整；yarn.scheduler.maximum-allocation-mb：指的是单个容器（JVM进程）可以申请的最大物理内存，很显然这个值是不能大于参数“yarn.nodemanager.resource.memory-mb”的值的。后来想到MRMR作业启动的时候也有内存参数，果不其然，查看了下文件mapred-site.xml后，里边有个参数mapreduce.reduce.memory.mb，值是4096，这个参数的含义是：Reduce Task需要的内存。作业要运行在容器里，容器肯定要大于等于作业大小才对，所以在hive任务里分别设置两个参数为：

set yarn.nodemanager.resource.memory-mb=4096
set yarn.scheduler.maximum-allocation-mb=4096

（亦可将mapred-site.xml中的参数改小，然后重启hadoop）

重新执行该任务，成功！！！

参考链接：https://blog.csdn.net/achilles12345/article/details/77437102

Could not deallocate container for task attemptId attempt_1527460471557_511564_r_000000_0相关推荐

System variables, logging and the Execute SQL Task...(zz)
原文地址http://sqljunkies.com/WebLog/knight_reign/archive/2005/02/27/8187.aspx Here's something useful y ...
slot没有毁灭的问题_解析flink之perjob模式下yn参数不生效问题
概要: 0. 问题背景 1. Stream Job的切分 2. 计算资源的调度 & 任务的执行 3. 最后的总结 0. 问题背景: 开始用flink处理流式作业的时候,用yarn-cluste ...
图解YARN--大数据平台技术栈17
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的YARN! 为什么会产生YRAN?这个与MapReduce1.x的架构有关,正是因为MapReduce1.x存在许多的问题,才会产生 Y ...
Docker 命令终极教程：8步走
Docker容器已经从一种锦上添花的技术转变成了部署环境的必需品.有时,作为开发人员,我们需要花费大量时间调试或研究Docker工具来帮助我们提高生产力.每一次新技术浪潮来临之际,我们都需要花费大量时 ...
资源调度框架YARN
YARN产生背景 MapReduce1.x存在的问题在1.x版本中,架构也是master/slave的,对应的角色是分别是JobTracker和TaskTracker,一个作业可以拆分成MapTas ...
Hadoop——分布式资源管理框架YARN总结
分布式资源管理框架YARN 1. YARN概述 YARN是"Yet Another Resource Negotiator"的简称. 在进一步了解 YARN 框架之前我们需 ...
只要 8 个步骤，学会这个 Docker 命令终极教程！
作者 | Timothy Mugayi 译者 | 弯月责编 | 徐威龙封图| CSDN 下载于视觉中国 Docker容器已经从一种锦上添花的技术转变成了部署环境的必需品.有时,作为开发人员,我们需 ...
Swarm的进化和大规模应用
目前在容器编排领域,Kubernetes.Mesos以及Swarm呈现"三分天下"的格局,各自都有着不同的应用场景.短期内,很难看到"一统天下"的局面,本文,来 ...
Hadoop 生态系列之 Mapreduce
阅读文本大概需要 5 分钟.文章稍长,建议收藏慢慢看. 目前 Hadoop 系列文章的规划就是这样,持续补充完善中- 同时可以访问 https://data.cuteximi.com Hadoop 生 ...

Could not deallocate container for task attemptId attempt_1527460471557_511564_r_000000_0

Could not deallocate container for task attemptId attempt_1527460471557_511564_r_000000_0相关推荐

最新文章

热门文章