mapreduce阶段出现pending的原因及解决

mapreduce出现类似死锁情况

在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时reduce在copy阶段把资源全用光，导致map没资源去跑，进而导致reduce一直在copy状态等待。也就是说map需要资源去跑，reduce需要等map全部跑完才能进行下一个阶段，这样就导致相互等待，类似死锁。大约在一个半小时左右，有130多个reduce被AppMaster kill，被kill的reduce出现日志：Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143。
这就是说当资源不够是，AppMaster会kill掉reduce释放资源给map。

解决办法是调整mapreduce.job.reduce.slowstart.completedmaps参数，默认为0.05，即map完成0.05后reduce就开始copy，如果集群资源不够，有可能导致reduce把资源全抢光，可以把这个参数调整到0.8，map完成80%后才开始reduce copy。

mapreduce阶段出现pending的原因及解决相关推荐

以太坊ETH不能转账,状态一直是pending状态原因和解决方法
有人肯定遇到跟我一样的问题,账号里还有一些eth,但是有一笔交易一直处于pending状态,导致后续的交易全部卡死.除非这一笔pending状态的交易被矿工打包.请注意nonce,由于每一个账号的每一 ...
你真的知道 NoSuchMethodError 发生原因和解决办法吗
点击上方"朱小厮的博客",选择"设为星标" 后台回复"加群"加入公众号专属技术群来源:阿里巴巴中间件当应用程序试图调用类(静态或实例)的 ...
NoSuchMethodError 发生原因和解决办法
当应用程序试图调用类(静态或实例)的指定方法,而该类已不再具有该方法的定义时,就会抛出 java.lang.NoSuchMethodError 错误.简单地说,就是同一个 Class 有多个版本的实现 ...
【MySQL】MySQL出现Waiting for table metadata lock的原因、解决方法
Waiting for table metadata lock MySQL在进行alter table等DDL操作时,有时会出现Waiting for table metadata lock的等待场景 ...
NoSuchMethodError 常见原因及解决方法
当应用程序试图调用类(静态或实例)的指定方法,而该类已不再具有该方法的定义时,就会抛出 java.lang.NoSuchMethodError 错误.简单地说,就是同一个 Class 有多个版本的实现 ...
内存泄漏的原因及解决办法_探索内存碎片化 - 第288篇
相关历史文章(阅读本文之前,您可能需要先看下之前的系列 ) 色谈Java序列化:女孩子慎入 - 第280篇烦不烦,别再问我时间复杂度了:这次不色,女孩子进来吧 - 第281篇双向链表,比西天还远? ...
mysql数据库什么情况下会锁表_mysql数据库锁的产生原因及解决办法
数据库和操作系统一样,是一个多用户使用的共享资源.当多个用户并发地存取数据时,在数据库中就会产生多个事务同时存取同一数据的情况.若对并发操作不加控制就可能会读取和存储不正确的数据,破坏数据库的一致性 ...
mysql数据库死锁的产生原因及解决办法
该文章为转载,如有侵权请及时联系这篇文章主要介绍了mysql数据库锁的产生原因及解决办法,需要的朋友可以参考下数据库和操作系统一样,是一个多用户使用的共享资源.当多个用户并发地存取数据时,在数据 ...
MySQL备库复制延迟的原因及解决办法
背景今天有同事问我主从复制延迟会影响高可用切换的 RTO 怎么办,这个不需要做实验,我可以直接回答,所以有了以下赶鸭子的文章,都是一线运维经验之谈,建议四连:点赞.收藏.转发.在看. 复制延迟的原因 ...

mapreduce阶段出现pending的原因及解决

mapreduce出现类似死锁情况

mapreduce阶段出现pending的原因及解决相关推荐

最新文章

热门文章