mapreduce.job.reduce.slowstart.completedmaps

2019独角兽企业重金招聘Python工程师标准>>>

集群描述

YARN情况如下：

NodeManager个数为20
每个Nodemanager分配内存为104G左右。
每个container内存设置为4G，可生成约520个container。
资源调度方式为fair scheduler。

加工数据

加工数据为1T的gzip压缩数据，解压约为3至4T数据，个数为1000个。

负载任务

任务执行情况如下：

每个任务：map1000+，reduce1000+
如果集群只运行单个任务，则单个计算时间可控制在10分钟左右。
最多同时运行10至20个任务，每个任务可分配到使用的contianer个数为30-50个。

问题描述

问题现象

大部分任务的Map剩余部分Pending
任务的Reduce已经启动显示为Running
集群CPU负载几乎为0

示例

如20个任务，每个任务剩余10-100个的Map在Pending状态，每个任务的Reduce获取了约25个container显示为Running状态。因此，整个集群的任务都在等待其他任务释放container，然而各自任务的Reduce占用了container却不释放，全部任务都处于等待状态。

解决思路

参数调整

将产生Map较多的任务参数mapreduce.job.reduce.slowstart.completedmaps设置为1.0。避免Map和Reduce过多的任务出现Map未执行完，Reduce任务先开始执行，过多任务并行时所需资源相互等待的窘境。这是客户端参数

不利影响

当集群负载比较空闲时，少数任务中Map接近执行完毕，而Reduce任务不启动导致的container闲置，集群资源浪费。若Map任务处理数据出现不平均的情况，这种情况会更加严重。
从集群资源负载监控会出现Map和Reduce任务出现两个波峰，中间出现波谷(Cpu空闲)。

转载于:https://my.oschina.net/yulongblog/blog/748578

mapreduce.job.reduce.slowstart.completedmaps相关推荐

mapreduce作业reduce被大量kill掉
之前有一段时间.我们的hadoop2.4集群压力非常大.导致提交的job出现大量的reduce被kill掉.同样的job执行时间比在hadoop0.20.203上面长了非常多.这个问题事实上是redu ...
从源码角度分析MapReduce的reduce流程
文章目录前言流程图 Reduce都干了哪些事? 源码分析 1.run方法 1.1 比较器getOutputValueGroupingComparator 1.1.1 getOutputKeyCom ...
离线计算框架MapReduce
hadoop技术内幕-深入理解YARN架构设计与实现原理-第九章笔记 MapReduce基本构成组件 ContainerAllocator:与ResourceManager进行通讯,为MapReduc ...
mapreduce阶段出现pending的原因及解决
mapreduce出现类似死锁情况在往hbase表里通过bulkload导数据时,某个mapreduce跑了一个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pend ...
Hadoop2.6.0运行mapreduce之Uber模式验证
前言在有些情况下,运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大,如果此时的任务分片很多,那么为每个map任务或者reduce任务频繁创建Container,势必会增加H ...
从MapReduce的Shuffle原理进行生产参数调优
文章目录 1.mapreduce的过程上图 2.map 切分输入文件 3.环形缓冲区 3.1 原理 3.2 生产调优 3.2.1 mapreduce.task.io.sort.mb(default:1 ...
Hive ETL 任务调优（参数篇）
Hive 调优-参数篇图片来源网络,点赞工作中常用的 hive 参数调优,整理如下. 原则: 最少数据最少字段最少Job数最少读取次数避免数据倾斜整体最优而不是局部最优 JVM 内存文 ...
Hive ETL 优化（参数篇）
Hive 调优-参数篇 image.png <** 工作中常用的 hive 参数调优,整理如下. 原则: 最少数据最少字段最少Job数最少读取次数避免数据倾斜整体最优而不是局部最优 J ...
优化 Hive ETL 任务(参数篇)
精选30+云产品,助力企业轻松上云!>>> 点击蓝色"大数据每日哔哔"关注我加个"星标",第一时间获取大数据架构,实战经验图片来源网络,点 ...