Mapreduce和yarn-内存设置

2019独角兽企业重金招聘Python工程师标准>>>

hadoop2.5,kylin2.1，ambari

在使用kylin的cube做build数据时，运行mapreduce的job，总会报jvm内存溢出。

于是就想到优化配置参数，查了很多资料，最后总结了一下。

1.Yarn里只有一个RM（ResourceManager）作为集群管理和统一资源管理和调度

AM（ApplicationMaster）：负责应用程序管理

NM（NodeManager）：负责单节点资源管理

Scheduler：负责集群调度

Container：对（节点，内存，CPU）等进行资源抽象

以上：

设计到内存配置

yarn：

yarn.nodemanager.resource.memory.mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb

mapreduce:

mapreduce.map.memory.mb
            mapreduce.reduce.memory.mb
            mapreduce.reduce.java.opts
            mapreduce.map.java.opts
            mapreduce.task.io.sort.mb

在配置上：例如通过 free -g 查看内存：20g

yarn.nodemanager.resource.memory.mb=16g
yarn.scheduler.minimum-allocation-mb=1g
yarn.scheduler.maximum-allocation-mb=16g

yarn.nodemanager.resource.memory.mb和 yarn.scheduler.maximum-allocation-mb内存要一样，并且留4g内存给系统

mapreduce.map.memory.mb=6g
            mapreduce.reduce.memory.mb=12g
            mapreduce.reduce.java.opts=6g
            mapreduce.map.java.opts=3g
            mapreduce.task.io.sort.mb=2g

mapreduce.reduce.memory.mb要小于yarn.scheduler.maximum-allocation-mb（最好在80%），要大于yarn.scheduler.minimum-allocation-mb

mapreduce.map.memory.mb要是mapreduce.reduce.memory.mb的一半

mapreduce.reduce.java.opts要是mapreduce.reduce.memory.mb的一半

mapreduce.map.java.opts要是mapreduce.map.memory.mb的一半

mapreduce.task.io.sort.mb一般不要超过JVM

JVM重用：

加入以上参数

mapreduce.job.ubertask.enable

mapreduce.job.ubertask.maxmaps

mapreduce.job.ubertask.maxreduces

转载于:https://my.oschina.net/ilovetao/blog/1559105

Mapreduce和yarn-内存设置相关推荐

MapReduce之如何给运行在YARN上的MapReduce作业配置内存
关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情,单独查任何一个资料都不能很好的理解透彻.于是,最近查了大量的资料,综合各种解释,终于理解到了一个比较清晰的程度,在这里将 ...
mapreduce on yarn简单内存分配解释
https://www.cnblogs.com/yesecangqiong/p/6274427.html 关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情,单独查任何一个 ...
Hadoop Yarn内存使用优化配置
第一部分Hadoop Yarn内存使用优化配置在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduc ...
Yarn 内存分配管理机制及相关参数配置
理解Yarn的内存管理与分配机制,对于我们搭建.部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考. 一.相关配置情况关于Yarn内存分配与管理,主要涉及到了ResourceM ...
Mapreduce和Yarn概念，参数优化，作用，原理，MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)
3.3. MapReduce与YARN 3.3.1 YARN概述 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运 ...
Spark On YARN内存分配
本文主要了解Spark On YARN部署模式下的内存分配情况,因为没有深入研究Spark的源代码,所以只能根据日志去看相关的源代码,从而了解"为什么会这样,为什么会那样". 说明 ...
Mapreduce和Yarn概念，参数优化，作用，原理，MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)...
3.3. MapReduce与YARN 3.3.1 YARN概述 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运 ...
浅显易懂入门大数据系列：二、MapReduce、YARN（超详细）
文章目录一.MapReduce概念及架构 MapReduce的定义 MapReduce的特点 MapReduce的架构二.YARN的背景及架构产生YARN的背景 YARN的架构三.YARN的调 ...
一幅长文细学华为MRS大数据开发（五）——MapReduce和Yarn
5 MapReduce和Yarn 摘要:本文中主要讲述大数据领域中最著名的批处理和离线处理计算框架--MapReduce,包括MapReduce的原理.流程.使用场景,以及Hadoop集群中负责统一的 ...
大数据知识面试题-MapReduce和YARN（2022版）
序列号内容链接 1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089 2 大数据知识面试 ...

Mapreduce和yarn-内存设置

Mapreduce和yarn-内存设置相关推荐

最新文章

热门文章