手工计算YARN和MapReduce、tez内存配置设置

1.1.HDP YARN MapReduce参数调优建议

转自：https://blog.csdn.net/mnasd/article/details/81202908

1.1.1.RM的内存资源配置，配置的是资源调度相关

RM1：yarn.scheduler.minimum-allocation-mb 分配给AM单个容器可申请的最小内存（默认是1G）
RM2：yarn.scheduler.maximum-allocation-mb 分配给AM单个容器可申请的最大内存（默认是yarn.nodemanager.resource.memory-mb的值）

注：
最小值可以计算一个节点最大Container数量（可以适当调大一些，比如2GB）
一旦设置，不可动态改变

1.1.2.NM的内存资源配置，配置的是硬件资源相关

NM1：yarn.nodemanager.resource.memory-mb 节点最大可用内存
NM2：yarn.nodemanager.vmem-pmem-ratio 虚拟内存率，默认2.1 （可以是5，有些场景下如果内存不足，会导致任务跑失败）

注：
RM1、RM2的值均不能大于NM1的值
NM1可以计算节点最大最大Container数量，max(Container)=NM1/RM2

一旦设置，不可动态改变

1.1.3.AM内存配置相关参数，配置的是任务相关

手工计算YARN和MapReduce、tez内存配置设置相关推荐

Yarn简单介绍及内存配置
在这篇博客中,主要介绍了Yarn对MRv1的改进,以及Yarn简单的内存配置和Yarn的资源抽象container. 我么知道MRv1存在的主要问题是:在运行时,JobTracker既负责资源管理又负 ...
Flink部署——内存配置
文章目录配置 Flink 进程的内存配置总内存 JVM 参数受限的等比内存部分配置 TaskManager 内存配置总内存配置堆内存和托管内存任务(算子)堆内存(Task (Operat ...
tomcat 内存配置学习总结
修改 tomcat 内存 http://www.cnblogs.com/quietwalk/archive/2012/11/05/2755199.html 在Jetty 的VM参数中设置: -Xms ...
怎样通过Java程序提交yarn的mapreduce计算任务
因为项目需求,须要通过Java程序提交Yarn的MapReduce的计算任务.与一般的通过Jar包提交MapReduce任务不同,通过程序提交MapReduce任务须要有点小变动.详见下面代码. 下面 ...
hive3编译 on tez+tez-ui配置和遇到的兼容问题与踩坑记录
框架版本号 Hadoop 3.1.3 Hive 3.1.2 Tez 0.10.1 需要资料包的可以关注我微信公众号(最底有二维码),回复关键字"tez"领取 tez是一个Hive ...
Hadoop核心组件详解—HDFS、YARN、MapReduce
Hadoop 是一个开源的分布式计算和存储框架,它的作用非常简单,就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境,并能为其他分布式应用服务提供平台支持,相当于在某种程度上将多台计算机组织成 ...
Hadoop、分布式文件系统HDFS、YARN、MAPREDUCE
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 1.1 什么是Hadoop Hadoop名字的由来作者:Do ...
经典MapReduce作业和Yarn上MapReduce作业运行机制
一.经典MapReduce的作业运行机制如下图是经典MapReduce作业的工作原理: 1.1 经典MapReduce作业的实体经典MapReduce作业运行过程包含的实体: 客户端,提交MapR ...
大数据计算的基石——MapReduce
MapReduce Google File System提供了大数据存储的方案,这也为后来HDFS提供了理论依据,但是在大数据存储之上的大数据计算则不得不提到MapReduce. 虽然现在通过框架的不 ...