第1节 yarn：15、关于yarn中常用的参数设置

2024-05-12 13:18:36

第一个参数：container分配最小内存

yarn.scheduler.minimum-allocation-mb 1024 给应用程序container分配的最小内存

第二个参数：container分配最大内存

yarn.scheduler.maximum-allocation-mb 8192 给应用程序container分配的最大内存

第三个参数：每个container的最小虚拟内核个数

yarn.scheduler.minimum-allocation-vcores 1 每个container默认给分配的最小的虚拟内核个数

第四个参数：每个container的最大虚拟内核个数

yarn.scheduler.maximum-allocation-vcores 32 每个container可以分配的最大的虚拟内核的个数

第五个参数：nodeManager可以分配的内存大小

yarn.nodemanager.resource.memory-mb 8192 nodemanager可以分配的最大内存大小，默认8192Mb

在我们浏览yarn的管理界面的时候会发现一个问题

我们可以在yarn-site.xml当中修改以下两个参数来改变默认值。

定义每台机器的内存使用大小

yarn.nodemanager.resource.memory-mb

8192

定义每台机器的虚拟内核使用大小

yarn.nodemanager.resource.cpu-vcores

8

定义交换区空间可以使用的大小（交换区空间就是讲一块硬盘拿出来做内存使用）

这里指定的是nodemanager的2.1倍

yarn.nodemanager.vmem-pmem-ratio

2.1

=================================================================================

总结回顾：

尽量搞定：
1、共同好友：求取哪些人两两之间有共同好友，需要使用两个mapreduce来实现
2、倒排索引的建立某个单词在文章当中出现了多少次
3、自定义inputFormat合并小文件合并小文件成sequenceFile 使用SequenceFileOutputFormat来将我们的文件输出成sequenceFile
4、自定义outputformat 将我们的数据输出到不同的目录下面去
5、分组求取topN 自定义groupingComparator实现我们分组求TopN

mapreduce的其他补充：了解
mapreduce的参数优化：随便背两个
yarn资源调度：三种调度器得要知道

转载于:https://www.cnblogs.com/mediocreWorld/p/11042767.html

第1节 yarn：15、关于yarn中常用的参数设置相关推荐

oracle自动分区maxvalue,分区表中的maxvalue参数设置-Oracle
分区表中的maxvalue参数设置结论:partition p3 values less than (maxvalue) 分区表中maxvalue如果用具体参数来代替,则整个表中可插入的最大值不 ...
Swift语言中为外部参数设置默认值可变参数常量参数变量参数输入输出参数
Swift语言中为外部参数设置默认值可变参数常量参数变量参数输入输出参数 7.4.4 为外部参数设置默认值开发者也可以对外部参数设置默认值.这时,调用的时候,也可以省略参数传递本文选自Swift ...
ansys的kbc_ANSYS中接触单元参数设置要点
ANSYS中接触单元参数设置要点一.ANSYS接触单元几个关键选项的含义 The element KEYOPTS allow you to control several aspects of co ...
Linux中高斯分布的参数设置,华为openGauss 配置操作系统参数
openGauss要求各主机上的操作系统参数设置成一定的值,以满足系统运行的性能要求等. 这些参数有些会在openGauss安装环境准备阶段完成设置,且这些参数将直接影响openGauss的运行状态, ...
edius软件中常用工程的设置千万别搞错视频场
http://blog.sina.com.cn/s/blog_51b13e780101j2gp.html 剪辑软件是剪辑师的工具,工具怎么用首先要看你用来做什么.在分享edius6的工程设置之前我.先 ...
ORB-SLAM源码中的相机参数设置
在github看到很多关于相机参数设置的的讨论, 这一篇就是对看到的内容做一个整理和总结, 一. 易混淆概念 1.Camera.bf 根据文档的注释,这个参数是指的:基线距离(单位:米) * fx(单 ...
在lammps模拟中常用的模拟设置
文章目录 1.不同原子类型的data文件比较 2.region命令中如何选择合适的单位 3.如何给分子建立分组 4.如何将正交box转为斜交box 5.如何实现工件的旋转模拟 6.常用的刚体.固定及弹 ...
Appium中Desired Capabilities参数设置
参考: Appium(五):Desired Capabilities Appium Desired Capabilities 1. 平台通用参数设置 Desired Capabilities简单来说就 ...
courant数_CFD中常用的参数介绍 | 坐倚北风
1.斯特劳哈尔数(Strouhal number) 斯特劳哈尔数(Strouhal number)是在流体力学中讨论物理相似与模化时引入的相似准则.在考虑具有特征频率的圆周运动时使用斯特劳哈尔数St: ...

最新文章

热门文章