HDP 2.6.5配置yarn的CGroups

一、前提

CGroups是linux内核的特性，支持CGroups的操作系统有：
1. Centos 6.5 7.3
2. RHEL 6.9 7.3
3. SUSE 12
4. Ubuntu 16
CGroups默认在HDP中没有enable，同时CGroups的启用需要HDP集群启用kerberos；

二、启用CGroups

1. 为了配置CGroups的层次结构，必须在nodemanager服务器每次重启后运行如下命令：

mkdir -p /sys/fs/cgroup/cpu/yarn

chown -R yarn /sys/fs/cgroup/cpu/yarn

mkdir -p /sys/fs/cgroup/memory/yarn

chown -R yarn /sys/fs/cgroup/memory/yarn

mkdir -p /sys/fs/cgroup/blkio/yarn

chown -R yarn /sys/fs/cgroup/blkio/yarn

mkdir -p /sys/fs/cgroup/net_cls/yarn

chown -R yarn /sys/fs/cgroup/net_cls/yarn

2. 然后在yarn的配置中CPU隔离处enable

ambari会自动修改相应配置；

对应非ambari管理的HDP，需要修改如下配置：

yarn.nodemanager.container-executor.class -----> org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor

yarn.nodemanager.linux-container-executor.group -----> hadoop

yarn.nodemanager.linux-container-executor.resources-handler.class --> org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler

yarn.nodemanager.linux-container-executor.cgroups.hierarchy -----> /yarn

yarn.nodemanager.linux-container-executor.cgroups.mount -----> false

yarn.nodemanager.linux-container-executor.cgroups.mount-path -----> /sys/fs/cgroup

yarn.nodemanager.resource.percentage-physical-cpu-limit -----> 100

3.如果集群没有启用kerberos，会报如下警告：

4.修改完配置后重启yarn服务即可完成CGroups配置。

HDP 2.6.5配置yarn的CGroups相关推荐

0353-如何使用curl命令调用CM的API动态配置Yarn资源池
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图. Fayson的github: https://github.com/fayson/cdhproject 提示 ...
解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住
解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住错误信息: 21/06/24 18:56:40 WARN util.NativeCodeLoader: Unable ...
hadoop 3 配置yarn
配置在目录/root/apps/jdk1.8.0_191/bin中修改yarn-site.xml文件 <configuration> <!-- Site specific YARN ...
CDH 配置YARN动态资源池的计划模式，根据时间划分资源，不同时间不同队列使用不同资源
公平调度配置可参考:http://datamining.blog.csdn.net/article/details/94554469 目录计划模式设置队列资源抢占分配计划模式设置 1.创建计划规 ...
配置yarn下载源_npm、yarn 常用镜像源配置
# 原npm镜像源 https://registry.npmjs.org/ npm config set registry https://registry.npm.taobao.org npm co ...
yarn降版本_Yarn配置
参数名参数值描述在在平台情况.在哪个文件 hdp apache yarn.resourcemanager.am.max-attempts 2 http地址 yarn.resourcemanage ...
YARN的内存和CPU配置优化
2019独角兽企业重金招聘Python工程师标准>>> Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用. YARN作为一个资源 ...
详解Yarn中三种资源调度器（FIFO Scheduler、Capacity Scheduler、Fair Scheduler）和配置自定义队列实现任务提交不同队列
前言在前面 Yarn的基本架构和作业提交全流程一文中提到,当ResourceManager收到客户端Client的请求之后会将该作业job添加到(默认的)容量调度器中,然后再由某一个空闲的Node ...
详解 YARN的内存和CPU配置
一:简单介绍 Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用. YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据ap ...

HDP 2.6.5配置yarn的CGroups

HDP 2.6.5配置yarn的CGroups相关推荐

最新文章

热门文章