CDH集群中YARN的参数配置
为什么80%的码农都做不了架构师?>>>
CDH集群中YARN的参数配置
前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中,同时集成了MapReduceV1和MapReduceV2(Yarn)两个版本,如果集群中需要使用Yarn做统一的资源调度,建议使用Yarn。 CDH对Yarn的部分参数做了少了修改,并且添加了相关的中文说明,本文着重介绍了CDH中相比 MapReduceV1一些参数改动的配置。 一、CPU配置 ApplicationMaster虚拟 CPU 内核 yarn.app.mapreduce.am.resource.cpu-vcores // ApplicationMaster占用的cpu内核数(Gateway--资源管理) 容器虚拟 CPU 内核 yarn.nodemanager.resource.cpu-vcores //单 个NodeManager 最大能分配的cpu核数(NodeManager --资源管理) 结论:当前 nodemanager 申请的 ApplicationMaster数总 和小于 nodemanager最大cpu内核数 二、内存配置 容器内存 yarn.nodemanager.resource.memory-mb //单个NodeManager能分配的最大内存(NodeManager --资源管理) //Memory Total= 单个NodeManager内存 * 节点数 结论:提交任务占用内存Memory Used 小于Memory Total Map 任务内存 mapreduce.map.memory.mb //为作业的每个 Map 任务分配的物理内存量 (Gateway--资源管理 ) 结论:map或reduce的内存需求不大于appmaster的内存需求 最大容器内存 yarn.scheduler.maximum-allocation-mb //单个任务可申请最大内存 (ResourceManager--资源管理 ) 三、同一个Map或者Reduce 并行执行 Map 任务推理执行 mapreduce.map.speculative //Gateway Reduce 任务推理执行 mapreduce.reduce.speculative //Gateway 四、JVM重用 启用 Ubertask 优化 : mapreduce.job.ubertask.enable | (默认false) //true则表示启用jvm重用(Gateway--性能) jvm重用的决定参数如下: Ubertask最大 Map mapreduce.job.ubertask.maxmaps //超过多少个map启用jvm重用(Gateway--性能) Ubertask最大 Reduce mapreduce.job.ubertask.maxreduces //超过多少 Reduce 启用jvm重用,目前支持1个 (Gateway--性能) Ubertask最大作业大小 mapreduce.job.ubertask.maxbytes //application的输入大小的阀值,默认为 block大小(Gateway--性能) 五、其他参数 给spark加日志编辑 spark-defaults.conf spark.yarn.historyServer.address=http://cloud003:18080/ |
更多精彩内容请关注:http://bbs.superwu.cn
关注超人学院微信二维码:
关注超人学院java免费学习交流群:
转载于:https://my.oschina.net/crxy/blog/422341
CDH集群中YARN的参数配置相关推荐
- skynet给集群中的一个节点配置多个通道
在skynet框架中使用cluster模式,经常有消息在节点之间传递.大部分情况,我们在节点A和节点B之间只需要建立一个连接通道,但是在有些时候我们希望让一些比较独立的业务能占用一条单独的通道进行处理 ...
- CDH集群中HDFS单点故障解决方案:HA模式(High Availability)
CDH集群开发HDFS的High Avaliability模式 Step1 什么是单点故障? Step2 HDFS为什么会出现单点故障?它是怎么解决的? Step3 开启HDFS的高可用(High A ...
- cdh集群linux命令,CDH集群中,服务器启动spark2-shell命令行注意事项
1.环境 cdh5.12.3 spark2 2.3.0 2.需要本地地洞spark2-shell用于环境测试 错误一:Error: A JNI error has occurred, please c ...
- 容器编排技术 -- Kubernetes 重新配置活动集群中节点的 Kubelet
容器编排技术 -- Kubernetes 重新配置活动集群中节点的 Kubelet 1 Before you begin 2 重新配置集群活动节点上的 Kubelet 2.1 基本工作流程概览 2.2 ...
- kill 进程_05516.1普通用户配置kill CDH集群进程权限
作者:李继武 1 文档编写目的 在前面的文章<0548-5.13.1-如何使用普通用户管理CM server和agent服务>解决了只能使用普通用户来管理CM和Agent服务的需求.本文档 ...
- 想提高运维效率,那就把MySQL数据库部署到Kubernetes 集群中
摘要:Kubernetes 很多看起来比较"繁琐"的设计的主要目的,都是希望为开发者提供更多的"可扩展性",给使用者带来更多的"稳定性"和& ...
- CDH集群搭建(CDH 6.0.1)
CDH集群安装步骤 参考文章 安装前准备 配置网络名称 禁用防火墙 设置SELinux模式 启用NTP服务 配置集群ssh免密登录 安装 安装jdk 安装服务和配置TLS 安装服务 配置TLS 安装并 ...
- 从零搭建生产Hadoop集群(五)——CDH集群修改主机名与IP
从零搭建生产Hadoop集群(五)--CDH集群修改主机名与IP 一.概述 二.完整步骤 1.官网推荐步骤: (1)验证下SSL/TLS认证是否所有服务都有配备,确认创建新的SSL/TLS认证. (2 ...
- 《Hadoop集群与安全》一2.1 在Hadoop集群中配置操作系统
本节书摘来自华章出版社<Hadoop集群与安全>一书中的第2章,第2.1节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区& ...
最新文章
- 10分钟学会使用YOLO及Opencv实现目标检测
- C++ algorithm库中的几个常用函数(swap,reverse,sort)
- Rocketmq原理最佳实践
- Activity与Intent
- linux各种压缩包使用方法
- interface接口_接口 interface
- 错误异常处理 小数格式化,取证与四舍五入 random处理 日期与时间常用操作
- 【计算机组成原理】I/O设备
- 图文解说:Discuz论坛基础设置第一弹
- ubuntu系统编译sh出错 默认dash不是bash
- TensorFlow/Python的一个范例代码及阅读说明
- Unity3D脚本中文系列教程(十四)
- dev c语言清屏函数,Devc++中清屏函数为什么不行?
- jquery版本之间的冲突
- Python练习题——快乐数字
- Paypal Payments REST API支付 沙箱测试 php版本
- unity帧动画事件多次播放
- iOS 5 故事板入门(2)
- Android 十大布局
- word分页符的删除
热门文章
- Linux 爱好者的飞行棋:sudo
- 《高级无线网络—4G技术》——1.3 混合4G无线网络协议
- 7 种常用的排序算法直观感受
- win7怎么去除快捷方式的小箭头
- JSP是不是Java发展史上的一大败笔?
- pgp加密软件的简单使用
- 架构师之路 — API 经济 — Web、HTTP Server、API Service、Application
- ETSI GS MEC 016,Device application interface
- 5G NGC — AF 的 Service information
- 云计算技术 — OpenStack v.s. Kubernetes