Yarn on K8S 的弹性介绍

开源大数据社区 & 阿里云 EMR 系列直播第十期

主题：Yarn on K8S 的弹性介绍

讲师：霁谦，开源大数据平台高级开发工程师

内容框架：

背景介绍
演进思路
总结和展望

直播回放：扫描文章底部二维码加入钉群观看回放

背景介绍

为什么要使用 Yarn on K8S

作为在离线混部方案
充分利用在离线计算资源
不同集群计算资源共享，缓解“潮汐现象”
推进云原生方案快速落地

演进思路

阶段1：简单部署

局限性：

NMPod 挂载固定盘
NM 资源固定
规则固定
人工维护成本高

阶段2：节点资源感知

NM 支持弹性资源
主动驱逐 Container
RM 调度优化

节点资源感知-- 扩容

NM 通过 list&watch 机制，获取节点可用资源，并且汇报 RM，从而实现动态扩缩容以及资源超发

节点资源感知-缩容

NM 通过 list&watch 机制，获取节点可用资源，需要缩容的话，如果当前使用量超过可分配量，按照策略触发 container 驱逐

阶段3：存算分离

Spark native on k8s：k8s 调度 spark driver 和 executor pod，使用 RSS 支持存算分离
Yarn on k8s NM 存算分离：支持 Tez on RSS

阶段4：灵活的集群弹性伸缩

支持弹性伸缩：动态感知集群负载

总结和展望

总结

打通 K8S 节点感知和 yarn 资源动态上报，以解决节点资源使用冲突，平衡集群内的节点资源使用
提供 RSS 存算分离服务解决 K8S 调度节点本地盘依赖问题，更好的支持计算引擎层 native云原生
通过单独的 auto scaler 服务，提供集群资源横向动态扩缩容，灵活的分时错峰调度能力

展望

在 K8S 的基础上提供更完善的调度策略，如多级队列
使用 Node label 机制为不同级别的在线任务提供资源和集群扩缩容服务
改进 Yarn RM 在扩缩容场景下遇到的调度性能稳定性问题

对应产品介绍，可以直接点击文章下方阅读原文观看视频，也可以扫描文章底部钉钉群二维码，进群观看直播回放哦！

END

阿里巴巴开源大数据技术团队成立交流社区，定期推送精彩案例，技术专家直播，问答区技术同学在线提问答疑，只为营造纯粹的技术交流氛围，欢迎钉钉扫码加入！

????戳阅读原文，快速回看直播视频~

Yarn on K8S 的弹性介绍相关推荐

k8s控制器模式介绍
k8s控制器模式介绍
K8S实战集训第一课 Ansible自动化部署k8s、弹性伸缩、Helm包管理、k8s网络模型介绍
Ansible自动化部署K8S集群一.Ansible自动化部署K8S集群 1.1 Ansible介绍 Ansible是一种IT自动化工具.它可以配置系统,部署软件以及协调更高级的IT任务,例如持续部 ...
Rancher Prime 为平台工程提供面向 K8s 的弹性能力
作者简介张应罗,SUSE 资深架构师,拥有 16 年架构咨询工作经验,专注于 SUSE Enterprise Container Management 相关的产品落地方案及咨询方案设计. 平台工程 ...
k8s核心组件详细介绍教程（配超详细实例演示）
本文实验环境基于上篇文章手把手从零开始搭建k8s集群超详细教程本文根据B站课程云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps学习总结而来 k8s核心组件介绍 1 ...
云原生及k8s组件简单介绍
一.云原生云原生景观图: https://landscape.cncf.io/ cncf官网: https://www.cncf.io/projects/ Graduated 毕业项目,可在生产中使 ...
SuperMap iManager k8s许可模块介绍
版本划分 SuperMap iManager k8s产品是由超图研究院自主研发,集GIS应用环境监控.智能运维.GIS云套件.大数据环境为一体的全面运维管理中心. SuperMap iManager ...
k8s mysql 弹性_kubernetes云平台管理实战：k8s弹性伸缩（十八）
一.什么是弹性伸缩 Horizontal Pod Autoscaler的操作对象是Replication Controller.ReplicaSet或Deployment对应的Pod,根据观察到的CP ...
K8s 原理架构介绍(一)
一.Kubernetes 是什么 Kubernetes是当今最流行的开源容器管理平台,它就是大名鼎鼎的Google Borg的开源版本.Google在2014年推出了Kubernetes,本文发布时最 ...
Spark中，RDD概述（五大属性，弹性介绍，5个特性）
1 什么是RDD RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark 中最基本的数据抽象,它代表一个不可变.可分区.里面的元素可并行计算的集合.在Spa ...

Yarn on K8S 的弹性介绍

Yarn on K8S 的弹性介绍相关推荐

最新文章

热门文章