京东杨业飞：京东云原生大规模实践之路
嘉宾 | 杨业飞
出品 | CSDN云原生
2022年9月22日，在中国信通院、腾讯云、FinOps产业标准工作组联合发起的《原动力x云原生正发声 降本增效大讲堂》系列直播活动第9讲上，京东云JDOS研发组架构师杨业飞分享了京东的云原生大规模实践。本文整理自杨业飞的分享。
阿基米德调度
京东JDOS技术演进
JDOS是京东的容器管理平台、统一的云原生技术底座，当前京东的内部业务均运行在JDOS平台上。
2014-2016年，JDOS 1.0容器化
针对物理机部署资源利用率低、应用资源无法隔离、应用无隔离等问题，JDOS 1.0阶段通过OpenStack + Docker胖容器部署的技术方案，增加部署密度，将宿主机平均使用率从10%提升到15%并增强隔离性，使应用资源更可控、应用迁移更便利。
2017-2018年，JDOS 2.0阿基米德调度
针对1.0时期服务器资源采购受限、资源利用率有待提升、资源使用不均衡等问题，JDOS 2.0阶段增加Kubernetes与阿基米德调度，实现宿主机平均使用率从15%提升至30%，并大幅减少服务器数量，节省采购成本。
2019至今，JDOS 3.0 Serverless+混部
针对2.0时期应用上下线成本高、在线集群非高峰段资源利用率不高等问题，JDOS 3.0阶段通过跨集群Serverless与混部的结合，降低部署成本，给大数据和业务提供了充足的资源。
阿基米德调度
在京东应用场景下，原生调度器存在资源使用率不均、任务分配不均以及调度速度较慢等问题，于是我们基于阿基米德调度，对诸多功能做了改造与升级。
基于预测的智能调度：依托京东大数据，利用机器学习、深度学习算法，对应用的资源使用情况进行画像统计，并能对应用的未来资源使用情况进行预测，将在线与离线应用合理地进行混合调度部署，保护节点负载。
调度过程可视化及热点分析：调度过程可见，调度历史全程可追溯，热点机器形成原因实时分析，并出具分析报告。
调度器仿真系统及回放功能：通过模拟器 + 线上数据回放，对调度请求进行仿真模拟，形成新的数据建模，并优化调度方案，为智能调度提供更优方案。
应用维度均衡策略：应用密度控制、基于SLA等级调度、基于监控数据的应用反亲和。
应用密度提升：充分利用申请与实际使用差距提升Pod部署密度。
调度速度优化： 调度策略/过程调整/优化 + 调度策略Pod级别可配 + 调度预测/快速失败机制。
跨集群Serverless
业务方面存在跨集群甚至跨机房的容灾模式需求，同时平台管理员也希望能够打破各集群的资源孤岛状态，实现良好的资源调度分配。于是，我们基于以上需求推出了跨集群Serverless方案。
全局资源预测
基于资源管理系统提前预测各集群可调度副本数，基于用户策略（集中/分散/跨集群/跨机房）决策各个集群副本数量。
及时弹性策略
支持定时、实时指标弹性扩缩策略、历史指标弹性扩缩策略，实时扩，延时缩。
实例启停速度优化
通过P2P提升镜像下载速度，基于NPD + 故障探测脚本，解决启动、销毁过程中的阻塞点，启动销毁速度控制在秒级。
跨集群LB
基于高性能DPDK支持权重动态调节，就近解析、就近转发。
应用流量挂载
自动挂载LB、JSF等流量，支持状态预热、IP白名单等前置资源自动处理能力。
故障自动恢复
可靠的故障探测恢复系统，若本集群一直达不到可用状态，会尝试跨集群重调度。
智能缩容
基于Node评分状态，进行缩容操作，如使用率、特征匹配程度等指标。
离在线混部
离在线混部的核心在于调度与隔离，调度从全局维度保证资源的合理分配，隔离则能有效减少业务之间的相互干扰。
离线资源识别
离线资源通过识别空闲资源而获得，不抢占在线可用资源Quota；
空闲资源 = 未申请资源 + 申请未使用资源 + 系统预留资源 - （节点资源 * 全局预留水位）；
未使用资源识别：通过过去7天数据预测未来五分钟95分位数获得。
资源隔离
CPU：超线程压制、LLC隔离、尽量NUMA绑定；
内存：在节点内存紧张时，优先OOM离线任务再OOM在线任务，离在线分别按优先级进行OOM；
磁盘：支持磁盘Direct IO/Buffer IO限速，支持按照权重、绝对值对磁盘吞吐/IOPS进行限制；
网络：网络带宽支持权重、绝对值限制，避免宿主机、交换机带宽打满，影响在线业务；
离线大框：离线资源统一大框管理，离线作业充分利用空闲资源，整体把控性强。
水位线压制
cpuUsageSafeRatio：全局资源使用的安全水位线，整机使用资源不可超过该水位线，若超过该水位线，优先对离线任务进行压制；
offlineTaskTotalQuota：离线任务总Quota，用来限制单机所有离线任务可以使用的CPU资源总量；
offlineTaskMinQuota：离线任务最低资源保障，offlineTaskTotalQuota不会低于该值，用来保障离线任务的正常运行。
驱逐
复杂的应用场景难以规避业务之间干扰的存在，当干扰出现时，可采用驱逐的手段保障机器正常作业以及任务正常运行。
任务干扰、机器热点、资源均衡场景下的驱逐，多基于任务优先级、任务计算进度等指标进行，在驱逐后进行调度冷却处理。
监控
仅对常规指标进行收集监控已无法满足应用场景的高复杂性，还需挖掘更深层次的监控维度。
常规指标：CPU、内存、磁盘、网络等。
干扰指标：压制频率/程度、CPI、PSI等。
相关性：相关性学习、分析指标等。
健康度分析：对节点进行健康度检查与分析，对于不正常的节点，出具健康度诊断报告。
京东云原生技术体系
综上所述，在提升集群资源利用率方面，京东 云原生技术体系围绕四个方面展开：
阿基米德调度
通过全局与全时段的资源预测分配策略，全局把控服务质量。
跨集群Serverless
降低用户使用成本，实现在线资源二次均衡，弥补一次调度时产生的偏差。
离在线混部
通过多维度资源隔离、有效实时压制以及策略驱逐，保证离在线任务的同步部署，提高集群资源使用率。
统一资源管理系统
资源预测，节点分类/打分/健康度分析。
【原动力×云原生正发声降本增效大讲堂】第一期聚焦在优秀实践方法论、资源与弹性、架构设计；第二期聚焦全场景在离线混部、K8s GPU资源效率提升、K8s资源拓扑感知调度主题；第三期邀请4家业界知名企业分享各企业云原生降本增效技术实践，为开发者带来更多样化场景业务下的技术干货。扫描下方二维码或点击『阅读原文』进入活动专题，带你体验云原生降本增效实践案例、了解如何解决企业用云痛点、掌握降本增效关键技能……
END
CSDN志愿者计划正在招募
嘉宾 | 杨业飞 出品 | CSDN云原生 2022年9月22日,在中国信通院.腾讯云.FinOps产业标准工作组联合发起的<原动力x云原生正发声 降本增效大讲堂>系列直播活动第9讲上,京 ... 通常谈到大数据,想到的是大数据平台.Hadoop生态或者数据湖技术,关注于大数据存储.大数据计算方向上的技术发展与应用:谈到云原生,想到的是微服务架构.容器化或者SRE(Site Reliabilit ... 12 月 23 日,由阿里云主办的 "2020 云原生实战峰会" 盛大开幕,此次峰会以"原生加速·数创升级"为主题,峰会主论坛上德勤中国合伙人刘俊龙.阿里云云原 ... 来源|阿里巴巴云原生公众号 复制链接到浏览器完成下载或分享:https://developer.aliyun.com/topic/download?id=1055 11 月 11 日零点零分 26 秒 ... 以"云"为核心的软件研发思想,正逐步成为所有开发者的默认选项.像 Kubernetes 等云原生技术正在成为技术人员的必修课,大量的工作岗位正在涌现出来.2020 年,云原生技术大 ... 7月15日,阿里云高级技术专家李晓成在2020亚太内容分发大会上发表<面向5G的云网一体及云原生应用实践>主题演讲,从边缘计算产业机遇与挑战来解读阿里云边缘计算的布局,并分享阿里云在云网一 ... 魏新宇 读完需要 7 分钟 速读仅需 3 分钟 魏新宇,红帽资深解决方案架构师.在 IaaS.PaaS 方面有丰富的经验,致力于开源解决方案在企业中的推广和应用.从售前角度主导了红帽在金融.汽车行业的 ... 9月20日,2018云原生技术实践峰会(Cloud Native Best Practices Summit)在北京悠唐皇冠假日酒店成功落幕.本次大会是云原生技术实践联盟(CNBPA)和灵雀云联合主办 ... 1. 背景 Cloud Native 这个名词最近几年一直很火,Pivotal和CNCF 都出过相关的定义,但本质都是为了引导应用在业务日益复杂多变的场景下可以更好地利用云基建,做到更加敏捷高效.20 ...京东杨业飞：京东云原生大规模实践之路相关推荐
最新文章
热门文章