未来云原生世界的“领头羊”：容器批量计算项目Volcano 1.0版本发布

在刚刚结束的CLOUD NATIVE+ OPEN SOURCE Virtual Summit China 2020上，由华为云云原生团队主导的容器批量计算项目Volcano正式发布1.0版本，标志着Volcano项目已经开始走向成熟与稳定。

Volcano项目介绍

Volcano是基于Kubernetes的云原生批量计算引擎，基于华为云在AI、大数据领域的深厚业务积累，补齐了Kubernetes在面向AI、大数据、高性能计算等批量计算任务调度、编排等场景下的短板，向下支持鲲鹏、昇腾、X86等多元算力，向上使能TensorFlow、Spark、华为MindSpore等主流行业计算框架，让数据科学家和算法工程师充分享受到云原生技术所带来的高效计算与极致体验。

Volcano架构示意图

随着Kubernetes作为AI、大数据和高性能批量计算的下一代基础设施的趋势逐渐清晰，越来越多的企业对Kubernetes在深度学习、科学计算、高性能渲染等方面提出了更高的要求。

然而Kubernetes作为普适的容器化解决方案，仍与业务诉求存在一定差距，主要体现在：

K8s的原生调度功能无法满足计算要求
K8s作业管理能力无法满足AI训练的复杂诉求
数据管理方面，缺少计算侧数据缓存能力，数据位置感知等功能
资源管理方面缺少分时共享，利用率低
硬件异构能力弱

Volcano的诞生正是基于这些痛点，在调度、作业管理、数据管理、资源管理四个方面进行了重点优化。

增强了任务调度能力，如公平的调度（fair-share）、组调度（gang-scheduling）
进一步优化了作业管理能力,如multiple pod template能力、更灵活的error handling机制
增加计算侧数据缓存，提升数据的传输与读取效率
引入多维度的综合评分机制，实现资源更高效的管理和分配
多元算力支持：支持x86、鲲鹏和昇腾等算力

Volcano项目进展时间轴

Volcano v1.0新特性介绍

Volcano v1.0的核心概念和关键特性，主要包含以下要点：

Queue、PodGroup、Volcano Job等核心概念均已实现
支持Binpack、Conformance、DRF、Gang、Preempt、Reclaim、Priority、Proportion等多种调度策略
支持Rest API、CLI等多种交互方式
完成与Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore等主流高性能计算框架的无缝对接
支持Job的全生命周期管理和动态扩缩容
支持GPU异构与共享
完备的golangCI-lint check、e2e以建立增强代码质量和稳定性

除以上特性外，Volcano始终保持与Kubernetes社区、Golang最新版本保持一致。

Volcano社区和生态建设进展

经过一年多的发展，Volcano的社区和生态建设已经步入快车道。截至目前，社区和生态建设取得了以下成绩：

社区贡献者80+
社区贡献参与组织15+，包括华为、百度、腾讯、AWS、IBM、 Oracle等
获得Star 1100+，Fork 220+
代码库7个，Release 6个
Issue 320+，PR 590+
已完成对Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore、Cromwell等10+主流计算框架的支持
华为云CCE（云容器引擎）、CCI（云容器实例）、ModelArts等多个云服务已将Volcano集成为基础设施底座并商用，服务领域已涵盖AI、大数据应用、基因计算、批处理等场景，并实现与华为鲲鹏、昇腾处理器深度融合，最快每秒1000个容器的调度发放，成为高性能、极致性价比的批量计算解决方案。

深入了解Volcano

如果想更加深入了解Volcano，可以参考以下资源：

Volcano官网：

https://volcano.sh/

Github：

https://github.com/volcano-sh

Volcano简介：

https://github.com/volcano-sh/volcano

Volcano设计：

https://github.com/volcano-sh/volcano/tree/master/docs/design

Volcano路线图：

https://github.com/volcano-sh/volcano/blob/master/docs/community/roadmap.md

Volcano社区交流微信群：

Volcano CN

未来可期

随着Volcano v1.0的发布，Volcano社区建设与上下游生态的融合必将更加紧密，基于Volcano的商业应用也将极大地促进AI、大数据、科学计算、渲染等领域充分享受到云计算带来的极大便利和极致体验，助力企业数字化转型进入新的高度。

展望未来，华为云也将在云原生领域持续耕耘，持续引领创新、繁荣生态，助力各行业走向快速智能发展之路。

点击这里→了解更多精彩内容

未来云原生世界的“领头羊”：容器批量计算项目Volcano 1.0版本发布相关推荐

云原生时代下，容器安全的“四个挑战”和“两个关键”
作者 | 匡大虎来源 | 阿里巴巴云原生公众号云原生进程中的容器安全挑战云原生的火热带来了企业基础设施和应用架构等技术层面的革新,在云原生的大势所趋下,越来越多的企业选择拥抱云原生,在 CNCF ...
谈到云原生, 绕不开容器化
传送门什么是云原生? 云原生设计理念 .NET微服务 Containers 现在谈到云原生, 绕不开"容器". 在<Cloud Native Patterns>一书中 ...
云原生时代，谁是容器的最终归宿？
前言 "云原生技术有利于各组织在公有云.私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用.云原生的代表技术包括容器.服务网格.微服务.不可变基础设施和声明式 API.这些技术能够构 ...
安全大讲堂 | 陈屹力：未来云原生安全能力建设将强调体系化的安全防护
随着云计算技术的成熟与发展,越来越多企业加速"上云"进程,云原生应用也日益普及并开始承载企业核心生产系统. 近日,腾讯安全云鼎实验室「安全大讲堂」邀请中国信通院云大所云计算部副主任 ...
[云原生专题-16]：容器 - 在Windows主机上搭建Docker环境
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
Dubbo 云原生之路：ASF 毕业一周年、3.0 可期
作者 | 刘军 **导读:**今年是 Dubbo 从 Apache 基金会毕业的一周年,同时也是推进 Dubbo 3.0,即全面拥抱云原生的重要一年.Dubbo 社区策划了[Dubbo 云原生之路]系 ...
OpenKruise v0.5.0 版本发布 | 云原生生态周报 Vol. 50
作者 | 丁海洋.张晓宇.宋净超.孙健波业界要闻 OpenKruise v0.5.0 版本发布,支持无损的流式分批发布策略 OpenKruise 是阿里云开源的大规模应用自动化管理引擎,在 Kube ...
直播 | 初探云原生应用管理之：聊聊 Tekton 项目
分享时间:8月15日 20:30 分享主题:初探云原生应用管理之:聊聊 Tekton 项目分享人介绍:邓洪超,阿里云容器平台工程师, Kubernetes Operator 第二人,云原生应用标准交 ...
面向高校 | “云原生技术应用与实践”示范课程项目开放申报
产学合作协同育人在教育部高教司指导下,围绕国家重大战略需求.产业转型升级.创新型人才培养,阿里云通过教育部产学合作协同育人项目平台支持高校金专.金课建设.助力高校教育质量提升,共同培养理工农医类专业 ...

未来云原生世界的“领头羊”：容器批量计算项目Volcano 1.0版本发布

未来云原生世界的“领头羊”：容器批量计算项目Volcano 1.0版本发布相关推荐

最新文章

热门文章