为什么80%的码农都做不了架构师?>>>   

摘要: 如今,高性能计算已在不知不觉中渗透到人类生活的方方面面。从材料科学到石油勘探、金融市场、应急管理、医学和互联网等领域,高性能计算无一不大显身手,帮助快速攻克各种疑难问题。

HPC(High Performance Computing,高性能计算)通常指将计算能力积聚,用并行计算方式解决更大规模的科学、工程和商业问题。如今,高性能计算已在不知不觉中渗透到人类生活的方方面面。从材料科学到石油勘探、金融市场、应急管理、医学和互联网等领域,高性能计算无一不大显身手,帮助快速攻克各种疑难问题。

针对日益增长的 HPC 计算能力需求,阿里云在现有基础设施之上推出了弹性高性能计算E-HPC产品,为用户提供一站式的高性能计算服务的云平台,即HPCaaS公有云服务。2017年10月12日,产品正式发布公测上线,截止到目前,已有三百多家来自国内外的高性能计算用户在使用E-HPC公测资源,测试的应用主要集中在科学计算,AI/机器学习,设计/仿真/渲染等领域。

项目背景

由于高性能计算集群昂贵,缓慢的初期建设投资,包括集群的维护、升级,管理和一次性购买昂贵的软件许可证的困难,如何“不用排队,申请任意规模,有丰富可共享的计算软件环境”成为高性能用户普遍的诉求。另一方面,高性能计算用户对计算性能,扩展性和并行效率的追求,使得他们无法快速拥抱云计算虚拟化的计算资源。

随着云计算技术的逐渐成熟,高性能计算用户对HPCaaS的需求变得越来越实际和迫切,HPCaaS包括使用集群服务器和存储作为资源池的功能,用户提交其作业请求的Web界面,以及可以在给定集群上并行调度大规模并行应用的能力,调度多个不同并行应用程序的智能调度机制,同时考虑到不同的应用程序性能特征以达到最大总体生产力。

为此,阿里云开发了自身IaaS云产品之上的高性能计算PaaS平台,基于阿里云弹性计算ECS实例、异构计算EGS实例、超级计算集群SCC、虚拟专用网VPC、高可靠高可用的NAS存储等组件,构建了一整套HPC用户熟悉的并行计算软件环境,用户在阿里云公共云上申请集群资源,快速构建和安装部署HPC需要的并行调度管理软件、通讯库、性能库和一系列常用高性能计算应用,用户通过熟悉的阿里云服务界面,不但得到了一个“独享式”的云端超算中心资源,还同时继承了阿里云产品的稳定,安全的品质和与其它阿里云产品打通的能力——这意味着用户可以将HPC和阿里云大数据分析、数据可视化和AI产品结合使用,激发出更多的创新。

技术解析

阿里云弹性高性能计算E-HPC与传统超算中心以及自建集群相比,提供了一种快捷、弹性、安全以及互通的公共云高性能计算服务。

  • 快捷:快速创建基于阿里云ECS/EGS/SCC/VPC/NAS等资源的计算集群,根据用户选择快速构建运行时环境和丰富的支撑软件栈;
  • 弹性:根据计算负荷,时间和性能要求增减和释放计算节点,存储等资源,节约大量的CAPEX费用,包括但不限于硬件系统费用,永久软件许可证费用,机房维护费用,运维人工费用等。由于使用的是阿里云弹性计算资源,可以是实现即买即用的任意规模组合和节点自动缩容扩容的功能;
  • 安全:E-HPC是构建在阿里云IaaS产品之上的PaaS平台,所以集成了阿里云产品的组合安全性,如VPC保证的网络安全,ECS保证的计算安全和NAS保证的高可用高可靠存储等;
  • 互通:由于构建在阿里云IaaS资源之上,E-HPC和其它云产品可全面打通,例如通过云盘,共享存储和VPC网络安全交换数据,并可以和其它数据分析,可视化产品互通完成复杂的数值仿真和数据分析闭环。

此外在技术层面,阿里云弹性高性能计算E-HPC与传统超算中心、自建物理 HPC集群、自建云服务器集群等相比较,可以分析得出其具有独特的竞争优势。

  • E-HPC相比传统超算中心:E-HPC按需要使用的规模购买,无需排期,即买即用;E-HPC机型种类多,可根据应用需求购置最适合的计算资源配比(如EGS实例);E-HPC充分复用阿里云产品,大大提高了数据安全性和高可用性。
  • E-HPC相比自建物理HPC集群:E-HPC可节约巨量CAPEX投入,包括但不限于硬件系统费用/软件许可证费用(多核,多节点)、服务器机房建设/电力和制冷费用、平日运作的维护支持费用;使用E-HPC无需顾虑硬件升级换代;E-HPC打通阿里云全系列产品,可扩展性极强。
  • E-HPC相比自建云服务器集群:E-HPC提供方便的软件管理服务,覆盖HPC应用全部支撑软件栈功能,并随HPC共同体(OEM/OSV/ISV/用户/开发者/开源社区)版本升级;E-HPC提供云端Elastic License的按需付费的软件许可证调度机制,为用户节约一次性购买成本,同时为ISV软件厂商和个人软件开发者提供了阿里云市场的新途径,E-HPC还能够提供集群节点根据负荷变化的自动伸缩服务。

阿里云弹性高性能计算E-HPC架构图

场景应用

E-HPC是一个组合型产品,其计算节点有普通ECS实例、GPU加速EGS实例、超级计算集群SCC实例可供选择。ECS实例地域覆盖面广,适合在全球各地域部署;EGS实例适合深度学习等支持并行加速应用的客户使用;SCC实例提供RDMA网络互联,适合大规模集群,提高加速比。时下,有越来越多的中小企业和大企业需要普惠高性能计算来提供HPCaaS服务:

  • 在季节性工作负载或对额外资源的弹性需求时;
  • 在将IT业务云化,无需投资额外的基础架构或增加等待工作队列的时间时;
  • 在希望通过统一平台获取行业应用软件许可证资源时;
  • 在需要支持多用户隔离运行多个应用程序且快速获得资源时。

阿里云的弹性高性能计算产品E-HPC构筑了HPCaaS的青藏高原。

市场解读

阿里云E-HPC是建构于飞天系统上的原生云超级计算平台,对底层计算,网络和存储的调用完全基于阿里云的飞天系统,采用OpenAPI接口,随其它云产品功能和性能一起升级进化。

更为突出的是,E-HPC系统可以和阿里云神龙云服务器/SCC产品无缝对接,基于自研硬件的虚拟化2.0技术,同时具备物理机的性能和稳定性,并提供和ECS,EGS虚拟化异构资源的灵活对接,具备完全云特性,这一点是目前国内外云厂商都没有的优势,是真正的“云超算”。。

产品正在集成基于阿里云存储的Lustre高性能并行文件系统, 接入更多主流高性能计算商业软件弹性许可证管理,增强PaaS的云监控,性能优化和丰富的计费体系,正在对接各个细分领域的SaaS合作伙伴,真正打造普惠和专业的云上超算平台。

弹性高性能计算E-HPC基于多年积累的阿里云飞天系统,其功能,性能和体感将随各飞天产品的升级而普惠超算用户,基于阿里云飞天架构开发的HPC软件栈具有和云组间紧耦合,针对云平台优化的特性,和在物理超算平台上增加“云体验”的所谓“超算云”相比,真正释放了云计算的威力,可以说是毫无疑问地国内第一“云超算”产品。

转载于:https://my.oschina.net/yunqi/blog/1585762

阿里云弹性高性能计算E-HPC强势来袭,全新打造一站式云超算相关推荐

  1. 阿里云弹性高性能计算产品商业化正式发布

    摘要: 来自全国500多家企业申请试用,结合客户的体验需求和反馈意见,不断地改善和打磨,弹性高性能计算商业版有了很大的优化,在产品性能和体验上都有全新的升级. 点此查看原文:http://click. ...

  2. 云起赋新 | 亚马逊云科技高性能计算创新论坛精彩来袭!

    高性能计算(HPC)和云计算曾是两个"平行世界",各自演绎着精彩,却鲜有交集. 传统上,HPC主要应用于大规模计算,如天气预报.石油勘探.药物研发等.这些任务通常借助超级计算机或计 ...

  3. 汇聚“地表最强”云原生战队 云原生技术实践峰会强势来袭

    在这个比以往任何时候 都更加需要"速度"和"创新"的时代 云原生蝶变席卷整个IT界 容器.DevOps和微服务构成了云原生的全貌 轮番角力传统企业数字化转型 技 ...

  4. 阿里平头哥发布RISC-V高能效处理器玄铁C908,打造端云一体生态

    11月3日,在2022云栖大会上,阿里平头哥发布全新RISC-V高能效处理器玄铁C908.玄铁C908计算能效全球领先,较业界同性能处理器能效提升超20%,更能满足低碳时代的算力需求,可广泛用于智能交 ...

  5. 线下沙龙 | 5月11日 ,百度智能云网络技术实践分享强势来袭!

    云计算经过了十余年的发展,逐渐成为了我们个人和商业生活中不可或缺的组成部分.早期,云技术只是一个新鲜的词汇,而如今,随着全球云计算领域的活跃创新和我国云计算发展进入应用普及阶段,简单的云资源池之间的互 ...

  6. Office 365强势来袭PART3:管理云用户

    非常的抱歉,由于测试的不周全,所以今天并没有给大家带来Lync Web App的博文,实属遗憾,等测试周全一定在第一时间为大家呈上.其实Office 365企业版对IT人员来说,其中很多都是熟悉的,在 ...

  7. 云上“超算中心” 阿里云推出弹性高性能计算平台E-HPC

    9月12日,阿里云弹性高性能计算平台E-HPC启动邀测.它可一键部署弹性伸缩的高性能计算集群环境,帮助科研院所和企业处理大规模科学计算问题,包含但不限于生命科学,气象预报,石油勘探,工业设计,流体力学 ...

  8. 阿里云架构师马颂:云上高性能计算助力基因测序

    摘要:本文整理自阿里云行业解决方案架构师马颂(栖逸),在阿里云计算情报局的分享.本篇内容主要分为三个部分: 1.  寻因生物简介 2.  单细胞测序及其痛点 3.  寻因生物基于E-HPC的大内存实例 ...

  9. 阿里云弹性计算产品负责人:让客户用上本地化的公共云

    简介:5 月 28 日,在 2021 阿里云峰会上 "企业四种架构及部署方案"专场中,阿里云弹性计算产品负责人王志坤,基于云多种部署形态,带来了<企业本地化.低延时.高安全云 ...

最新文章

  1. python 和 matlab的caffe读数据细节
  2. 用python打开视频_python读取视频流提取视频帧的两种方法
  3. hash:奶牛看地图(洛谷P3405 [USACO16DEC]Cities and States S)
  4. [leedcode][JAVA][365][BFS]
  5. 数字能查出笔迹吗_大家都知道文字可以做笔迹鉴定,我想问一下专家阿拉伯数字是否也可以做笔迹鉴定正确率高吗?...
  6. java怎么获取中文首字母_Java如何获取中文拼音首字母的方法介绍
  7. 硬件基础知识(6)---电容分类
  8. Spring Boot 集成 Thymeleaf 快速入门、静态资源映射规则、WebJars
  9. 设计模式之七大设计原则详解
  10. SAP 采购信息记录
  11. 小学生体测测试环境怎么填_小学体测在各个学校展开 最新六年级测试项目及评价标准表一览...
  12. 读博士学位失败率有多高
  13. uvm学习笔记----适合新手快速学习
  14. Linux安装fping和hping
  15. Q2营收增长创下3年来最大涨幅,IBM这头大象要在云风口上跳舞?
  16. Cisco网站系统测试考试题目及答案
  17. 阿里巴巴集团详细股权报告:马云持股8.9%
  18. 微信小游戏开发学习记录
  19. 数据分析-PART2--10大数据分析模型
  20. 【总结】1259- Vite 插件开发实践:微前端的资源处理

热门文章

  1. uni-app 手指左右滑动实现翻页效果
  2. LiveQing直播点播存储流媒体服务-服务器并发性能及消耗带宽计算参考
  3. linux文件夹打包命令
  4. Spring Boot 5:应用程序启动时初始化资源
  5. nodejs之express入门
  6. 状压dp之二之三 炮兵阵地/玉米田 By cellur925
  7. 一个小栗子聊聊JAVA泛型基础
  8. 以嵌入式系统设计师考试成绩,开始嵌入式博客之旅
  9. 浅析SQL Server 2005中的主动式通知机制
  10. Qt通过ODBC读取excel文件