简介:近日,阿里云推出了弹性加速计算实例(EAIS)家族及产品弹性加速推理实例(简称EAIS.EI),首次实现了GPU与CPU/内存的解耦,可在提升AI推理效率的同时大幅降低成本。

人工智能推理场景下,EAIS.EI让用户可以自定义GPU算力规模。据介绍,该产品可节省最高达50%的推理业务成本,目前EAIS.EI实例支持Tensorflow、Pytorch等主流深度学习框架,最高支持FP32 19.5 TFlops、FP16 混合精度312 TFlops的运算。

发布会传送门

产品详情

无论你是在逛淘宝还是刷抖音,人工智能都在背后疯狂计算,短视频推荐、拍照AI美颜,就连点外卖,人工智能都在帮外卖小哥优化路线。

人工智能崛起的燃料之一,就是跟通用处理器CPU有着不同专长的GPU异构加速器。在计算能力方面,如果说CPU是通才,GPU就是专才,非常擅长深度学习和图像处理,因此在人工智能、直播和短视频火热的今天大放异彩。

然而,不同的深度学习应用所需要的CPU、GPU和内存等计算资源的比例并非完全一样,云服务器受限于规格,往往只有特定数个比例。在某些情况下,就会造成资源闲置,尤其在推理场景中尤为明显。深度学习应用分为训练和推理两个过程,推理计算需求由于跟业务量紧密相关,往往是总运营成本的大头,最高占到90%成本。

EAIS为客户提供了一个异构算力池,用户可以将需要的GPU资源附加到任何一款阿里云ECS服务器中,根据不同应用需求灵活优化CPU/内存与GPU之间的比例,匹配适合的资源组合,有效提升资源利用率。

另外,AI推理计算业务通常伴随着业务的周期性的峰谷变化,EAIS.EI实例配合弹性伸缩ESS快速感知业务变化,实现高效的业务运维,提升业务弹性。资源的精准组合加上云服务的弹性,将大大降低成本。

阿里云异构计算产品负责人透露,除了推理场景之外,未来,弹性加速计算实例还将覆盖图形图像与多媒体计算编码场景,甚至实现含光800与CPU/内存的解耦。

弹性加速计算实例,将与神龙AI加速器和cGPU容器技术,一起组成阿里云异构计算的三大特色优势,为用户提供灵活高效、性能超群的异构计算基础设施。

原文链接:https://developer.aliyun.com/article/775645?

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

AI降成本利器!阿里云弹性加速计算实例来了,最高节省50%推理成本相关推荐

  1. mobilenet cpu 加速_AI降成本利器!阿里云弹性加速计算实例来了,最高节省50%推理成本...

    简介:近日,阿里云推出了弹性加速计算实例(EAIS)家族及产品弹性加速推理实例(简称EAIS.EI),首次实现了GPU与CPU/内存的解耦,可在提升AI推理效率的同时大幅降低成本. 人工智能推理场景下 ...

  2. 阿里云弹性计算-图形工作站(公测)发布

    产品介绍: 阿里云图形工作站,基于GPU 实例,采用AMD 专业GPU,集成了高性能远程桌面功能,非线编软件以及数据存储系统在内的一套完整图形图像处理流程,旨在满足一些高端用户在使用阿里云GPU可视计 ...

  3. 阿里云弹性裸金属服务器-神龙架构(X-Dragon)揭秘

    摘要: 在5月16日的飞天技术会新品直播中,特别邀请了业界知名大咖狒哥以及阿里云虚拟化资深专家旭卿作为现场直播的嘉宾.本次直播主要从产品背景到"X-Dragon架构",从硬件设备到 ...

  4. 阿里云高级技术专家林立翔:基于阿里云弹性GPU服务的神龙AI加速引擎,无缝提升AI训练性能

    2023 年 3 月 23 日 14:00,NVIDIA GTC 开发者大会阿里云开发者社区观看入口正式开放,阿里云高级技术专家林立翔带来了题为<基于阿里云弹性 GPU 服务的神龙 AI 加速引 ...

  5. 阿里云弹性计算技术专家樊毅伟:云上成本优化实践

    摘要:2022 年 8 月 16 日,高效能,才经济 | 云上自动化运维 CloudOps 系列沙龙_第三弹正式开启,阿里云弹性计算技术专家樊毅伟,为我们带来了题为"云上成本优化实践&quo ...

  6. 阿里云弹性计算总经理张献涛:智能化、高效能、新交互将重塑互联网

    11 月 4 日,阿里巴巴集团研究员.阿里云智能弹性计算与无影产品线总经理张献涛在 2022 云栖大会"探索增长动能--互联网产业与飞天技术创新峰会"上发表了题为<云原生计算 ...

  7. 初次选购阿里云服务器教程(实例规格、网络规划、成本估算等)

    国内云服务商中,阿里云服务器凭借多年的运营经验.有礼的促销活动及多年来众多用户积累的良好口碑成为了目前最受欢迎的云服务商,因此很多个人和企业在建站时都会首先考虑到阿里云服务器.所以,小编今天就带大家来 ...

  8. 阿里云弹性高性能计算E-HPC强势来袭,全新打造一站式云超算

    为什么80%的码农都做不了架构师?>>>    摘要: 如今,高性能计算已在不知不觉中渗透到人类生活的方方面面.从材料科学到石油勘探.金融市场.应急管理.医学和互联网等领域,高性能计 ...

  9. 阿里云弹性计算产品专家张新涛:元宇宙应用时代的澎湃算力

    2022 年 9 月 2 日,在世界人工智能大会"区块新生 数字宇宙--元宇宙技术与生态合作"分论坛上,阿里云弹性计算产品专家张新涛带来了题为<澎湃算力,同频沉浸>的主 ...

最新文章

  1. 以太坊开启区块链2.0时代
  2. 利用Unity自带的合图切割功能将合图切割成子图
  3. 3星|《掌控大趋势》:全球当前政治经济形式的资料汇编整理,对未来的预测很少,也缺乏独到深刻的见解...
  4. JSP 第一天:提交表单--获取表单中的数据值
  5. Python sort()和sorted()
  6. linux中useradd的文件路径,linux的useradd命令详细解释
  7. nginx配置tomcat负载均衡,nginx.conf配置文件的配置
  8. 前端学习(3124):react-hello-react之props的简写
  9. 【2016年第5期】研究(国家自然科学基金项目成果集萃)导读
  10. 输出dag的所有拓扑排序序列_算法学习笔记(53): 拓扑排序
  11. 玩转 SpringBoot2.x 之自定义配置类整合Druid(Mybatis版)
  12. 迅雷7核心技术Bolt界面引擎正式开放
  13. 【IDEA】IntelliJ IDEA使用教程(2019图文版)
  14. 调速水泵控制c语言实验程序,液压控制实验报告
  15. 学做衣服论坛 -服装DIY教程,缤纷服装网,裁剪教程,家用缝纫机,买布料
  16. 【WSL2 Win10】解决子系统中nividia-smi出现的Failed to initialize NVML GPU access blocked by the operating systeM
  17. OAS、Swagger和Springfox
  18. kafka2.2源码分析之KafkaChannel
  19. day3-转自金角大王
  20. 【OpenBMC 系列】2.OpenBMC镜像编译流程

热门文章

  1. HandlerInterceptorAdapter或HandlerInterceptor的使用
  2. ER-Studio的五种关系说明 .
  3. ​你可能不太会用的10个Git命令
  4. 深度学习-Tensorflow2.2-卷积神经网络{3}-卷积神经网络CNN基础-11
  5. Centos7 yum安装Python3.6环境,超简单
  6. 【BZOJ3611】【HeOI2014】—大工程(虚树+dp)
  7. 11082 完全二叉树的种类 O(n) 卡特兰数
  8. 【Luogu】P1383高级打字机
  9. 《大道至简》第八章读后感
  10. ionic安装插件常用命令