简介:近日,阿里云推出了弹性加速计算实例(EAIS)家族及产品弹性加速推理实例(简称EAIS.EI),首次实现了GPU与CPU/内存的解耦,可在提升AI推理效率的同时大幅降低成本。

人工智能推理场景下,EAIS.EI让用户可以自定义GPU算力规模。据介绍,该产品可节省最高达50%的推理业务成本,目前EAIS.EI实例支持Tensorflow、Pytorch等主流深度学习框架,最高支持FP32 19.5 TFlops、FP16 混合精度312 TFlops的运算。

发布会传送门

产品详情

无论你是在逛淘宝还是刷抖音,人工智能都在背后疯狂计算,短视频推荐、拍照AI美颜,就连点外卖,人工智能都在帮外卖小哥优化路线。

人工智能崛起的燃料之一,就是跟通用处理器CPU有着不同专长的GPU异构加速器。在计算能力方面,如果说CPU是通才,GPU就是专才,非常擅长深度学习和图像处理,因此在人工智能、直播和短视频火热的今天大放异彩。

然而,不同的深度学习应用所需要的CPU、GPU和内存等计算资源的比例并非完全一样,云服务器受限于规格,往往只有特定数个比例。在某些情况下,就会造成资源闲置,尤其在推理场景中尤为明显。深度学习应用分为训练和推理两个过程,推理计算需求由于跟业务量紧密相关,往往是总运营成本的大头,最高占到90%成本。

EAIS为客户提供了一个异构算力池,用户可以将需要的GPU资源附加到任何一款阿里云ECS服务器中,根据不同应用需求灵活优化CPU/内存与GPU之间的比例,匹配适合的资源组合,有效提升资源利用率。

另外,AI推理计算业务通常伴随着业务的周期性的峰谷变化,EAIS.EI实例配合弹性伸缩ESS快速感知业务变化,实现高效的业务运维,提升业务弹性。资源的精准组合加上云服务的弹性,将大大降低成本。

阿里云异构计算产品负责人透露,除了推理场景之外,未来,弹性加速计算实例还将覆盖图形图像与多媒体计算编码场景,甚至实现含光800与CPU/内存的解耦。

弹性加速计算实例,将与神龙AI加速器和cGPU容器技术,一起组成阿里云异构计算的三大特色优势,为用户提供灵活高效、性能超群的异构计算基础设施。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

mobilenet cpu 加速_AI降成本利器!阿里云弹性加速计算实例来了,最高节省50%推理成本...相关推荐

  1. AI降成本利器!阿里云弹性加速计算实例来了,最高节省50%推理成本

    简介:近日,阿里云推出了弹性加速计算实例(EAIS)家族及产品弹性加速推理实例(简称EAIS.EI),首次实现了GPU与CPU/内存的解耦,可在提升AI推理效率的同时大幅降低成本. 人工智能推理场景下 ...

  2. 阿里云全站加速是什么?与CDN有什么区别

    阿里云全站加速是什么? 全站加速(Dynamic Route for Content Delivery Network)是阿里云自主研发的融合了动态加速和静态加速技术的CDN产品.该产品一站式解决了页 ...

  3. 阿里云弹性裸金属服务器-神龙架构(X-Dragon)揭秘

    摘要: 在5月16日的飞天技术会新品直播中,特别邀请了业界知名大咖狒哥以及阿里云虚拟化资深专家旭卿作为现场直播的嘉宾.本次直播主要从产品背景到"X-Dragon架构",从硬件设备到 ...

  4. 阿里云弹性计算-图形工作站(公测)发布

    产品介绍: 阿里云图形工作站,基于GPU 实例,采用AMD 专业GPU,集成了高性能远程桌面功能,非线编软件以及数据存储系统在内的一套完整图形图像处理流程,旨在满足一些高端用户在使用阿里云GPU可视计 ...

  5. Perseus-BERT——业内性能极致优化的BERT训练方案【阿里云弹性人工智能】

    一,背景--横空出世的BERT全面超越人类 2018年在自然语言处理(NLP)领域最具爆炸性的一朵"蘑菇云"莫过于Google Research提出的BERT(Bidirectio ...

  6. Perseus-BERT——业内性能极致优化的BERT训练方案【阿里云弹性人工智能】 1

    一,背景--横空出世的BERT全面超越人类 2018年在自然语言处理(NLP)领域最具爆炸性的一朵"蘑菇云"莫过于Google Research提出的BERT(Bidirectio ...

  7. 初次选购阿里云服务器教程(实例规格、网络规划、成本估算等)

    国内云服务商中,阿里云服务器凭借多年的运营经验.有礼的促销活动及多年来众多用户积累的良好口碑成为了目前最受欢迎的云服务商,因此很多个人和企业在建站时都会首先考虑到阿里云服务器.所以,小编今天就带大家来 ...

  8. 阿里云弹性计算技术专家樊毅伟:云上成本优化实践

    摘要:2022 年 8 月 16 日,高效能,才经济 | 云上自动化运维 CloudOps 系列沙龙_第三弹正式开启,阿里云弹性计算技术专家樊毅伟,为我们带来了题为"云上成本优化实践&quo ...

  9. 阿里云全站加速DCDN升级

    简介:相比传统CDN加速,全站加速DCDN具有更广阔的应用场景.在当下企业全面数字化的进程中,为了更全面地满足广大企业客户的个性化加速需求,全站加速DCDN从简单开通到个性化定制.从内容分发到安全防护 ...

最新文章

  1. webpack + loader 使用笔记
  2. DBUtils使用详解
  3. pytorch 忽略层权重
  4. 基于RBAC模型的通用权限管理系统的设计(数据模型)的扩展
  5. php定时发送生日模块消息_Swoft 2.0.5 更新,新增高效秒级定时任务、异常管理组件...
  6. IDEA中Mybatis逆向工程使用方法
  7. 光储充一体化充电站_福建全省首座光储充一体化公交充电站投入使用
  8. 使用共享网口方式访问BMC管理控制器
  9. leetcode 1423. 可获得的最大点数(滑动窗口)
  10. php scsi平台,三大SCSI Target平台PK:让服务器化身SAN
  11. Opencv--undistortPoints()和cvUndistortPoints()
  12. 计算机设备 运维,计算机网络设备运维报告
  13. Dubbo自定义日志拦截器 1
  14. css图片的相关操作
  15. 【设计心理学】格式塔理论
  16. 基本知识 100040
  17. 视频和视频帧:视频和帧基础知识整理
  18. 强化学习算法TRPO之共轭梯度优化
  19. 停止mysql服务的运行_启动和停止MySQL服务
  20. eclipse调成黑色主题背景(老版本适用)

热门文章

  1. 爬虫 spider10——搭建elk平台,开发服务提供者
  2. 【MS Word技巧】word如何批量把括号内字体变绿?
  3. 【Git】撤销已经git add的文件
  4. 关于Arrays类中toArray方法的总结
  5. 使用velocity
  6. github文件上传全流程-新手入门系列
  7. 14行代码满分:1037 在霍格沃茨找零钱 (20分)
  8. 蓝桥杯 试题 基础练习 字母图形——13行代码AC
  9. (*长期更新)软考网络工程师学习笔记——Linux操作系统中的vi/vim 编辑器详解
  10. 综合操作篇 NAT 和trunk和dhcp综合应用