INFOCOM 2021最佳论文奖：一种新颖的分布式算法提高在GPU集群上训练大型AI模型的效率

INFOCOM 2021最佳论文：Exploiting Simultaneous Communications to Accelerate Data Parallel Distributed Deep Learning
论文地址：https://www.aminer.cn/pub/60af3b429e795e6b8e4edd1f

论文由香港浸会大学褚晓文教授、施少怀博士及香港科技大学李波教授合著。训练AI大模型需要消耗大量的计算资源，例如训练一次拥有1750 亿个参数的GPT-3语言模型需要355个GPU，成本高达460万美元。因此，如何缩短AI大模型的训练时间是当前分布式机器学习的一个热点话题。

本次获奖论文提出了一种新颖的分布式算法来提高在GPU集群上训练大型AI模型的效率。通过理论分析和实验，论文发现利用并发的All-Reduce通信可以有效提高小张量数据的通信效率。研究团队同时利用张量融合和并发通信两种不同的优化策略，提出新的数学优化思路，并找到了有效的解决方案，称为ASC-WFBP。

团队在具有32个GPU和10Gbps以太网的8节点GPU集群上进行了大量的实验，并在四个流行的AI模型上进行了性能评估。

实验结果表明ASC-WFBP相比不进行张量融合的基线方法提高约1.09-2.48倍的速度，而相比最先进的张量融合解决方案，也可以提高1.15-1.35倍的速度。在不影响训练精度的前提下，大幅降低了训练成本。

AMiner，让AI读懂Science：https://www.aminer.cn/

INFOCOM 2021最佳论文奖：一种新颖的分布式算法提高在GPU集群上训练大型AI模型的效率相关推荐

CVPR 2021最佳论文奖的候选名单，华人占据半壁江山，何恺明、陶大程、沈春华等人上榜义目录标题)
作者: 清华AMiner团队 CVPR 2021最佳论文奖的候选名单,华人占据半壁江山,何恺明.陶大程.沈春华等人上榜,共32篇论文,可直接下载! CVPR 今年共有7015篇有效投稿,有1663篇被 ...
AAAI 2021最佳论文奖出炉
视学算法报道机器之心编辑部第 35 届 AAAI 人工智能会议已于 2 月 2 日在线上召开.在刚刚举行的开幕式上,组委会颁发了今年的最佳论文奖和提名奖,分别有三篇论文获奖.其中来自北航的学者以一 ...
AAAI 2021最佳论文奖出炉，北航成最大赢家，还有这样一批华人学术新星！
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达编辑丨机器之心第 35 届 AAAI 人工智能会议已于 2 月 2 日在线上召开.在刚刚举行的开幕式 ...
AAAI 2021 最佳论文出炉！华人包揽 4 奖，北航成最大赢家，Transformer变热门
作者:周寅张皓.梦佳.贾伟 2 月 4 日,人工智能顶会 AAAI 2021(第 35 届 AAAI 大会)以在线虚拟会议的形式正式拉开序幕,并将持续到 2 月 9 日结束. 本届AAAI大会投稿量再 ...
mysql 高并发集群架构_一种高并发的GPU集群架构及其负载均衡方法技术
[技术实现步骤摘要] 一种高并发的GPU集群架构及其负载均衡方法本专利技术属于GPU集群架构及其负载均衡方法 ,特别是涉及一种高并发的GPU集群架构及其负载均衡方法. 技术介绍 GPU因其高性能的并 ...
【论文解读】CVPR 2021 当之无愧的最佳论文奖：GIRAFFE，一种可控图像合成方法...
CVPR 2021 年度最佳论文奖,颁发给了来自德国马克斯 - 普朗克研究所(Max Planck Institute)的 Michael Niemeyer 和蒂宾根大学(Tubingen)的 And ...
中国团队狂揽5项大奖！北航团队获2021 ACM MultiMedia唯一最佳论文奖
来源:新智元又一场计算机学术盛会落下帷幕! 10月24日,2021 ACM MultiMedia会议顺利闭幕.会议公布了多个奖项:包括最佳论文奖.最佳学生论文奖.最佳Demo奖.最佳开源奖等9个奖项 ...
ECCV 2022最佳论文奖公布！两位华人学者摘得桂冠！本科来自清华、浙大
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群转载自:机器之心 | 编辑:杜伟.陈萍近日,位列计算机视觉领 ...
ECCV 2022全奖项公布，两位华人学者摘得最佳论文奖，本科来自清华、浙大
来源:机器之心本文约2600字,建议阅读5分钟本文提出了一种基于神经距离场 (NDFs) 的人体姿态连续模型:Pose-NDF. 近日,位列计算机视觉领域三大国际顶级会议的 ECCV 2022 在 ...

INFOCOM 2021最佳论文奖：一种新颖的分布式算法提高在GPU集群上训练大型AI模型的效率

INFOCOM 2021最佳论文奖：一种新颖的分布式算法提高在GPU集群上训练大型AI模型的效率相关推荐

最新文章

热门文章