中国首次!2021年图计算挑战赛揭榜,华中科技大团队夺冠
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
来源丨新智元
编辑丨极市平台
导读
8月13日,图计算领域最具影响力的国际赛事之一「Graph Challeng 2021」公布比赛结果,华中科技大学团队斩获冠军,成为该赛事中首支夺冠的国内团队!此外,该校另一支团队也获得本次大赛的创新奖。
喜讯喜讯!
8月13日,2021年图计算挑战赛GraphChallenge比赛结果揭晓:
华中科技大学图计算团队获得全球冠军!
这是国内团队在该赛事中首次夺冠!
作为图计算领域最具影响力的国际赛事之一,华中科技大团队此次夺冠,标志着我国在图计算领域的研发水平位于国际前列。
赛事地址:https://graphchallenge.mit.edu/challenges
此次比赛吸引了赛灵思、英伟达、劳伦斯利弗莫尔国家实验室、弗吉尼亚理工大学、伊利诺伊大学厄巴纳-香槟分校等国际知名科技研院所参赛。
最终,华中科技大学团队、美国乔治华盛顿大学与马里兰大学的联合队伍两支参赛团队获得冠军。
此外,华中科技大学的另一支队伍也获得了本次GraphChallenge 2021的创新奖。
Graph Challenge 2021
图(Graph)是一种用来建模事物之间关系的一种数据结构。
图可以应用于生产生活中的各个领域,从社交媒体、网页排序到自然语言处理、以及人工智能,都可以用图来表示。
但由于图结构的不规则性,这些应用很难得到快速处理。
图计算也因此成为了大数据和人工智能时代的核心挑战。
GraphChallenge结合了GraphAnalysis、Graph500、FireHose、MiniTri和GraphBLAS等开创性工作中的优点,并由此创造出了一套新的挑战。
从2017年开始,该赛事至今已成功举办五届,成为图计算领域最具影响力的国际赛事之一。
比赛由IEEE、麻省理工大学、亚马逊公司联合主办
在GraphChallenge 2021中,参赛选手需要在给定的图应用上比拼处理速度。
比赛分为三个赛道:静态图匹配、动态图划分和稀疏神经网络推理,也分别代表了图计算的不同典型应用场景。
往届冠军基本被美国知名科技研单位包揽,如英伟达和劳伦斯利弗莫尔国家实验室。
而卡内基梅隆大学、UIUC则分别获得过2019年和2020年的大赛冠军。
除了冠军外,还会进行创新奖、荣誉奖等多个奖项的评选。
GraphChallenge 2021评选出的其它奖项
夺冠论文
深度神经网络(DNN)模型规模的不断扩大,可扩展性也逐渐受到影响。
稀疏深度神经网络(SpDNN)虽然有望解决这个问题,但由于负载不平衡和不规则的内存访问,稀疏的数据难以在GPU上有效执行。
因此,作者提出了疏散感知的SpMM算法,可以系统地探索SpDNN在GPU上执行的性能最优方案,并进一步生成优化的SpMM内核实现。
项目地址:https://github.com/CGCL-codes/Graphchallenge21
与2020年HPEC稀疏DNN挑战赛冠军相比,论文的方法在单个NVIDIA V100 GPU上实现了每秒55.6 TeraEdges的推理吞吐量,将速度提高了13.74倍和22.29倍。
此外,比起2020年冠军使用768个GPU的方法,论文提出的方法在很多情况下仅用4个GPU就能实现更佳的性能。
方法实现
SpMM的基本实现可由三个循环构成:
其中,b-loop遍历矩阵中的不同batch,k-loop遍历输入神经元,而n-loop遍历输出神经元。
论文方法的工作流程,其中*代表通配符
(a) 用于SpDNN推理的改进的SpMM优化空间;
(b) 修剪后的SpMM优化空间;
(c) 为给定的权重矩阵(如W1和W2)搜索性能最优的解决方案。
性能分析
论文提出的方法实现了每秒11.8~55.6的推理吞吐量,且性能随着网络层的增加而增加。
单个V100 GPU与往年冠军的对比
与2020年冠军的最强性能方法H&F相比,论文提出的方法至少能将性能提升1.73倍,最多可以提升13.74倍。
与2019年的冠军B&F相比,论文的方法实现了6.39倍~15.56倍的性能提升。
此外,作者也与广泛使用的SpMM库cuSPARSE进行了比较,性能的提升达到72.90倍~152.68倍。
4个GPU与往年冠军的对比
在多个GPU的比较上,论文的方法只需采用4个GPU,就能比最多使用16个V100 GPU的B&F性能提升4.56倍~10.18倍。
与同样可以采用4个GPU的SNIG相比,实现了18.73倍~32.73倍的性能提升。
论文的方法同样优于H&P在不同GPU数量上的实现,甚至在很多情况下比采用768个GPU的H&P性能更强,尤其是对于大型网络来说。
半年备赛,夺得全球冠军
华中科技大学参赛团队主要成员为硕士生辛杰(左上)和叶先祺(中下),由郑龙副教授指导,其他成员包括博士生王庆刚、黄禹、姚鹏程,老师余林琛、廖小飞、金海。
本次大赛夺冠团队从去年年底开始备赛,参赛赛道为稀疏神经网络推理,为加速人工智能应用提供新方案。
这个赛道的任务是将神经网络的权重数据抽象为图数据,执行推理任务,是人工智能领域的典型应用场景。
参赛过程中,团队获得了服务计算技术与系统教育部重点实验室和「面向图计算的通用计算机技术与系统」国家重点研发计划项目组的大力支持。
实验室为团队提供了V100 GPU多卡服务器作为计算平台,确保团队有一个稳定的开发环境。
团队参赛队员每周都会和图计算项目组的博士生王庆刚、黄禹、姚鹏程等进行应用分析和方案论证。
多次讨论后,他们最终get到了这个赛道应用的特点:
不存在一种特定的实现方法可以在任何一个数据集上都取得较好的性能提升。
根据这个特点,参赛团队确定了通过用参数化的方式,构造算子的实现空间,然后进行参数搜索,取得对应数据集的最优实现方法。
在代码实现过程中,团队复用了图计算项目中图处理模块的思想,加快开发效率,快速完成了实验。
参考资料:
https://graphchallenge.mit.edu/champions
https://mp.weixin.qq.com/s/MeKOcCG-238R7m9f6pqApw
如果觉得有用,就请分享到朋友圈吧!
点个在看 paper不断!
中国首次!2021年图计算挑战赛揭榜,华中科技大团队夺冠相关推荐
- 倍投计算机器在线,2021看图开特马50研究计算倍投【欢迎你】
2021看图开特马50接下去的发展就更为戏剧化了,总之等我第二天一上线,就被立即召到了城主府,以擒拿逆贼为名破例允许我就职,而城主府发出的"寻找养神芝"的任务也宣告无效,所有接过任 ...
- 竞赛图 计算机网络 应用题,我校学子获2020年“中国高校计算机大赛-网络技术挑战赛”全国总决赛一等奖(图)...
近日,2020年"中国高校计算机大赛-网络技术挑战赛"全国总决赛在温州浙南科技城落下帷幕.我校计算机与信息安全学院陈俊彦.雷晓春老师指导的"智载车队"团队(成员 ...
- 重磅!腾讯助推十亿级节点图计算进入分钟级时代;沈向洋离开微软;阿里:拥有超6000项已授权专利,涉及云、AI等领域……...
戳蓝字"CSDN云计算"关注我们哦! 嗨,大家好,重磅君带来的[云重磅]特别栏目,如期而至,每周五第一时间为大家带来重磅新闻.把握技术风向标,了解行业应用与实践,就交给我重磅君吧 ...
- 一个预告|恭喜斯科特·阿伦森获得2021年ACM计算奖
国际计算机协会(ACM)4月15日宣布,斯科特·阿伦森因对量子计算的开创性贡献荣获2021年ACM计算奖. ACM计算奖用以表彰处于职业生涯中早期.其贡献具有根本且广泛的影响的计算机科学家.ACM主席 ...
- Nature今年首次撤稿给了微软:研究团队成员自曝删改不利数据,量子计算重大进展是假的...
贾浩楠 胡子豪 发自 凹非寺 量子位 报道 | 公众号 QbitAI 微软赞助的研究被Nature撤稿了,而且还是2021年"第一撤". 原本被物理学界视为颠覆量子计算技术的成果, ...
- 全球及中国通信中的量子计算行业十四五规划方向与运营前景研究报告2022版
全球及中国通信中的量子计算行业十四五规划方向与运营前景研究报告2022版 --------------------------------------- [修订日期]:2021年12月 [搜索鸿晟信合 ...
- 清华大学团队夺冠AAAI 2021国际深度元学习挑战赛
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习> ...
- 中国医科大学2021年9月《护理研究》作业考核试题
中国医科大学2021年9月<护理研究>作业考核试题 试卷总分:100 得分:100 一.单选题 (共 20 道试题,共 20 分) 1.第二次世界大战后提出的关于人体医学研究行为准则的第一 ...
- 前沿资讯:索尼展现裸眼3D显示技术,阿里推出图计算平台……
大连一批进口非冷链货物外表面检出核酸检测阳性 1月13日大连卫生健康委发布,大连市在大连机场增加建设了进口非冷链货物首站监管仓,对所有空港口岸进口货物实施批批检.件件消.1月12日,在对进口非冷链货物 ...
最新文章
- windows2003前言
- MySQL 使用SELECT ... FOR UPDATE 做事务写入前的确认(转)
- python利器怎么编程-C++和Python混合编程的利器
- javascipt -- find方法和findIndex方法的实现
- 在线生成文本图片 CFC函数计算版
- Spring boot 2.3优雅下线,距离生产还有多远?
- 导入Oracle 数据库镜像,创建Oracle虚拟机_01
- JAVA读、写EXCEL文件
- Eclipse : Android requires compiler compliance level 5.0 or 6.0.
- aso关键词优化,我们该不该去做?
- web服务器超过访问上限显示,当Web服务器访问人数超过了设计访问人数上限,将可能出现的HTTP状态...
- 写Python爬虫又被屏蔽了,你现在需要一个稳定的代理IP
- 快速清除系统中的木马病毒
- 游戏本自动掉帧_玩游戏掉帧怎么办?
- 深度学习实战-图像风格迁移
- uboot支持usb功能
- 5 异常、断言和日志
- 抖音一机两号有影响吗?抖音一个设备可以运营多个抖音号吗
- 金城江区~宜州市 网上地图对比
- echarts 图表大小随窗口变动而自适应变动(无需刷新浏览器调整)