英伟达GPU“屠榜”，谷歌TPU“退赛”，MLPerf最新推理榜单出炉

晓查发自凹非寺
量子位报道 | 公众号 QbitAI

MLPerf推理基准测试第二版（v0.7）近日发布。

在数据中心分类下，英伟达2年前的推理卡T4依然能“大杀特杀”，7月推出的A100毫无意外占据榜单第一名。

英伟达表示A100在数据中心推荐系统测试中，其表现出的性能比英特尔Cooper Lake CPU高237倍，即使是T4也比CPU高出28倍。

△ 图片来自英伟达官方

英伟达在官方博客中称，英伟达在第二版MLPerf推理榜中赢得了数据中心和边缘计算系统六个应用领域的所有测试。

可以看出，每项任务的前五名都被英伟达的AI加速硬件占据，包括DGX A100、Quadro RTX专业卡以及T4。

△ 图片来自Tirias Research

然而事情没有那么简单。

参赛厂商明增实减

MLPerf是业内首套衡量机器学习软硬件性能的通用基准，由图灵奖得主David Patterson联合谷歌和几所著名高校于2018年发起。

MLPerf组织去年第一次发布推理基准测试结果，当时的榜单非常混乱，从数据中心到手机的AI推理性能全都在一张表格中，没有做出场景区分。

这一次MLPerf v0.7将榜单分为4个部分：数据中心、边缘、手机、笔记本电脑。

除了之前的ResNet图像分类、SSD-Large目标检测任务，MLPerf v0.7推理还增加了4个基准测试：NLP模型BERT、推荐模型DLRM、医学影响模型3D U-Net以及代表语音识别模型RNN-T。

本次提交的测试数量也大大增加，从43个增加到327个，与之不成比例的是，提交成绩的公司数量仅仅从9个增加到21个。

看似竞争更加激烈，但实际上参与的硬件上游厂商反而更少了。上次提交成绩的阿里平头哥含光、谷歌TPU都缺席了本次测试。

这导致英伟达在数据中心分类下的竞争对手只剩下3个：英特尔的CPU、赛灵思和初创公司NEUCHIPS两家的FPGA。

为何厂商不积极跑分

经过一年时间的完善，MLPerf推理基准测试显然更加合理了，作为一个宣传硬件的绝佳窗口，为何各大厂商反而不积极了呢？

机器学习和HPC高级分析师Karl Freund认为，有3个原因导致AI芯片公司参加MLPerf态度冷淡：

像英特尔Habana和Tenstorrent之类的许多公司都还没有做好运行MLPerf等复杂基准的准备；
厂商要花费大量精力来运行和优化这些基准测试并参与同行评审过程；
除了英特尔、英伟达等大公司，大部分公司没有足够精力用在运行MLPerf上，他们主要是把资源花在与客户的合作上。

不过，Karl依然认为英伟达在数据中心AI方面依旧是其他厂商难以比拟的。主要是因为英伟达有着惊人的软硬件优化，凭借其生态系统培养了很多开发人员。

而且英伟达在AI上投入巨大，最近还主导建设了全球第七快的AI超级计算机Selene，投入数千万美元也是其他AI公司难以承受的。

所以在AI跑分这件事上，“钞能力”还是必不可少的。

虽然MLPerf不能完全反应真实情况，但英伟达GPU在榜单中巨大的占比只能说明：在AI生态中，英伟达依然是霸主。

参考链接：

https://blogs.nvidia.com/blog/2020/10/21/inference-mlperf-benchmarks/

https://mlperf.org/inference-results-0-7

https://www.forbes.com/sites/moorinsights/2020/10/21/why-cant-nvidia-be-bested-in-mlperf/

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~