作者丨杜伟、陈萍

来源丨机器之心

对于 Jeff Dean 的回复，你认同吗？

昨日，整个社区最热门的话题无外乎是 reddit 上一名机器学习研究者对谷歌 AI 负责人 Jeff Dean 参与论文的质疑。这篇论文是《An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems》，于周四被提交到预印版论文平台 arXiv 上。

在论文中，Jeff Dean 等人提出了一种进化算法，可以生成大规模的多任务模型，同时也支持新任务的动态和连续添加，生成的多任务模型是稀疏激活的，并集成了基于任务的路由。新方法在 69 个图像分类任务上取得有竞争力的结果，例如对仅在公共数据上训练的模型，在 CIFAR-10 上实现了新的业界最高识别准确度 99.43%。

正是这个在 CIFAR-10 上实现的新 SOTA 遭到了质疑，此前的 SOTA 为 99.40。她表示，「产生这一结果需要总计 17,810 小时的 TPU 核心小时数，如果你不在谷歌工作，这意味着必须使用 3.22 美元 / 小时的按需付款，训练好的模型成本需 57,348 美元。」

因此，她发出灵魂一问，「Jeff Dean 花了足够养活一个四口之家五年的钱，获得了在 CIFAR-10 上 0.03% 的改进，创建了新的 SOTA，这一切值得吗？」

这一质疑得到了众多领域人士的附和。有研究人员甚至悲观地表示，「我几乎对深度学习失去了兴趣，作为小型实验室的从业者，在计算预算方面基本上不可能比得过科技巨头。即使你有一个很好的理论想法，主流环境可能也存在偏见，让它难以看到曙光。这酿成了一个不公平的竞争环境。」

随着该话题的继续发酵，Jeff Dean 亲自在 reddit 上进行了回应。他表示，「我们这项研究的目标不是为了得到一个更高质量的 cifar10 模型，而且原帖作者成本计算的方式也有问题。」

Jeff Dean 回应全文

这篇论文是我和 Andrea Gesmundo 两人一起完成的，其中 Andrea Gesmundo 做了论文大部分工作。

论文地址：https://arxiv.org/pdf/2205.12755.pdf

我想说的是，这项研究的目标不是得到一个高质量的 cifar10 模型。相反，这项研究是探索一种设置，可以动态地将新任务引入正在运行的系统中，并成功地为新任务获得一个高质量的模型，该模型将重用现有模型中的表示并稀疏地引入新参数，同时避免了灾难性遗忘或负迁移等多任务系统问题。

该研究的实验表明，我们可以从几个独立的可视化任务基准中动态地引入 69 个不同任务流，最终得到一个多任务系统，它可以为所有这些任务联合产生高质量的解决方案。所得到的模型对任何给定的任务都是稀疏激活的，系统为新任务引入的新参数越来越少（参见下图 2）。多任务系统在这个任务流的末尾只为增量任务引入了 1.4% 的新参数，每个任务平均激活模型总参数的 2.3%。任务之间有相当多的表示共享，演化过程有助于确定何时有意义以及何时应该为新任务引入新的可训练参数。

我还认为原贴作者对成本的计算是错误的，实验是训练一个多任务模型来共同解决 69 个任务，而不是训练一个 cifar10 模型。从下表 7 中可以看出，所使用的计算是 TPUv3 核和 TPUv4 核的混合，因此不能简单地计算核小时数，因为它们的价格不同。

除非你有特别紧急的任务，需要快速训练 cifar10+68 个任务，其实这类研究可以很容易地使用可抢占价格的资源，即 0.97 美元 / 小时 TPUv4、0.60 美元 / 小时 TPUv3(不是他们所说的你必须按需定价 3.22 美元 / 小时)。在这些假设下，表 7 中描述的计算公共云成本大约是 13960 美元（使用 12861 TPUv4 芯片小时和 2474.5 TPUv3 芯片小时的可抢占价格），或者说是大约 202 美元 / 任务。

我认为拥有稀疏激活的模型很重要，且能够动态地将新任务引入到现有系统中，该系统可以共享表示（在适当的情况下）并避免灾难性遗忘，这些研究至少值得探索。该系统还有一个优点，即新任务可以自动被纳入系统，而无需为此进行专门制定（这就是进化搜索过程所做的），这似乎是一个持续学习系统的有用属性。

这篇论文的代码是开源的，大家可以自行查看。

代码地址：https://github.com/google-research/google-research/tree/master/muNet

原贴作者回复 Jeff Dean

在看到 Jeff Dean 的回复后，原贴作者表示：澄清一下，我认为 Jeff Dean 的这篇论文（在每个任务中用来产生模型扩充的进化模式）真的很有趣，这让我想起了另一篇论文，但我不记得标题了，论文大概是讲对于每个新任务，向整个体系架构添加新的模块，将其他模块的隐藏状态作为每层输入的一部分，但不更新现有组件的权重。

我还有一个想法，在每个任务的模型中构建模块。你知道小鹿是如何在出生后几分钟内就能走路的吗？相比之下，在那个时候，刚出生的小鹿基本上没有「训练数据」来学习感知运动或对世界进行建模，而是必须利用大脑中的特殊结构，而这些结构必须能够继承以让小鹿拥有基本技能。这些结构将是非常有用的，所以在某种意义上，它将迅速推广到一个新的但相关的控制任务。

因此，这篇论文让我想到了那些已经存在的可继承结构的发展，这些结构可以用来更有效地学习新任务。

另一家实验室的研究人员可能有相同的 idea，但得到的结果要差得多，因为他们负担不起从现有设置转移到大型云平台的费用。并且，由于现在社区过度关注 SOTA 结果，他们的研究也无法发表。即使费用「仅为」202 美元 / 每任务，但必须经过多次迭代才能将事情做好。

因此，对于我们这些无法获得足够计算预算的人来说，我们的选择基本上只有两种。一是祈祷并希望谷歌能够公开分发现有的模型，然后我们根据自身需求进行微调。但结果是，模型可能已经学习到我们无法消除的偏见或对抗性弱点。二是啥都不做，躺平。

所以，我的问题不仅仅在于这项研究。如果 OpenAI 想在 GPT-4 上花费上百万亿美元（打个比方），那就赋予它更多的权力。这是一种过度奖励浮华、大数目和奢侈的科学和出版文化，而无益于帮助人们更好地完成实际的工作。我最喜欢的论文是 van der Oord 在 2019 年发表的《Representation Learning with Contrastive Predictive Coding》，它使用无监督预训练任务，然后对一个小的标签子集进行监督训练，以实现复制标记所有数据的准确率结果，并从数据效率的角度讨论这种提升。我在工作中复现并使用了这些结果，节省了自己的时间和金钱。就凭这篇论文，我就愿意成为他的博士生。

但是，OpenAI 在论文《Language Models are Few-Shot Learners》中提出了更大的 transformer 模型 GPT-3，获得了近四千次引用以及 NeurIPS 2020 最佳论文奖，还获得整个媒体的关注。

参考链接：

https://twitter.com/JeffDean/status/1530676968974262279

https://www.reddit.com/r/MachineLearning/comments/uyratt/d_i_dont_really_trust_papers_out_of_top_labs/iacwmpb/

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

计算机视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~