Adam又要“退休”了？耶鲁大学团队提出AdaBelief，却引来网友质疑

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

晓查发自凹非寺
量子位报道 | 公众号 QbitAI

要挑战Adam地位的优化器又多了一个。

近日NeurIPS 2020收录论文提出的一个优化器，在深度学习社区成为焦点，引起广泛讨论。

这就是由耶鲁大学团队提出的AdaBelief。团队在论文中表示，该优化器兼具Adam的快速收敛特性和SGD的良好泛化性。

所谓AdaBelief，是指根据梯度方向上的“信念”（Belief）来调整训练的步长。它和Adam在算法上的差别并不大。

二者差别在下面的算法实现上可以轻易看出。

相比Adam，AdaBelief没有引入任何其他新参数，只是在最后一步更新时有差异，已在上图中用蓝色标出。

Adam的更新方向是，而AdaBelief的更新方向是。v_t和s_t的差别在于，后者是的指数移动平均（EMA）。

m_t可以看做是g_t的预测值，当实际值与预测值相差不大时，分母较小，步长较大，权重放心大胆迈开步子更新。

而实际值与预测值相差很大时，AdaBelief倾向于“不相信”当前梯度，此时分母较大，更新步长较短。

为什么AdaBelief更好

只做在最后一步做了了一个小小的改变，未审核会产生如此之大的影响呢？

这主要是因为AdaBelief考虑了两点。

1、损失函数的曲率问题

理想的优化器应该考虑损失函数的曲线，而不是简单地在梯度较大的地方下采取较大的步长。

在“大梯度、小曲率”（图中区域3）情况下和很小，优化器应增加其步长。

2、分母中的梯度符号

在上图损失函数为的情况下，蓝色矢量代表梯度，十字叉代表最优解。

Adam优化器在y方向上振荡，并在x方向上保持前进。这是由于。在低方差情况下，Adam中的更新方向接近“符号下降”。

而在AdaBelief中，，因此AdaBelief在x方向上走了一大步，在y方向上只会走一小步，防止振荡产生。

实验结果

在简单的几种3维损失函数曲面上，AdamBelief展现出了优秀的性能。

图像分类

在CIFAR-10和CIFAR-100数据集上，用VGG11、ResNet34和DenseNet121三种网络进行训练，AdaBelief都显示出更好的收敛结果。

而且在ImageNet数据上，AdaBelief在Top-1准确率上仅次于SGD。

时间序列建模

在Penn TreeBank数据集上，用LSTM进行实验，AdaBelief都实现了最低的困惑度。

GAN

在WGAN和WGAN-GP上的实验表明，经AdaBelief训练的结果都得到了最低的FID。

网友质疑

虽然AdaBelief在多个任务上取得了不错的效果，但该方法还是遭到不少网友质疑。

因为这些年来号称取代Adam的优化器不计其数，但最终获得时间检验的却寥寥无几。

网友首先质疑的是实验baseline的选取问题。

有人认为，在CIFAR上，很难相信2020年SOTA模型的准确率低于96％，因此AdaBelief论文最终在选取baseline时有可能是选择了与不太好的结果进行比较。

在ImageNet测试的表2里，为什么要使用ResNet18代替更标准的ResNet50？而且AdaBelief不是最优结果，却用加粗方式标出，容易让人产生误解。绝妙的技巧是将提出的方法的得分加粗。

另外，还有人在作者未测试的NLP任务上进行实验，很快AdaBelief就“崩溃”了，而SGD能够很好地收敛。

AdaBelief不会是最后一个意图取代Adam的优化器，它的泛化能力究竟如何，还有待更多研究者进一步地检验。

项目地址：
https://juntang-zhuang.github.io/adabelief/

论文地址：
https://arxiv.org/abs/2010.07468

代码地址：
https://github.com/juntang-zhuang/Adabelief-Optimizer

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~