详解自监督发展趋势! 何恺明连获三年CVPR最高引用的秘诀是?
点击文末公众号卡片，不错过计算机会议投稿信息
0 引言
许多加了我好友的读者知道尼谟之前的研究方向是“自监督学习”，而最近我无意中发现，CVPR最近三年引用量最高的论文竟然都是来自监督学习领域的，且三篇论文的作者都包括Facebook AI Research的何恺明（以下引用量均为2022.11.29.查询自Google Scholar）：
（1）CVPR2020引用量最高论文为MoCo，引用量5224
Momentum Contrast for Unsupervised Visual Representation Learning
（2）CVPR2021引用量最高论文为SimSiam，引用量为1420
Exploring Simple Siamese Representation Learning
（3）CVPR2022引用量最高论文为MAE，引用量为834
Masked Autoencoders Are Scalable Vision Learners
碰巧这三篇论文我都较为熟悉，尼谟想斗胆聊聊（视觉）自监督学习领域为什么有这么高的关注度，以及何恺明这几篇工作究竟有什么共同点，能屡次获得高引用。希望这篇文章能对大家的科研工作有一些启发。
1 自监督学习简介
首先简单介绍下自监督学习的概念。自监督学习（Self-supervised Learning），笼统而言，是对于“损失函数中使用到的监督信息无需人工标注”的训练范式的一种统称，自监督学习可以用在预训练上，也可以用在实际任务本身的训练上，当然目前看来还是用在预训练上的情况显著更多。
具体举例来说，比如我有一堆无标注的图像数据，我希望通过这堆数据训练一个编码器网络，使其作为预训练模型迁移到下游的目标检测任务中时，可以比我从零训练得到的目标检测模型有更好的表现。于是我可以将每张无标注图像切分成九块，然后打乱其顺序，之后训练一个网络，使其能预测出正确的九宫格排列顺序，这样的训练过程就叫“自监督学习”，这样训练出了的网络的编码器（表征网络）部分就可以迁移到下游任务上使用。
所以，用于预训练模型的自监督学习也在很多论文中被说成是“无监督表征学习”（Unsupervised Representation Learning）。
在自监督学习领域，NLP（自然语言处理）显然走在CV（计算机视觉）的前列。在NLP中BERT、GPT-3等基于自监督学习的预训练模型早已在不同的NLP应用领域中大放异彩，而CV中的自监督学习还远远没有达到如此高的应用普及程度。然而这一现状也完全可以看作是一个可以“科研套利”的点，即，既然自监督学习在NLP中能有这样广泛和深入的应用，那么不久的将来，自监督学习在CV中的应用程度也会不断接近于当前NLP的现状。
进一步说，现实世界中，当我们面对特定任务时，无论是语料数据还是图像视频数据，真能有针对任务本身的标注信息的情况下的数据一定是占总数据量的1%都不到的，所以未来的大趋势必然就是要让AI能针对无标注信息有更强的学习能力，这就更体现出自监督学习的巨大潜力。
2 MoCo--对比学习的崛起
上面说了这么多废话，主要就是想说明为什么自监督学习这个领域能有这么巨大的关注度。接下去就要具体地去聊这三篇论文了。在聊这三篇文章前，我们首先要了解一个概念叫“对比学习”（Contrastive Learning）。根据我上面的介绍，大家也可以看出，自监督学习研究的核心在于，如何在数据集无标注信息的情况下设计一个好的lossfunction，使得训练得到的模型能更好地从无标注数据中学习到有利于下游任务的知识（当然针对不同的网络Backbone结构肯定有不同的适用的自监督学习方法，但这块儿研究的核心还是loss设计而不是backbone设计）。
（视觉）自监督学习最早可以追溯到16-17年，早期的方法大部分都是偏向于生成式的方法，其网络结构一般都是类Autoencoder形式的。而2020年至今自监督学习中最为常用和有影响力的loss function是什么呢？我觉得大家都会同意的答案，就是InfoNCE，而对比学习就是使用InfoNCE及其变种对网络进行自监督学习训练（以学习到样本经过随机数据增强时的Invariance）的一种统称。InfoNCE函数长成下面这个样子：
简单说下这个loss的学习目标到底是啥。将同一个样本做两次随机数据增强得到两个增强样本，这两个样本是不同的（由于数据增强具有随机性，比如增加随机的高斯噪声），但它们包含的某些语义信息是高度相似的。数据增强过程参考下图[5]：
将这两个样本输入同一个编码器网络，能提取得到两个表征向量，而InfoNCE的学习目标，就是要让这两个来自同一样本的增强样本的表征向量尽量接近，而让每个表征向量和来自其不同样本的表征向量尽量远离。参考下图所示[5]：
这听起来是一个非常简单的idea，但是这个方法真的有效，最早该loss function被应用在（视觉）自监督学习中应该是在2019年的论文CPC中[4]（我的印象中是这样，如果有人知道更早的也可以告诉我），被“发扬光大”则是在今天提到的三篇论文中的第一篇MoCo中。
MoCo之前也有人将InfoNCE应用于学习到随机数据增强中蕴含的Invariance中（以下简称为“对比学习”），但MoCo在工程实践上展现出了FAIR和何恺明的实力，它无论是在性能效果上还是在实验充分性上都有着代表性的价值，所以MoCo某种程度上可以认为是对比学习应用于视觉自监督学习中的开山之作。之后大量的对比学习工作，其各种改进和变种都喜欢以MoCo的方法为基础进行修改，可见其影响力之高（因为大家都在MoCo的基础上修修改改，所以它的引用量自然就特别高了）。
3 SimSiam--对比学习的去负样本化
继MoCo之后，对比学习中又出了SimCLR[5]等几个很有影响力的工作。而在不久后，对比学习的研究又掀起了一阵新的风潮，叫做“去负样本化”。
这个“负样本”又是个什么玩意儿呢？让我们复制一下上面对“对比学习”的描述：“而InfoNCE的学习目标，就是要让（1）这两个来自同一样本的增强样本的表征向量尽量接近，（2）而让每个表征向量和来自其不同样本的表征向量尽量远离。”对于每个表征向量来说，所有与其来自不同样本的表征向量都是它的负样本，因为InfoNCE的学习目标要求它要和与这些负样本都互相远离，而与其来自同一样本不同随机数据增强的表征向量则是它的正样本。各种自监督工作都显示，负样本越多则使用InfoNCE训练的效果越好。MoCo之所以效果好，就是因为该方法通过巧妙设计queue-based的memory bank大大增加了训练时的负样本数量。
为什么一定需要这些负样本呢？我们只让两个来自同一样本的增强样本的表征向量尽量接近，难道无法学习到Invariance吗？无数研究表明，不行。简而言之，只有目标（1）而没有（2），自监督学习训练得到的编码器网络，无论你输入什么样本，它都会输出一样的表征向量，因为这样也能完美满足目标（1）的要求，这种现象在自监督学习中被称为“complete collapse”。
然而，随着BYOL[6]工作的提出，人们逐渐发现了一些不使用显性负样本也能规避“completecollapse”的情况，由于这种现象一定程度上比较反直觉，于是这方面的工作开始受到了越来越多的关注。之后，SimSiam，也就是我们今天提到的第二篇论文，成为了“去负样本化”对比学习中具有总结性的一篇工作，而且它的学习框架可以说是最简单的。
SimSiam的详细框架这里不多做赘述了，简而言之，SimSiam在仅用（1）作为学习目标的情况下，通过一个Stop Gradient和一个被称为predictor的小MLP网络，就可以规避“complete collapse”而达到与MoCo相近的性能效果。如果用一句话来描述SimSiam，那我觉得应该是“去负样本化对比学习中最简单的方法”。
4 MAE--对比学习的新对手
之后，到了2021年11月，何恺明又在arXiv上挂了一篇新的工作，不同于以往自监督学习以卷积神经网络为主要的backbone来进行实验，何恺明的新作，主要针对Vision Transformer（一类针对视觉任务设计的Transformer结构）作为backbone来进行实验，并提出一个颠覆性的观点：类Autoencoder方法在针对Vision Transformer的自监督学习中，相较于对比学习能有更好的效果。最关键的是，这个方法的框架又又又非常简单，具有一种简洁的美感。简而言之，将一张图片中挖出很多方形的空白区域，再训练一个模型使其有能力将其填上（参考下图[3]）。这个方法光看描述就像是2017年的自监督学习论文被改写了一下来水论文的，然而人家Kaiming就是能做出效果来，效果还能超对比学习，详细细节还是看论文吧。
5 结语
总结一下，何恺明参与的这三篇高引用量自监督学习工作，它们都有一个特点，都是研究范式转换的一个节点，而不是固有研究范式中的新方法或新解释。（当然也不是说其他自监督学习工作没影响力，毕竟别人可能没投CVPR。）三篇论文分别可以（不严谨地）归纳为：
MoCo：对比学习崛起的开山之作（之一）
SimSiam：对比学习去负样本化的集大成之作（之一）
MAE：对比学习的地位动摇之作（之一）
值得一提的是，SimSiam工作提出时并不是当时同类方法中刷点最高的，MAE更是没和之前的工作在同样的实验方式下做比较（而是针对另一种backbone做研究了）。所以SOTA不是研究的全部，范式转换可能是更有性价比也更有意思的工作。当然范式转换和SOTA都挺难的，虽然我们能总结出这些高影响力工作的特点，但是其实也没啥用哈哈，看个乐吧。
参考文献
[1] He, Kaiming, et al. "Momentum contrast for unsupervised visual representation learning." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.
[2] Chen, Xinlei, and Kaiming He. "Exploring simple siamese representation learning." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[3] He, Kaiming, et al. "Masked autoencoders are scalable vision learners." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.
[4] Oord, Aaron van den, Yazhe Li, and Oriol Vinyals. "Representation learning with contrastive predictive coding." arXiv preprint arXiv:1807.03748 (2018).
[5] Chen, Ting, et al. "A simple framework for contrastive learning of visual representations." International conference on machine learning. PMLR, 2020.
[6] Grill, Jean-Bastien, et al. "Bootstrap your own latent-a new approach to self-supervised learning." Advances in neural information processing systems 33 (2020): 21271-21284.
三篇论文链接：
MoCo: https://arxiv.org/pdf/1911.05722.pdf
SimSiam: https://arxiv.org/pdf/2011.10566.pdf
MAE: https://arxiv.org/pdf/2111.06377.pdf
本文首发于【计算机会议投稿】公众号，作者尼谟为中科院自动化所工程师。该公众号为CCF所有收录会议设立投稿交流群，后台回复会议名即可进群，群内活跃度高，进群讨论不错过会议信息。公众号文章会发布近期截稿会议、转投会议推荐、录用率趋势、录用分数分析等重要信息，欢迎各位计算机科研人关注本号或与尼谟交流。详解自监督发展趋势! 何恺明连获三年CVPR最高引用的秘诀是?相关推荐
- CVPR 2021 最佳论文奖项出炉，何恺明等获最佳论文提名 ！
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:AI科技评论,专知 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下 ...
- CVPR 2022缅怀孙剑！同济、阿里获最佳学生论文奖，何恺明入围
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 来源丨新智元 编辑丨极市平台 导读 2年没见,CVPR 2022终于 ...
- 极限定律 My Algorithm Space AC自动机算法详解
转载自:http://www.cppblog.com/mythit/archive/2009/04/21/80633.html 首先简要介绍一下AC自动机:Aho-Corasick automatio ...
- Java类的加载过程详解 面试高频！！！值得收藏！！！
受多种情况的影响,又开始看JVM 方面的知识. 1.Java 实在过于内卷,没法不往深了学. 2.面试题问的多,被迫学习. 3.纯粹的好奇. 很喜欢一句话: 八小时内谋生活,八小时外谋发展. 望别日与 ...
- ioctl 函数 参数 详解
2019独角兽企业重金招聘Python工程师标准>>> ioctl 函数 参数 详解 2009-04-24 11:55 ioctl函数 本函数影响由fd参数引用的一个打开的文件. # ...
- 谷歌2019 学术指标发榜：CVPR首次进入Top 10，何恺明论文引用最高！
来源:新智元 本文约2400字,建议阅读5分钟. 谷歌2019年学术指标榜单~ 近日,谷歌发布了2019最新版学术指标,对收录的会议和期刊的影响力进行排名.AI类的多个顶会进入榜单Top 100,CV ...
- java关键字super指什么_java 关键字super详解及用法
java 关键字super详解 一.super关键字 在JAVA类中使用super来引用父类的成分,用this来引用当前对象,如果一个类从另外一个类继承,我们new这个子类的实例对象的时候,这个子类对 ...
- 详解何恺明团队4篇大作 !（附代码）| 从特征金字塔网络、Mask R-CNN到学习分割一切
来源:新智元 作者:krish 本文5000字,建议阅读10+分钟. 本文介绍FAIR何恺明.Tsung-Yi Lin等人的团队在计算机视觉领域最新的一些创新,包括特征金字塔网络.RetinaNet. ...
- 详解何恺明团队最新作品：源于Facebook AI的RegNet
2020-06-18 14:50:24 机器之心转载 来源:计算机视觉研究院 作者:Edison_G 前段时间,何恺明组的研究者提出了一种新的网络设计范式.与以往研究不同,他们没有专注于设计单个网络实 ...
最新文章
- mysql查询表的数据大小
- 如何做一个好的互联网老板(二)
- Python 位运算符号
- 全球及中国教育信息化行业投资模式与发展建议咨询报告2022版
- Spring AOP里面的几个名词的概念：
- CodeForces - 1486E Paired Payment(分层图最短路)
- MUI组件：弹出层组件 - 案例篇
- python是什么专业-python主要学什么？
- php基本语法的几点备忘
- c语言ld怎么声明,ld C语言编程开发
- MIPI DSI CLK计算
- 自考学习记录 课程代码03708《中国近代史纲要》1
- css中子元素设置margin-top会影响到父元素
- 华硕笔记本电脑重装系统后不能读取usb，不能上网
- 半加器和全加器的维基百科
- Run-Time Check Failure #2 - Stack around the variable was corrupte问题处理
- Matlab软件绘制图像线颜色（RGB)参数设置
- 推荐几款工具，提升十倍工作效率
- 使用xhshell 7 链接VMware虚拟机
- 西门子PLC定时器ton与tonr的差异