论文阅读笔记（7-1）---Supervised Contrastive Learning

原文链接
B站讲解视频
Toutube视频搬运
参考解读
参考解读

研究背景

交叉熵损失函数是分类模型监督学习中应用最广泛的损失函数，但是它具有对噪声标签缺乏鲁棒性、边界性差等特点，泛化能力较差。

研究成果

提出了一个新的扩展对比损失函数，对于每一个锚允许有多个正样本，从而适应对比学习的监督模式。有监督对抗损失函数是对自监督学习对抗损失函数的推广，它将所有标签信息相同的子数据都视作正对。作者指出对抗损失的核心是足够多的负对，以与正对形成鲜明对比，此外由于增加正对的数量，这一架构还可以很好的刻画类内相似性。
实验结果表明提出的损失函数为许多数据集提供了一致的top1精度提升。它对自然干扰的抵抗力也更强。
实验结果表明提出的损失对于超参范围的敏感性不如交叉熵，因为使用的损失将同一类样本的代表拉得更近，而不是像交叉熵一样强迫他们拉到一个特定的目标。
分析表明：损失函数的梯度鼓励从hard positive和hard negative中学习。

有监督方法vs自监督方法的对比损失：

supervised contrastive loss（左），将一类的positive与其他类的negative进行对比（因为提供了标签）, 来自同一类别的图像被映射到低维超球面中的附近点。
self-supervised contrastive loss（右），未提供标签。因此，positive是通过作为给定样本的数据增强生成的，negative是batch中随机采样的。这可能会导致false negative（如右下所示），可能无法正确映射，导致学习到的映射效果更差。

研究方法

论文核心点：

其基于目前常用的contrastive loss提出的新的loss，（但是这实际上并不是新的loss，不是取代cross entropy的新loss，更准确地说是一个新的训练方式）
contrastive loss包括两个方面：1 是positive pair，来自同一个训练样本通过数据增强等操作得到的两个 feature 构成，这两个feature会越来越接近， 2 是negative pair，来自不同训练样本的两个feature 构成，这两个feature 会越来越远离。本文不同之处在于对一个训练样本（文中的anchor）考虑了多对positive pair，原来的contrastive learning 只考虑一个。
其核心方法是两阶段的训练。如上图所示。从左向右分别是监督学习，自监督对比学习，和本文的监督对比学习。其第一阶段：通过已知的label来构建contrastive loss中的positive 和negative pair。因为有label，所以negative pair 不会有false negative。其第二阶段：冻结主干网络，只用正常的监督学习方法，也就是cross entropy 训练最后的分类层FC layer。

算法框架

与SimCLR类似。

论文阅读笔记（7-1）---Supervised Contrastive Learning相关推荐

论文阅读笔记（2）：Learning a Self-Expressive Network for Subspace Clustering，SENet，用于大规模子空间聚类的自表达网络
论文阅读笔记(2):Learning a Self-Expressive Network for Subspace Clustering. SENet--用于大规模子空间聚类的自表达网络前言摘要 ...
【论文阅读】【CVPR2022】Contrastive Learning of Class-agnostic Activation Map
Contrastive Learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and ...
论文阅读笔记：Low-Rank Tensor Graph Learning for Multi-view Subspace Clustering(LRTG)
@[TOC](Low-Rank Tensor Graph Learning for Multi-view Subspace Clustering(LRTG)) ★论文笔记-Low-Rank Tenso ...
Kaiming He论文阅读笔记三——Simple Siamese Representation Learning
Kaiming He大神在2021年发表的Exploring Simple Siamese Representation Learning,截至目前已经有963的引用,今天我们就一起来阅读一下这篇自监 ...
论文阅读笔记《Dynamic Few-Shot Visual Learning without Forgetting》
小样本学习&元学习经典论文整理||持续更新核心思想本文提出一种不会遗忘的动态小样本学习算法,严格来讲应该也属于基于外部记忆的小样本学习算法.本文的主体结构依旧是特征提取+分类器的组合, ...
论文阅读笔记《Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image》
核心思想本文提出一种通过图块匹配寻找图像和CAD模型之间的对应关系,并进一步实现位姿估计的算法.与许多从单目图像中实现目标物体三维识别并估计位姿的方法类似,本文也是通过从CAD模型库中检索最相似 ...
论文阅读笔记：SCAN: Learning to Classify Images without Labels
论文阅读笔记:SCAN: Learning to Classify Images without Labels 摘要简介和相关工作方法表征学习语义聚类损失 2.3 通过自标记进行微调 3 实验 ...
Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
论文阅读笔记：Improving Attacks on Speck32 / 64 using Deep Learning
论文阅读笔记:Improving Attacks on Speck32 / 64 using Deep Learning 本文通过神经网络利用了减少轮数的 Speck 的差分性质.为此,作者对神经网络 ...
【论文阅读笔记】Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer
摘要: 本文主要研究训练和测试类别不相交时(即没有目标类别的训练示例)的对象分类问题.在此之前并没有对于毫无关联的训练集和测试集进行对象检测的工作,只是对训练集所包含的样本进行分类.实验表明,通过使用 ...

论文阅读笔记（7-1）---Supervised Contrastive Learning

研究背景

研究成果

研究方法

算法框架

论文阅读笔记（7-1）---Supervised Contrastive Learning相关推荐

最新文章

热门文章