supervised contrastive learning 解读

SupCon 定义：

Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes.

novelties：

属于同一类的归一化后的特征表示靠得越近越好，不同类的靠的越远越好。并且，一个anchor 样本，具有多个正样本，sel-sup 通常只用一个正样本；负样本也是多个。

传统的limitations：

cross-entropy loss的缺陷：面对噪声标签，鲁棒性差，possibility of poor margins ？？

传统的方法，在大数据集上的实验效果不好，比如说Imagenet。

triplet loss每个anchor样本只对比一个正样本和负样本，

N-pair loss 每个anchor样本，一个正样本，多个负样本。

Related work

Merging the findings of our paper and CCLP is a promising direction for semi-supervised learning research.

self-supervised learning 和 supervised contrastive 对比

左侧是self-sup，在特征表示空间，即使是同一类的样本也会距离比较远，右侧是有监督的对比学习，同一类样本，相距比较近。

supervised contrastive learning 解读相关推荐

Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别
Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别--2022 PRL 文章链接:https ...
Supervised Contrastive Learning（学习笔记）
Supervised Contrastive Learning NeurlPS2020 原文链接: https://arxiv.org/pdf/2004.11362v4.pdf b站讲解视频: htt ...
文章分享《Supervised Contrastive Learning》自监督对比学习和有监督对比学习的区别
文章题目 Supervised Contrastive Learning 作者: Prannay Khosla Piotr Teterwak Chen Wang Aaron Sarna 时间:2020 ...
NIPS20 - 将对比学习用于监督学习任务《Supervised Contrastive Learning》
文章目录原文地址论文阅读方法初识相知回顾代码原文地址原文论文阅读方法三遍论文法初识对比学习这两年在自监督学习.无监督学习任务中非常火,取得了非常优秀的性能.这个工作就是想办法将 ...
论文阅读笔记（7-1）---Supervised Contrastive Learning
原文链接 B站讲解视频 Toutube视频搬运参考解读参考解读研究背景交叉熵损失函数是分类模型监督学习中应用最广泛的损失函数,但是它具有对噪声标签缺乏鲁棒性.边界性差等特点,泛化能力较差. 研 ...
Targeted Supervised Contrastive Learning for Long-Tailed Recognition(2022.5.14)
(一)解决的问题: 数据往往呈现出长尾分布,类间严重失衡,多数类可能主导训练过程,并改变少数类的决策边界. (二)动机: 提出一种平衡采样的方法,同时能够学习到统一的特征空间,使长尾分布的数据在特征空 ...
Supervised Contrastive Learning For Recommendation
摘要: 我们的目的是充分考虑对比学习在推荐系统场景中的应用,使其更适合于推荐任务.我们提出了一个监督对比学习框架来预训练用户-项目二部图,然后对图卷积神经网络进行微调.具体来说,我们将在数据预处理过程 ...
对比学习（Contrastive Learning）综述
A.引入 https://zhuanlan.zhihu.com/p/346686467 A.引入深度学习的成功往往依赖于海量数据的支持,其中对于数据的标记与否,可以分为监督学习和无监督学习. 1 ...
Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and
paper: Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localizati ...
论文阅读 (68)：Self-Contrastive Learning: An Efficient Supervised Contrastive Framework with Single...
文章目录 1 引入 1.1 题目 1.2 摘要 1.3 Bib 2 自对比学习 2.1 SupCon损失 2.2 SelfCon损失 1 引入 1.1 题目 2021自对比学习:单视图和子网络下的 ...

supervised contrastive learning 解读

supervised contrastive learning 解读相关推荐

最新文章

热门文章