文章分享《Supervised Contrastive Learning》 自监督对比学习和有监督对比学习的区别
文章题目 Supervised Contrastive Learning
作者：
- Prannay Khosla
- Piotr Teterwak
- Chen Wang
- Aaron Sarna
时间：2020
会议：NeurIPS
文章的主要思想
文中的一张图很清楚明了的表明了自监督对比学习与有监督对比学习的区别。自监督的对比学习中，一个样本对应着data augmentation一个正样本和多个负样本，以往的关于对比学习的研究中，也是热衷于不断增加负样本的数量来提高模型的表征能力；有监督的对比学习，将同一类的样本（这样就已知标签，所以叫做有监督的对比学习）都作为正样本，不同类的样本多作为负样本。
文章的主要贡献
正如文中所说，这就是的自监督对比学习的损失函数在有监督的对比学习中不能适用，它不能处理由于标签的存在而已知有多于一个样本（一个样本对应着多个正样本）属于同一类别的情况。
因此文中设计了两种针对有监督对比学习的损失函数。根据公式可以这样理解，仍然默认一个样本对应一个正样本，将其按照自监督对比损失的方法计算，然后再计算这个样本与另一个正样本的对比损失，直到计算完所有的样本的对比损失。公式out与公式in的区别在于平均是在取log前还是在log后，文章中竟然在两种方法上做出了差别，并给出了公式证明（所以说，想发好的期刊会议公式证明必不可少）。
本文最后
文章后面的内容都是实验与结果了，快速阅读时就不细致看了，当想学习如何写作和做实验时可以详细阅读，现在以快速接受为主。
文章分享《Supervised Contrastive Learning》 自监督对比学习和有监督对比学习的区别相关推荐
- Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别
Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别--2022 PRL 文章链接:https ...
- NIPS20 - 将对比学习用于监督学习任务《Supervised Contrastive Learning》
文章目录 原文地址 论文阅读方法 初识 相知 回顾 代码 原文地址 原文 论文阅读方法 三遍论文法 初识 对比学习这两年在自监督学习.无监督学习任务中非常火,取得了非常优秀的性能.这个工作就是想办法将 ...
- Supervised Contrastive Learning（学习笔记）
Supervised Contrastive Learning NeurlPS2020 原文链接: https://arxiv.org/pdf/2004.11362v4.pdf b站讲解视频: htt ...
- 论文阅读笔记（7-1）---Supervised Contrastive Learning
原文链接 B站讲解视频 Toutube视频搬运 参考解读 参考解读 研究背景 交叉熵损失函数是分类模型监督学习中应用最广泛的损失函数,但是它具有对噪声标签缺乏鲁棒性.边界性差等特点,泛化能力较差. 研 ...
- Targeted Supervised Contrastive Learning for Long-Tailed Recognition(2022.5.14)
(一)解决的问题: 数据往往呈现出长尾分布,类间严重失衡,多数类可能主导训练过程,并改变少数类的决策边界. (二)动机: 提出一种平衡采样的方法,同时能够学习到统一的特征空间,使长尾分布的数据在特征空 ...
- Supervised Contrastive Learning For Recommendation
摘要: 我们的目的是充分考虑对比学习在推荐系统场景中的应用,使其更适合于推荐任务.我们提出了一个监督对比学习框架来预训练用户-项目二部图,然后对图卷积神经网络进行微调.具体来说,我们将在数据预处理过程 ...
- 对比学习（Contrastive Learning）综述
A.引入 https://zhuanlan.zhihu.com/p/346686467 A.引入 深度学习的成功往往依赖于海量数据的支持,其中对于数据的标记与否,可以分为监督学习和无监督学习. 1 ...
- 图对比学习入门 Contrastive Learning on Graph
对比学习作为近两年的深度学习界的一大宠儿,受到了广大研究人员的青睐.而图学习因为图可以用于描述生活中广泛出现的非欧式数据,具有广大的应用前景.当图学习遇上了对比学习- 本文从对比学习入手,再介绍图对比 ...
- 2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning
[论文阅读笔记]2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Lear ...
最新文章
- 前端模块化--这是我看过讲得比较好的东东
- 一周一论文（翻译 总结）— [SOCC 14] DaRPC: Data Center RPC 基于RDMA的高性能通信RPC
- ASP.NET之纠错
- Acegi 安全框架
- html5播放视频只有声音不出现画面？
- C语言 文件读写 fseek 函数 - C语言零基础入门教程
- 【sqoop】sqoop概念，功能，架构，版本
- linux shell: 搜索字符串,剔除包含特定字符的行
- IE8的css hack
- Bailian2798 2进制转化为16进制【进制】
- net 调用java_NET调用Java之100-Continue的坑
- Kibana：Heatmap 可视化介绍及 how-to
- XML 教程（一文彻底搞懂XML）
- 有向图的深度优先遍历
- 基于SSM的高校学生宿舍报修管理系统
- 【插件】油猴插件安装
- 多线程——保证线程安全
- 如何快速构建社交APP中的语音房
- IIS6.0文件解析漏洞
- 机器学习笔记15——决策树(DT)、ID3算法、C4.5算法原理以及python实现案例