对比学习系列论文SDCLR（一）-Self-Damaging Contrastive Learning论文的概括

1.研究背景（研究的问题）

一切的大背景是对比学习大发展

1.传统深度学习当中就存在这个问题。
2.虽然之前的工作指出，对比学习受到长尾问题影响比较小；但是作者实验发现长尾问题可能对对比学习影响更大。
3.因为我们在无监督学习当中没有有效的分类标签，所以传统的解决长尾问题的方法可能并不奏效。（大约隐含的就是还是得需要我们来解决这个问题）

2.使用方法（包含解决思路）

1.使用传统的simCLR的结构，最后也接正常的对比损失函数。
2.由于剪枝很容易剪掉不经常出现的长尾数据，这样就导致我们可以借助这个特点发现长尾数据。
3.我们通过剪枝获得不同的模型，这个模型忘记了长尾数据，之后使用对比损失函数让他和原来的网络拉近一点。这个拉近的过程其实就无形的强化了长尾数据。

对比学习系列论文SDCLR（一）-Self-Damaging Contrastive Learning论文的概括相关推荐

自监督对比学习系列论文（二）：有引导对比学习--SCCL，SwAV，PCL，SupervisedCon
自监督对比学习本篇承接前一篇自监督对比学习的介绍自监督对比学习系列论文(一):无引导对比学习–MOCO,SimCLR,这次主要关注于包含先验指导的对比学习,这一指导更进一步的可以区分为聚类指导以及 ...
自监督学习系列（二）：基于 Contrastive Learning
对⽐学习属于⾃监督学习,所以对⽐学习是没有标签的.对⽐学习是通过构造正负样例来学习特征,如何构造正负样例对对⽐学习来说很重要. 对于⼀个输⼊样本x来说,存在与之相似的样本x+以及与之不相似的样本x-, ...
对比学习系列论文SDCLR（二）-Self-Damaging Contrastive Learning
目录 0.Abstract 0.1逐句翻译 0.2总结 1. Introduction 1.1. Background and Research Gaps 1.1.1逐句翻译第一段(引出对比学习是否 ...
[论文阅读]（对比学习系列）
文章目录第一阶段:百花齐放 [2018] (CVPR) INstDisc [2019] (CVPR)Unsupervised Embedding Learning via Invariant and ...
对比学习系列论文MoCo v1（二）：Momentum Contrast for Unsupervised Visual Representation Learning
0.Abstract 0.1逐句翻译 We present Momentum Contrast (MoCo) for unsupervised visual representation learni ...
对比学习系列论文CPCforHAR(一)：Contrastive Predictive Coding for Human Activity Recognition
0.Abusurt 0.1逐句翻译 Feature extraction is crucial for human activity recognition (HAR) using body-worn ...
对比学习系列论文CPC（二）—Representation Learning with Contrastive Predictive Coding
0.Abstract 0.1逐句翻译 While supervised learning has enabled great progress in many applications, unsupe ...
对比学习系列（二）---MoCo 系列
MoCo 系列文章目录 MoCo 系列自监督 MoCo V1 前言动量对比 Dictionary as a queue Momentum update 代理任务 Shuffling BN 实验 ...
对比学习系列（四）---BYOL
BYOL 文章目录 BYOL BYOL 算法对比 BN的作用参考附录指数滑动平均 Group normalization Weight standardization BYOL MoCo,Sim ...

对比学习系列论文SDCLR（一）-Self-Damaging Contrastive Learning论文的概括

1.研究背景（研究的问题）

2.使用方法（包含解决思路）

对比学习系列论文SDCLR（一）-Self-Damaging Contrastive Learning论文的概括相关推荐

最新文章

热门文章