对比学习Contrastive Learning

对比学习是一种常用的自监督学习方法。

核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin, 但是对比学习为正负样本分类，无margin概念）

方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。

优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图

经典方法：

memory bank:利用instance 分类，即每一个图片是一个类别。如imagenet就有120万类&

对比学习Contrastive Learning相关推荐

从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)
从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering) 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailug ...
理解对比表示学习(Contrastive Learning)
目录一.前言二.对比学习三.主要论文(附代码分析) 1. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 2019 ...
理解对比学习(contrasive learning)
1.什么是对比学习? 对比学习,顾名思义就是在训练中和某些东西进行对比从而学习,在自编码器中,输出与自己进行对比,从而得到一个中间量latent code,我认为这也是一种对比学习. 2.对比学习框架 ...
图对比学习入门 Contrastive Learning on Graph
对比学习作为近两年的深度学习界的一大宠儿,受到了广大研究人员的青睐.而图学习因为图可以用于描述生活中广泛出现的非欧式数据,具有广大的应用前景.当图学习遇上了对比学习- 本文从对比学习入手,再介绍图对比 ...
SimCSE：用于句子嵌入的对比学习
目录引言对比学习Contrastive Learning SimCSE思想无监督下的SimCSE 有监督下的SimCSE 连接各向异性Connection to Anisotropy 分析引言 ...
MoCo 动量对比学习——一种维护超大负样本训练的框架
MoCo 动量对比学习--一种维护超大负样本训练的框架 FesianXu 20210803 at Baidu Search Team 前言在拥有着海量数据的大型互联网公司中,对比学习变得逐渐流行起来 ...
对比学习顶会论文系列-3-2
文章目录一.特定任务中的对比学习 1.2 摘要生成中的对比学习--SimCLS: A Simple Framework for Contrastive Learning of Abstractive ...
张俊林：对比学习研究进展精要
作者 | 张俊林编辑 | 夕小瑶的卖萌屋对比学习(Contrastive Learning)最近一年比较火,各路大神比如Hinton.Yann LeCun.Kaiming He及一流研究机构比如F ...
对比学习（一）-双塔模型-simCLR
对比学习链接对比学习引言 bert在对比学习中起到的作用: **对比学习的作用:** 生成式自监督学习: 判别式自监督学习 simCLR SimCLR正负例构建 SimCLR表示学习系统构建 Si ...

对比学习Contrastive Learning

对比学习Contrastive Learning相关推荐

最新文章

热门文章