A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

摘自MDPI：A Survey on Contrastive Self-Supervised Learning

摘要部分：
Self-supervised learning(自监督学习) has gained popularity because of its ability to avoid the cost of annotating(给…做注释) large-scale datasets. It is capable of adopting self-defined pseudolabels(伪标签) as supervision and use the learned representations(模型表示) for several downstream tasks. Specifically, contrastive learning has recently become a dominant component (重要的部分)in self-supervised learning for computer vision, natural language processing (NLP), and other domains(领域). It aims at embedding(把…嵌入) augmented(增强的) versions of the same sample close to each other while trying to push away embeddings from different samples. This paper provides an extensive review of self-supervised methods that follow the contrastive approach. The work explains commonly used pretext tasks(借口任务、代理任务) in a contrastive learning setup, followed by different architectures that have been proposed(提议) so far. Next, we present(可作提出) a performance comparison of different methods for multiple downstream tasks such as image classification, object detection, and action recognition. Finally, we conclude with the limitations of the current methods and the need for further techniques and future directions to make meaningful progress.
Keywords: contrastive learning; self-supervised learning; discriminative(有区别的) learning; image/video classification; object detection; unsupervised learning; transfer learning

翻译：自监督学习因为它可以避免给大规模数据做标注的成本而获得普及。它有能力采用自定义的伪标签做监督并使用学习好的模型表示几个下游任务。特别的，最近对比学习在自监督学习像计算机视觉、自然语言处理和其它领域已经是重要的组成部分。它旨在将相同样本的增强版本彼此靠近的嵌入，然后进一步推进不同样本的嵌入。这篇文章对遵循对比方法的自监督方法进行了广泛的回顾。这项工作解释了在对比学习程序中通常使用的代理任务，然后解释了到目前为止已经提出的不同的构架。接下来我们提出了几个下游任务的不同方法的性能比较，比如图像识别、物体检测、行为识别。最后，我们总结的当前方法的局限性和对未来技术和目标的需求，以取得有意义的进步。
关键词：对比学习、自监督学习、判别式学习、图像/视频分类、物体检测、无监督学习、迁移学习

名词理解：
pretext tasks：常被翻译为代理任务、借口任务。可以理解为是一种为达到特定训练任务而设计的间接任务。比如在训练神经网络时，我们需要自己设置一些参数的值，那么传统上我们会毫无目标的的随机进行设置，这样我们往往需要对参数进行大量的调整。但是我们现在拿出一部分数据先进行训练，得到一组参数的值，然后用这组参数的值作为初始值，那么在接下来的训练中往往大大减少了调整参数的工作量。这种有助于模型更好的执行目标任务的任务就称为pretext tasks。
Downstream task：常被翻译成下游任务，其就是利用预训练的模型在当前数据集的效果

A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释相关推荐

监督学习（supervised learning）与非监督学习（unsupervised learning）
一,监督学习(supervised learning): 监督学习(supervised learning)的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测. 即:利用 ...
Simple Contrastive Representation Adversarial Learning for NLP Tasks
论文目的对比学习是自监督学习在NLP中的应用,本文使用对抗方法生成对比学习需要的训练样本对,对比学习提升了对抗训练的泛华能力,对抗训练也增强了对比学习的鲁棒性,提出了两种结构:supervised ...
A brief introduction to weakly supervised learning（简要介绍弱监督学习）
文章转载自http://www.cnblogs.com/ariel-dreamland/p/8566348.html A brief introduction to weakly supervised ...
Improving noise robustness of contrastive speech representation learning with speech reconstruction
Improving noise robustness of contrastive speech representation learning with speech reconstruction ...
ML之SL：监督学习(Supervised Learning)的简介、应用、经典案例之详细攻略
ML之SL:监督学习(Supervised Learning)的简介.应用.经典案例之详细攻略目录监督学习(Supervised Learning)的简介 1.监督学习问题的两大类-分类问题和回归 ...
文献记录(part36)--A survey on heterogeneous network representation learning
学习笔记,仅供参考,有错必纠关键词:异构网络:网络表征学习:机器学习文章目录 A survey on heterogeneous network representation learning 摘 ...
【论文翻译|2021】A survey on heterogeneous network representation learning 异构网络表示学习综述
文章目录摘要 1引言 2 相关工作 3 相关概念 4 分类 4.1 异构信息网络表示方法概览 4.2 异构信息网络嵌入算法的分类 4.3 基于路径的算法 4.3.1 传统的机器学习 5 讨论 5.1 ...
【论文导读】- Link Weight Prediction Using Supervised Learning Methods（使用监督学习方法的链路权重预测及其在Yelp网络中的应用）
文章目录论文信息摘要主要内容(contributions) 图模型和评价指标特征指标原图特征指标原始图转线图线图特征指标论文信息 Link Weight Prediction Usin ...
Self -Supervised Learning
Self -Supervised Learning 个人学习笔记: BART使用了MASS中的所有方法(五种),结果表现更好实验:将DNA表示中的A.T.C和G随机赋英文单词,将每个类别组成一个文本 ...
INF442 Amphi 6: Supervised learning and k-NN predictors | Genericity
INF442 Amphi 6: Supervised learning and k-NN predictors | Genericity 1. Supervised Learning 1.1 不同的损 ...

A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释相关推荐

最新文章

热门文章