supervised——＞self-supervised

在CV中，以数据与神经网络为基础，我们通常以supervised的方式与unsupervised的方式来进行网络的训练，这些行为的目的都是为了想要使学到的网络能够具有较好的特征表示能力，以进行如分类、目标检测、语义分割等。这两种方式的主要异同在于数据是否有无label。

Supervised：

以简单的分类任务为例：

现有不同的猫的数据集：n张，标签均以1表示；不同的狗的数据集：n张，标签均以0表示；

以supervised的方式进行训练，将这些样例输入网络模型中，通过数据与标签构建损失，以进行梯度反传更新，最终目标使得同一类的特征表示尽可能相同。

以上方法可行的主要原因是：在相同的类标签下，这些样例具有相似的特征分布。

然而现实生活中，往往许多领域中的数据缺乏标注，如医疗诊断图像数据，而我们如何合理有效的利用这些数据，从这些数据中挖掘分析有用信息，以辅助我们的生活，为我们生活提供便利则显得格外重要。

Self-supervised

self-supervised中，往往是以contrastive learning的方式，以构建pretext tasks的形式来生成pseudo label进行模型训练。

主要是采用数据增强的方式，来构建正负样例对，目的是最大化正例样例对间的相似性，最小化负例样例对间的相似性。

缺陷：在上述方法中，均只考虑了所对应正例为一类，批量中的其余所有剩余样例均为该样例的负例，而忽略了这些样例中其他样例可能包含与正例同属于同一类的其他样例，不应该把它们都统归为负样本。

此处便涉及到了统计学的问题，只要在这批数据中，我的负样例足够多，反言之即正样例就相对很少，则这个别的正例被归为负样例所造成的影响会非常小。统计上将它们归为负样例是一个可取的问题，所以contrastive learning(SimCLR,MoCO)中对负样例的数据要求是很大的，因为负样例越多，被当成负样例的正样例占比就越少，对网络的影响也会越少，使得最终学习到的网络性能就越好。

参考知乎的一个解读：https://www.zhihu.com/question/402452508/answer/1352959115

通过对数据集的augmentation，并且迭代的去学习样本通过网络在特征空间的分布。该方法能够work的内在原理是，网络并非严格的学习样本自身的特性，而是学习了该样本所在分布的特性。

supervised——＞self-supervised相关推荐

深度学习与机器学习的思考
需要一些传统图像处理知识为佳. "end-to-end"(端到端)说的是,输入的是原始数据(始端),然后输出的直接就是最终目标(末端),中间过程不可知,因此也难以知. 就此,有人批 ...
Machine Learning－Introduction
What is Machine Learning? Supervised learning Unsupervised Learning 1. What is Machine Learning? Art ...
基于深度学习的病理_组织病理学的深度学习（第二部分）
基于深度学习的病理计算机视觉/深度学习/医学影像 (COMPUTER VISION/ DEEP LEARNING/ MEDICAL IMAGING) In the last part, we sta ...
逻辑回归是分类还是回归_分类和回归：它们是否相同？
逻辑回归是分类还是回归 You might have come across the terms Regression and Classification, and might as well th ...
深度学习(19): Deep Reinforcement learning（Policy gradientinteract with environment）
Deep Reinforcement learning AL=DL+RL Machine 观察到环境的状态,做出一些行为对环境产生影响,环境根据machine的改变给予一个reward.正向的acti ...
CHAPTER 23 Question Answering
CHAPTER 23 Question Answering Speech and Language Processing ed3 读书笔记 Two major paradigms of questio ...
Linear Regression Logistic Regression
Linear Regression & Logistic Regression Keywords List keywords you may encounter when exploring ...
My findings：CoordConv坐标嵌入技术及其泛化性能
title: CoordConv - My Surprising Findings author: yangsenius original url: https://senyang-ml.github ...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(一)
来源:AINLPer微信公众号(点击了解一下吧) 编辑: ShuYini 校稿: ShuYini 时间: 2020-01-22 2020年的ICLR会议将于今年的4月26日-4月30日在Mil ...

supervised——＞self-supervised

Supervised：

以简单的分类任务为例：

现有不同的猫的数据集：n张，标签均以1表示；不同的狗的数据集：n张，标签均以0表示；

以supervised的方式进行训练，将这些样例输入网络模型中，通过数据与标签构建损失，以进行梯度反传更新，最终目标使得同一类的特征表示尽可能相同。

以上方法可行的主要原因是：在相同的类标签下，这些样例具有相似的特征分布。

然而现实生活中，往往许多领域中的数据缺乏标注，如医疗诊断图像数据，而我们如何合理有效的利用这些数据，从这些数据中挖掘分析有用信息，以辅助我们的生活，为我们生活提供便利则显得格外重要。

Self-supervised

self-supervised中，往往是以contrastive learning的方式，以构建pretext tasks的形式来生成pseudo label进行模型训练。

主要是采用数据增强的方式，来构建正负样例对，目的是最大化正例样例对间的相似性，最小化负例样例对间的相似性。

缺陷：在上述方法中，均只考虑了所对应正例为一类，批量中的其余所有剩余样例均为该样例的负例，而忽略了这些样例中其他样例可能包含与正例同属于同一类的其他样例，不应该把它们都统归为负样本。

参考知乎的一个解读：https://www.zhihu.com/question/402452508/answer/1352959115

通过对数据集的augmentation，并且迭代的去学习样本通过网络在特征空间的分布。该方法能够work的内在原理是，网络并非严格的学习样本自身的特性，而是学习了该样本所在分布的特性。

supervised——＞self-supervised相关推荐

最新文章

热门文章