有监督、半监督、无监督、弱监督、自监督的定义和区别

个人对这几个名词粗浅的理解和区分，不甚全面，仅供参考。

有监督：用有标签的数据训练；
无监督：用无标签的数据训练；
半监督：同时用有标签和无标签的数据进行训练。最近非常火热，此领域的发展也非常迅速，先前通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这个模型对（较大规模的）无标签数据预测伪标签，作为Student模型的训练数据；目前已经有很多直接end-to-end地训练，大大减少半监督训练的工作；
自监督：在无标注数据上训练，通过一些方法让模型学习到数据的inner representation，再接下游任务，例如加一个mlp作为分类器等。但接了下游任务之后还是需要在特定的有标签数据上finetune，只是有时候可以选择把前面的层完全固定，只finetune后面接的网络的参数。
弱监督：用包含噪声的有标签数据训练。

以上各个概念的分类并不是严格互斥的。

有监督、半监督、无监督、弱监督、自监督的定义和区别相关推荐

【小样本基础】有监督小样本，半监督小样本，无监督小样本
本篇博客探讨的主要是小样本的分类问题目录 1. 问题定义 2. 有监督小样本分类 3. 半监督小样本分类 3.1 基于一致性约束的方法 3.2 基于伪标注的方法 4. 无监督小样本分类 4.1 基于 ...
读论文：基于自监督知识的无监督新集域适应学习
标题: 基于自监督知识的无监督新集域适应学习作者: 汪云云 , 孙顾威 , 赵国祥 , 薛晖文章目录 ==Abstract== ==Introduction== ==综述== 一.相关工作 1.1 ...
【CVPR 2020】化繁为简，弱监督目标定位领域的新SOTA - 伪监督目标定位方法(PSOL)...
论文提出伪监督目标定位方法(PSOL)来解决目前弱监督目标定位方法的问题,该方法将定位与分类分开成两个独立的网络,然后在训练集上使用Deep descriptor transformation(DDT ...
SH-SSS丨JSA-TOD：一种新型半监督对话系统，20%标注即接近全监督效果
SH Symposium Series on Speech (SH SSS 2022) ,SH SSS 是由语音之家打造的AI语音技术相关的前沿论文成果分享平台. 来自AI语音技术领域的优秀论文作者. ...
【自然语言处理】【知识图谱】SEU：无监督、非神经网络实体对齐超越有监督图神经网络？
SEU:从对齐到分配----简单有效的无监督实体对齐 <From Alignment to Assignment:Frustratingly Simple Unsupervised Entity ...
『RNN 监督序列标注』笔记-第一/二章监督序列标注
『RNN 监督序列标注』笔记-第一/二章监督序列标注监督序列标注(Supervised Sequence Labeling)与传统的监督模式分类(supervised pattern classi ...
#今日论文推荐# 多模态时序数据如何自监督？墨尔本理工等最新《自监督表示学习：多模态与时序数据》，全面阐述最新方法体系
#今日论文推荐# 多模态时序数据如何自监督?墨尔本理工等最新<自监督表示学习:多模态与时序数据>,全面阐述最新方法体系近年来,自监督表示学习(Self-Supervised Repres ...
Java强引用、软引用、弱引用、虚引用有什么区别？
在 Java 语言中,除了原始数据类型的变量,其他所有都是所谓的引用类型,指向各种不同的对象,理解引用对于掌握 Java 对象生命周期和 JVM 内部相关机制非常有帮助. 在Java语言中,除了基本数 ...
无符号整型与有符号整型变量的区别与联系—C/C++程序基础（五）
示例分析 #include<iostream> #include <stdio.h>struct Result {char c;char d;unsigned char e; ...

有监督、半监督、无监督、弱监督、自监督的定义和区别

有监督、半监督、无监督、弱监督、自监督的定义和区别相关推荐

最新文章

热门文章