1 为什么需要 self-supervision？

为每个新的任务都创建一个新的数据集，开销是很大的
有些领域标注是很稀缺的（比如医疗领域）
有些领域数据集太大，来不及标注
self-supervision 很像婴儿学习的方式

2 什么是self-supervison

A form of unsupervised learning where the data provides the supervision（用数据本身创造label）
In general, withhold some part of the data, and task the network with predicting it
The task defines a proxy loss, and the network is forced to learn what we really

care about, e.g. a semantic representation, in order to solve it（proxy loss~~text loss）

NTU 课程笔记：self-supervised learning相关推荐

NTU 课程笔记： CV6422 regression
0 回顾在NTU 课程笔记:Nonparametric statistics_UQI-LIUWJ的博客-CSDN博客中,介绍了 Spearman Rank Correlation,来判断一对有样本之 ...
NTU课程笔记 mas714复习：例题
1 画DFA 1.1 题目描述 1.2 思路先绘制相应的NFA 然后使用NTU 课程辅助笔记: NFA到DFA的转化_UQI-LIUWJ的博客-CSDN博客将NFA转化成DFA 0 1 {A} { ...
ntu课程笔记7454 期中复习
LC 1 NTU 21fall-CE 7454(deep learning for data science)笔记_UQI-LIUWJ的博客-CSDN博客 Xβ=Y ,线性回归的结果是 X--> ...
NTU课程笔记 CE7454 (3)：MLPCNN
1 MLP 1.1 MLP的强大两层MLP几乎可以实现实数范围内的任何函数 2 激活函数,tanh 机器学习笔记:激活函数_UQI-LIUWJ的博客-CSDN博客 3 多分类问题 <
李菲菲课程笔记：Deep Learning for Computer Vision – Introduction to Convolution Neural Networks
转载自:http://www.analyticsvidhya.com/blog/2016/04/deep-learning-computer-vision-introduction-convoluti ...
Datacamp 笔记代码 Supervised Learning with scikit-learn 第四章 Preprocessing and pipelines
更多原始数据文档和JupyterNotebook Github: https://github.com/JinnyR/Datacamp_DataScienceTrack_Python Datacamp ...
Datacamp 笔记代码 Supervised Learning with scikit-learn 第一章 Classification
更多原始数据文档和JupyterNotebook Github: https://github.com/JinnyR/Datacamp_DataScienceTrack_Python Datacamp ...
NTU 课程笔记：Nonparametric statistics
0 前言我们回顾一下chi-square 分布,t分布和F分布不难发现,这三个都需要样本满足N(0,1)的条件,那么如果不满足N(0,1)的样本,怎么办呢? 这时候就需要用到nonparametr ...
NTU 课程笔记：CV6422 goodness of fit
1 goodness of fit 一个population 是否有一个特定的分布 (Ho假设)-->观测样本(oi)和期待频率(ei)之间fit的程度如何判断是否满足 v=k-r-1 自由度 ...

NTU 课程笔记：self-supervised learning

1 为什么需要 self-supervision？

2 什么是self-supervison

NTU 课程笔记：self-supervised learning相关推荐

最新文章

热门文章