SSL:Self-Supervised Learning(自监督学习)是什么？

点击我爱计算机视觉标星，更快获取CVML新技术

本文原载于知乎，已获作者授权转载，禁止二次转载。

https://zhuanlan.zhihu.com/p/108088719

Ⅰ what's SSL?

自监督学习不是特定的一种算法，而是一类算法，如word2vec，BERT，MOCO，PIRL等都属于自监督学习；

和监督式机器学习一样，自监督学习训练时也需要features和labels，不同之处在于自监督学习的label不需要通过人为标记完成，而是自动生成的；

自监督学习不针对特定应用场景，而是通用性预训练；

Ⅱ LeCun's opinion on SSL

LeCun认为对于含有一定信息的数据样本来说，纯强化学习仅仅能从一些样本中获得稍许信息，监督学习能从每个样本中获取一些信息，而自监督学习能从每个样本中获取大量信息。

针对“强化学习仅仅是蛋糕上的一颗樱桃”，强化学习社区将LeCun的蛋糕模型修订为：

Ⅲ why is SLL important?

自监督学习自定义预制任务，进行预训练学习，不针对特定场景，且能将数据样本中的信息最大程度的提取，这相当于进行“常识性”学习；

学习训练完成后，再进行特定场景的学习，相当于在已经掌握了“基本常识后”再进行“特定专业”的学习；

这样模型本身就具有相当程度的鲁棒性，也会从训练开始就避开一些过拟合“陷阱”/“低级错误”。

自监督学习交流群

关注最新最前沿的自监督学习技术，扫码添加CV君拉你入群，（如已为CV君其他账号好友请直接私信）

（请务必注明：自监督）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：805388940。

（不会时时在线，如果没能及时通过验证还请见谅）

长按关注我爱计算机视觉

SSL:Self-Supervised Learning(自监督学习)是什么？相关推荐

ML之SSL：Semi-Supervised Learning半监督学习的简介、应用、经典案例之详细攻略
ML之SSL:Semi-Supervised Learning半监督学习的简介.应用.经典案例之详细攻略目录 Semi-Supervised Learning半监督学习的简介 1.直推学习Trans ...
ML之SL：监督学习(Supervised Learning)的简介、应用、经典案例之详细攻略
ML之SL:监督学习(Supervised Learning)的简介.应用.经典案例之详细攻略目录监督学习(Supervised Learning)的简介 1.监督学习问题的两大类-分类问题和回归 ...
监督学习（supervised learning）与非监督学习（unsupervised learning）
一,监督学习(supervised learning): 监督学习(supervised learning)的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测. 即:利用 ...
A brief introduction to weakly supervised learning（简要介绍弱监督学习）
文章转载自http://www.cnblogs.com/ariel-dreamland/p/8566348.html A brief introduction to weakly supervised ...
自监督学习（SSL）Self-Supervised Learning
目录监督.无监督.半监督.弱监督.自监督学习核心思想前置任务Pretext Tasks 视图预测 View Prediction (Cross modal-based) 下游任务分析前置任务的 ...
关于弱监督学习的详细介绍——A Brief Introduction to Weakly Supervised Learning
目录介绍主动学习半监督学习多实例学习带噪学习 Snorkel 框架介绍参考介绍在机器学习领域,学习任务可大致划分为两类,一种是监督学习,另一种是非监督学习.通常,两者都需要从包含大量训 ...
弱监督学习 weakly supervised learning 笔记
周志华 A Brief Introduction to Weakly Supervised Learning 2018 引言在机器学习领域,学习任务可以划分为监督学习.非监督学习.通常,两者都需要从 ...
Supervised learning/ Unsupervised learning监督学习/无监督学习
[机器学习]两种方法--监督学习和无监督学习(通俗理解) [机器学习] : 监督学习 (框架) 有监督学习与无监督学习的几大区别目录 Supervised learning 监督学习 Unsuper ...
【李宏毅机器学习】Semi-supervised Learning 半监督学习（p24）学习笔记
文章目录 Semi-supervised Learning Introduction Supervised Learning Semi-supervised Learning Why semi-sup ...
【Machine Learning】监督学习、非监督学习及强化学习对比
Supervised Learning Unsupervised Learning Reinforced Learning Goal: How to apply these methods How t ...

SSL:Self-Supervised Learning(自监督学习)是什么？

SSL:Self-Supervised Learning(自监督学习)是什么？相关推荐

最新文章

热门文章