论文笔记:Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
论文笔记:Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
abstract:
介绍了BYOL网络(原理):依赖两个网络,一个online和target网络,互相之间相互影响相互学习。从图像增强地视角下看online和target网络,在同一张图片,我们训练了online网络去预测target网络的representation。与此同时,At the same time, we update the target network with a slow-moving average of the online network.(没有看懂这里的 a slow-moving average)。
对比于其他网络: 我们与一些顶级的自监督网络相比我们不需要负样本,在imagenet上我们取得了很好的成绩。
Introduction
背景1:好的特征提取是计算机视觉的主要任务,而且好的特征提取对下游任务比较重要。
背景2:已经提出了许多不同的方法来进行特征提取,依赖着前置任务。
同时我顺便介绍目前的自监督学习方法
例如:
原文链接:原文
Reconstruction方法
Common Sense Tasks(常识任务)
自动标签生成方法
背景3:在representation之中,多数先进的模型用着contrastive methods来进行学习,contrastive methods通过学习正样本和负样本之前的区别来进行特征提取。
困难与挑战:使用contrastive method方法, 如何去选择负样本成为了一个新的问题,同时需要较大的一个训练批次去训练,而且这种方法的性能与图像增强密切相关。
我们的方法:byol是一种全新的自监督学习方法,而且已经超过了最顶级的contrastive methods,而且不需要使用负样本。我们通过迭代引导网络的输出作为目标,来增强representation。BYOL是一个更为强大的图像增强的选择,而且我们怀疑不适用负样本可以提升鲁棒性。
与其他人的工作来进行比较:之前method的模型引导是使用pseudo-label,cluster indices,handful of label。我们的方法是直接引导representation。
讲解模型:用了两个卷积神经网络,online和target networks,他们相互学习相互影响。从增强representation的角度看,online来预测target network的representation关于同一张图片(增强任务?)。
RELATED WORKS:
绝大多数的无监督模型的特征提取可以被总结为generative or discriminative的方法。
- generative methods
generative 的representation learning是提取特征到一个embeddign,将得到的embedding作为图像的特征。主要以autoencoder为代表,对编码器的主要要求就是尽可能地保持原始数据的重要信息,如果decoder解码回到原来的图片,说明重建的足够好。如果decoder解码回来原来的图片,说明重建的足够好。除了autoencoder还有用对抗生成网络的方法达,用判别网络算loss。这种generative是像素的level上计算loss。但是存在问题,这种基于pixel进行运算开销巨大,而且这种方法对像素进行重建过于严格。
eg:dollars——好的特征提取还有其他方式 - contrastive
contrastive方式已经成为现如今最优秀的方式(自监督学习模型),这类方法不要求模型去重建原图而是希望我们的模型能够利用(特征)对正负样本进行判断。因为不用进行重建,所以优化变得容易,但我们并没有标签,所以问题转化为了怎么构建正负样本。 - DeepCluster
可以部分的回答这个问题,通过特征提取来产生target为了接下来的representation,第一个特征提取就行cluster任务,然后用特征提取的结果进行分类从而进行新的特征提取 - 其他方法
还有一些没有使用contrastive的方法但是使用了额外的手工预测,例如patch-prediction, 从colorizing gray-scale, image2image的方法,但是这些方法都被contrastive打败。 - 为看懂predictions of Bootstrapped latent
未完成的工作
bootstrapped 与 latent 和self-supervised learning 都是比较困难的领域,我觉得我目前的能力暂时没有太多必要去花更多的时间去强行理解文中的含义, 在未来有能力/合适的时候将这篇论文的读书笔记补上。
论文笔记:Bootstrap Your Own Latent A New Approach to Self-Supervised Learning相关推荐
- 论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
- 论文笔记 | 基于深度学习的乳腺转移瘤识别(Deep Learning for Identifying Metastatic Breast Cancer)
论文阅读笔记:原文链接 摘要 生物医学图像国际研讨会(International Symposium on Biomedical Imaging,ISBI)举办了一个在前哨淋巴节点全幻灯图中自动检测转 ...
- AutoML论文笔记(十四)Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor
文章题目:Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor Segmenta ...
- 论文笔记 NAACL findings 2022|Zero-Shot Event Detection Based on Ordered Contrastive Learning and Prompt-
文章目录 1 简介 1.1 动机 1.2 创新 2 方法 2.1 Contrastive sample generator 2.2 Event encoder 2.3 Ordered contrast ...
- 论文笔记:Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning
论文:基于少样本学习的小样本滚动轴承故障诊断 Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning **摘要:**这篇 ...
- 论文笔记:CVPR2022 Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation
任务:image-level标签的弱监督分割 Motivation:numerous semantically similar but visually different instances; fo ...
- SER 语音情感识别-论文笔记5
SER 语音情感识别-论文笔记5 <MULTI-HEAD ATTENTION FOR SPEECH EMOTION RECOGNITION WITH AUXILIARY LEARNING OF ...
- 自监督表征学习方法——BYOL(Bootstrap Your Own Latent)
自监督表征学习方法--BYOL(Bootstrap Your Own Latent) 参考文献:<Bootstrap Your Own Latent A New Approach to Self ...
- 论文笔记--DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
论文笔记--DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 1. 文章简介 2. 文章概括 ...
最新文章
- sqlalchemy 使用mysql_使用SQLALchemy连接MySql数据库并进行操作
- sealed关键字用法
- dynamic_caast操作符
- 暑期 2021 | Serverless Devs 最全项目申请攻略来啦!
- python词云安装什么库_python词云安装什么库
- 人工智能AI实战100讲(一)-机器人语义建图(上)
- Javascript 基础—变量 运算符
- 【CCF】201409-2 画图
- OSChina 周日乱弹 —— 快喊爸爸
- Python基础(循环控制语句break/continue)
- a16z和斯坦福大学区块链研究中心将于5月4日举行NFT虚拟峰会
- yarn logs -applicationId 无法导出logs日志 Log aggregation has not completed or is not enabled.
- Linux inittab和oracle lsntctl 启动的问题解决办法
- SQL语句设置标识种子
- 为什么现在微信附近人“没人”了
- Au:突发性噪音降噪方法
- C++ fstream详解
- 微信公众号token验证问题
- TypeError: __init__() takes 1 positional argument but 2 were given
- 做业务的程序猿如何提升技能?