Self-training with Noisy Student improves ImageNet classification (2020 CVPR)

2024-05-08 21:02:40

1. 出处

2020 CVPR

2. 主要内容

想要尽可能的利用上无标签的数据，来提高模型分类能力

3. 整体结构

输入数据：

labeled images和unlabeled images
![在这里插入图片描述](https://img-blog.csdnimg.cn/43f0fbb5964c4d83ad1624951dd3d520.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAVEVuJQ==,size_20,color_FFFFFF,t_70,g_se](https://img-blog.csdnimg.cn/04e3349fa3864556a877102c5b9cc24d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAVEVuJQ==,size_20,color_FFFFFF,t_70,g_se,x_16)

3.1 Pipeline

self-training的3个步骤：

在labeled ImageNet images上训练一个teacher model EfficientNet-B7
利用teacher模型在unlabeled images上生成pseudo labels
利用labeled images和pseudo labeled images训练student模型EfficientNet-L2

循环上述过程多次，将训练好的student作为teacher，relabel unlabeled data，训练新的student

确保student在训练时的输入是noised，teacher在生成pseudo labels的时候不是noised

3.2 Noise

为了noise the student，作者使用了2种噪声，input noise和model noise

input noise: data augmentation with RandAugment

model noise: dropout和stochastic depth

通过使用数据增强噪声，student需要保证对于一张图像，增强后的和未增强的有相同的类别，这种不变性约束使得student比teacher学到更多的知识。

Self-training with Noisy Student improves ImageNet classification (2020 CVPR)相关推荐

Self-training with Noisy Student improves ImageNet classification
本文提出了一种噪声学生模型(Noisy Student)自训练的方法,通过这种方法提高ImageNet的分类精度,并在EfficientNet-L2的网络上达到了state-of-the-art的水平 ...
Self-training with Noisy Student improves ImageNet classification论文阅读
摘要提出了一种noisy student training,这种半监督方法即使在标记数据丰富的情况下也能很好的工作.这种方法实现了88.4的准确率,比最先进的方法高2.0%.鲁棒性方面:从61.0% ...
Self-training with Noisy Student improves ImageNet classification阅读笔记
论文地址:https://arxiv.org/pdf/1911.04252v1.pdf 这篇文章实现了自训练方法,使用部分带标签数据进行训练,在ImageNet上top-1为87.4%. 方法: 1. ...
Self-training with Noisy Student improves ImageNet classification论文解析
一.摘要首先,本文开门见山给出实验结果在ImageNet上的提升.之后给出了他的实现方法,总的来说这篇文章结合了(1)知识蒸馏(2)半监督学习(3)模型噪音以及数据噪音 ,想要了解基础知识的可以先看 ...
Self-training with Noisy Student improves ImageNet classification（2020 CVPR）半监督经典论文解读（一）
【CVPR 2021】自我知识蒸馏：Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification
[CVPR 2021]自我知识蒸馏:Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification ...
二值网络--XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks ECCV2016 http://allenai ...
经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks
学习笔记,仅供参考,有错必纠文章目录 ImageNet Classification with Deep Convolutional Neural Networks 摘要 Introduction ...
《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...

最新文章

热门文章