Self-training with Noisy Student improves ImageNet classification论文阅读

摘要

提出了一种noisy student training，这种半监督方法即使在标记数据丰富的情况下也能很好的工作。这种方法实现了88.4的准确率，比最先进的方法高2.0%。鲁棒性方面：从61.0%提高到83.7%。

训练步骤：

在标记图像上训练一个教师模型
使用教师模型在未标记图像上生成伪标签标记图像
在标记图像和伪标签标记图像的集合上训练学生模型

改进：

使学生模型大于或至少等于教师模型，这样学生模型可以从更大的数据集中进行学习
给学生模型增加了噪音，因此加入噪音的学生模型可以被迫更努力的学习伪标签。

两种噪声：

输入噪声：RandAugment
data augmentation
模型噪声：dropout，stochastic depth

噪声学生模型

算法的输入是有标记的和无标记的图像

使用有标记图像训练一个使用标准交叉熵损失的教师模型
使用教师模型在未标记的图像上生成伪标签
训练一个学生模型，该模型最小化标记图像与未标记图像的混合交叉熵损失。
最后通过将学生模型放在教师模型位置以生成新的伪标签并训练该学生模型。之后回到2重复该过程。

关键改进

为学生模型添加噪音，并使用与教师模型相等或更大的学生模型。

与知识蒸馏不同，(添加噪音，一个小的模型经常被用作学生模型以获得比教师模型更高的效率)
参考文章：什么是教师学生网络(知识蒸馏)

噪声

输入噪声：提高泛化能力。例如：同种类别不同图像的不变量鼓励学生模型超越教师模型，用更多不同的图像做出相同的预测。
模型噪声：提高模型鲁棒性和泛化能力。例如：一个想象力丰富的模型比一个死板的模型具有更强大的泛化能力和鲁邦性。

噪声对已标记和未标记的数据都有一个复合的好处，即增强了决策函数的局部平滑性

Self-training with Noisy Student improves ImageNet classification论文阅读相关推荐

Self-training with Noisy Student improves ImageNet classification论文解析
一.摘要首先,本文开门见山给出实验结果在ImageNet上的提升.之后给出了他的实现方法,总的来说这篇文章结合了(1)知识蒸馏(2)半监督学习(3)模型噪音以及数据噪音 ,想要了解基础知识的可以先看 ...
Self-training with Noisy Student improves ImageNet classification
本文提出了一种噪声学生模型(Noisy Student)自训练的方法,通过这种方法提高ImageNet的分类精度,并在EfficientNet-L2的网络上达到了state-of-the-art的水平 ...
Self-training with Noisy Student improves ImageNet classification阅读笔记
论文地址:https://arxiv.org/pdf/1911.04252v1.pdf 这篇文章实现了自训练方法,使用部分带标签数据进行训练,在ImageNet上top-1为87.4%. 方法: 1. ...
Self-training with Noisy Student improves ImageNet classification (2020 CVPR)
1. 出处 2020 CVPR 2. 主要内容想要尽可能的利用上无标签的数据,来提高模型分类能力 3. 整体结构输入数据: labeled images和unlabeled images ![在这 ...
Self-training with Noisy Student improves ImageNet classification（2020 CVPR）半监督经典论文解读（一）
【CVPR 2021】自我知识蒸馏：Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification
[CVPR 2021]自我知识蒸馏:Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification ...
《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》阅读笔记与实现
本期要讲的是来自MSRA的何恺明的论文<Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet ...
预训练+微调+Rethinking ImageNet Pre-training论文阅读笔记
文章目录一.前言二.预训练+微调 1.预训练 2.微调 3.Pytroch实现三.Rethinking ImageNet Pre-training论文笔记参考文献一.前言近期在阅读何凯明大 ...
Knowledge-based Collaborative Deep Learning for Benign-Malignant Lung Nodule Classification论文阅读
作者信息: Yutong Xie, Yong Xia, Member, IEEE, Jianpeng Zhang, Yang Song, Member, IEEE, Dagan Feng, Fel l ...

Self-training with Noisy Student improves ImageNet classification论文阅读

摘要

噪声学生模型

Self-training with Noisy Student improves ImageNet classification论文阅读相关推荐

最新文章

热门文章