文献阅读记录——Masked Generative Distillation

仅对文章大致的方法做个记录。

先给出论文和代码的链接：https://github.com/yzd-v/MGD

这篇论文讲的是一个通用于各种视觉任务的知识蒸馏方法，因为它属于特征模仿类的知识蒸馏方法。所谓的特征模仿，就是要让学生网络的某一个或几个特征图去模仿对应的教师网络的特征图，从数学表达式上来说，就是计算学生网络特征图和教师网络特征图均方误差，如下所示：

其中F表示特征图，T表示教师，S表示学生，函数falign的作用是将学生网络特征图的shape reshap成和教师网络特征图相同的shape,这样才能逐点计算均方误差。

而本文就是基于上式进行的简单改进，其动机如下：

对于基于cnn的模型，更深层的特征有更大的感受野，对原始输入图片有更好的特征表示。换个角度来说，就是特征图上的像素在一定程度上包含相邻像素的信息。因此我们能使用部分像素来恢复完整的特征图。

此文章中的方法就是去通过学生网络masked feature去生成教师网络的feature，从而帮助学生实现更好的特征表示。

具体实现方法很简单，分为3步：

1、特征对齐，通过1*1卷积将学生网络某一层输出的特征图reshape成和教师网络对应层的特征图的shape一致。

2、生成masked feature. 在特征图上每一个点都生成一个随机数Ri,j（0，1之间），然后有一个超参数

文献阅读记录——Masked Generative Distillation相关推荐

【知识蒸馏】Masked Generative Distillation
文章目录一.摘要二.主要贡献三.创新点灵感分析四.总体框架 4.1 算法介绍 4.2 Generation with Masked Feature 五.总结 [论文]:Yang Z, Li Z ...
文献阅读记录（忆阻器篇）
文献阅读(忆阻器篇) 忆阻器领域相关文献阅读文章目录文献阅读(忆阻器篇) 一.书籍 1.Memristor Based Logic Circuits 1.1 忆阻器简介 1.2 忆阻器模型 1.2 ...
文献阅读记录1-YOLOv3：An Incremental Improvement
我只是翻译或转载文献,截屏论文图片,记录下阅读记录.如有侵权,请联系删帖. 原标题: YOLOv3: An Incremental Improvement 原作者: Joseph Redmon, Al ...
Deep Reinforcement Learning for Sepsis Treatment文献阅读记录
Deep Reinforcement Learning for Sepsis Treatment 1 Introduction 本文所提出的是一种基于深度强化学习的脓毒症治疗方法. 使用强化学习而非有 ...
文献阅读课13-DSGAN: Generative Adversarial Training for （远程监督关系抽取，句子级去噪）
文章目录 Abstract 1.Introduction 2.相关工作 3 Adversarial Learning for Distant Supervision 3.1 Pre-Training ...
【文献阅读】Perceptual Generative Adversarial Networks for Small Object Detection –CVPR-2017
Perceptual Generative Adversarial Networks for Small Object Detection 2017CVPR 新鲜出炉的paper,这是针对small ...
可解释性机器学习( Explainable Artificial Intelligence (XAI) )文献阅读记录(1.1)
文章目录论文标题:Explainable Artificial Intelligence (XAI): Concepts, taxonomies,opportunities and challeng ...
文献阅读：《Generative Adversarial Active Learning for Unsupervised Outlier Detection》-2020 trans
文章工作:用GAN网络生成伪异常样本,结合已有正常样本,把异常检测转化为一个二分类任务贡献1: 本文提出用GAN作为异常样本的生成器,使生成的异常是有意义的异常.(针对问题:为了应对高维空间中异常样 ...
文献阅读记录（2）— PointNet++论文学习
正文 Abstract PointNet不能捕获由度量空间点所产生的局部结构,限制了其识别细粒度模式的能力和对复杂场景的推广能力. 本文引入了一个分层神经网络,它将点网递归地应用于输入点集的嵌套划分. ...
【论文笔记_知识蒸馏_2022】Masked Generative Distillation
摘要知识提炼已经成功地应用于各种任务.当前的蒸馏算法通常通过模仿老师的输出来提高学生的表现.本文表明,教师也可以通过指导学生的特征恢复来提高学生的表征能力.从这个角度出发,我们提出了掩蔽生成蒸馏(M ...

文献阅读记录——Masked Generative Distillation

文献阅读记录——Masked Generative Distillation相关推荐

最新文章

热门文章