1. 论文基本信息

论文：Decoupled Knowledge Distillation
地址：https://arxiv.org/pdf/2203.08679.pdf
代码：https://github.com/megvii-research/mdistiller

2. 背景与摘要

知识蒸馏花样繁多，在有教师模型的基础上，知识蒸馏可以从response、relation、feature等角度进行研究，设计loss，本文中，作为认为其实最基础的KD仍然有很大的潜力可以挖掘。因此对KD方法进行改进，将教师模型中携带的信息进行解耦，分别监督，最终精度达到了SOTA，让KD方法再次焕发新春。

3. 方法介绍

KD中提出，教师模型包含dark knowledge，这种dark knowledge相比于hard label包含了更多的信息，因此学生模型可以学到更多的知识。但是教师模型的osftlabel有个缺点，就是两级分化比较严重，即对于top-1 class id会给出非常高的score接近1），对于其他的类别，其score接近0，因此在这里一般建议设置温度系数t，对标签进行平滑，增加教师模型中的dark knowledge。

上面这种做法其实有个缺点：对于不同的教师模型，可能都需要设置不同的温度系数（教师模型的拟合程度不同），这个增加了蒸馏的难度。

作者在研究的过程中，发现其实KD loss是可以解耦的，解耦为

论文解读：Decoupled Knowledge Distillation相关推荐

[论文解读]Explaining Knowledge Distillation by Quantifying the Knowledge
Explaining Knowledge Distillation by Quantifying the Knowledge 简介论文标题 Explaining Knowledge Distilla ...
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
论文阅读:Knowledge Distillation: A Survey 知识蒸馏综述2021 目录摘要 Introduction Background 知识基于响应的知识基于特征的知识基于 ...
论文翻译: Relational Knowledge Distillation
Relational Knowledge Distillation 这是 CVPR 2019年的一篇文章的译文. 文章链接: Relational Knowledge Distillation 附上G ...
Decoupled Knowledge Distillation论文阅读+代码解析
本文来自2022年CVPR的文章,论文地址点这里一. 介绍知识蒸馏(KD)的通过最小化师生预测对数之间的KL-Divergence来传递知识(下图a).目前大部分的研究注意力都被吸引到从中间层的深 ...
【论文解读】Knowledge Review：知识蒸馏新解法
今天介绍一篇我司的文章Distilling Knowledge via Knowledge Review(缩写为KR),提出知识蒸馏的新解法. 之前在知乎回答过一个知识蒸馏的问题,为何感觉" ...
神经网络水印\IP保护（论文解读Data-Free Adversarial Distillation）
看到水印方向的一篇论文,引用了这篇,无数据知识蒸馏,感觉还挺有意思的.如果这篇没有改名字再发的话,那似乎是没有发表的. 首先还是简述一下文章思路:这篇文章通过一个对抗性的训练,利用一个generato ...
论文阅读-TNNLS2021-Elastic Knowledge Distillation by Learning from Recollection
Abstract 训练过程中历史记忆中的有效信息,来帮助模型学习:recollection构建和使用:不同capacity和不同训练阶段来建立不同的recollection:similarity-ba ...
＜Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation＞论文阅读
论文链接:论文论文简介: 这是一篇CVPR2018的论文,主要针对的是Visual Relationship Detection任务.论文主要利用谓词及<object,subject>对 ...
【没有哪个港口是永远的停留~ 论文简读】Relational Knowledge Distillation
论文:Relational Knowledge Distillation [1]关系知识蒸馏,中的关系知识是啥? 如图1,很明显就是字面意思,传统的知识蒸馏是让学生输出与教师模型一致,而本论文提出,输 ...
直播预告 | AAAI 2022论文解读：基于锚框排序的目标检测知识蒸馏
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...

论文解读：Decoupled Knowledge Distillation

1. 论文基本信息

2. 背景与摘要

3. 方法介绍

论文解读：Decoupled Knowledge Distillation相关推荐

最新文章

热门文章