#今日论文推荐#ECCV 2022 | 清华字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏

#今日论文推荐#ECCV 2022 | 清华&字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏

知识蒸馏主要可以分为logit蒸馏和feature蒸馏。其中feature蒸馏具有更好的拓展性，已经在很多视觉任务中得到了应用。但由于不同任务的模型结构差异，许多feature蒸馏方法是针对某个特定任务设计的。
之前的知识蒸馏方法着力于使学生去模仿更强的教师的特征，以使学生特征具有更强的表征能力。我们认为提升学生的表征能力并不一定需要通过直接模仿教师实现。从这点出发，我们把模仿任务修改成了生成任务：让学生凭借自己较弱的特征去生成教师较强的特征。在蒸馏过程中，我们对学生特征进行了随机mask，强制学生仅用自己的部分特征去生成教师的所有特征，以提升学生的表征能力。
为了证明MGD并不是通过模仿教师来提升学生，我们对学生和教师的特征图进行了可视化。可以看到，蒸馏前的学生与教师的注意力相差很大。在使用FGD蒸馏（模仿教师）后，学生的注意力和教师变得很接近，表现也得到了较大的提升。但当使用MGD蒸馏后，学生与教师差异很大，学生对于背景的响应大幅减小，对于目标的响应得到了增强，学生的最终表现也好于FGD蒸馏。

论文题目：Masked Generative Distillation
详细解读：https://www.aminer.cn/research_report/62df4e707cb68b460ff4336chttps://www.aminer.cn/research_report/62df4e707cb68b460ff4336c
AMiner链接：https://www.aminer.cn/?f=cs

#今日论文推荐#ECCV 2022 | 清华字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏相关推荐

ECCV 2022 | 清华字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达作者:美索不达米亚平原 | 已授权转载(源:知乎)编辑:CVer https://zhuanlan.zhi ...
#今日论文推荐# ICDE 2022 | 港大等提出：基于时空自监督学习的犯罪预测
#今日论文推荐# ICDE 2022 | 港大等提出:基于时空自监督学习的犯罪预测犯罪问题已成为许多城市关注的主要问题,准确的犯罪预测对于政府相关部门的事先决策至关重要.预测城市中每个地理区域的城市 ...
#今日论文推荐#CVPR 2022 | 只需要一组预训练参数，所有恶劣天气一次解决
#今日论文推荐#CVPR 2022 | 只需要一组预训练参数,所有恶劣天气一次解决最近CVPR'22的文章已经放出来了,发现了这篇能够一次解决所有恶劣天气的算法,相当有趣以及新颖,因此整理下来分享给 ...
#今日论文推荐#ACL 2022 | 引入角度margin构建对比学习目标，增强文本语义判别能力
#今日论文推荐#ACL 2022 | 引入角度margin构建对比学习目标,增强文本语义判别能力聚焦的问题:近年来基于对比学习的句子表示学习研究取得了较大的进展,但是大多数方法都只关注如何挑选对比学 ...
#今日论文推荐#WSDM 2022 | 基于双曲几何无标度图建模的知识感知推荐
#今日论文推荐#WSDM 2022 | 基于双曲几何无标度图建模的知识感知推荐为了缓解传统推荐系统中的冷启动与数据稀疏问题,近年来,向推荐系统中引入外部知识构建知识图谱受到了越来越多的关注.此外,由 ...
#今日论文推荐#NAACL 2022 | 基于Prompt的文本生成迁移学习
#今日论文推荐#NAACL 2022 | 基于Prompt的文本生成迁移学习预训练语言模型(PLM)通过微调在文本生成任务方面取得了显著进展.然而,在数据稀缺的情况下,微调 PLMs 是一项挑战.因 ...
#今日论文推荐#CVPR 2022 | 道高一尺，魔高一丈，ConvNet还是ViT？
#今日论文推荐#CVPR 2022 | 道高一尺,魔高一丈,ConvNet还是ViT? 作者在 Introduction 部分里,从 ConvNet 的前世今生开始讲起,并且在第二段就表明了一个观点: ...
#今日论文推荐# IJCAI 2022 | 求同存异：多行为推荐的自监督图神经网络
#今日论文推荐# IJCAI 2022 | 求同存异:多行为推荐的自监督图神经网络个性化推荐系统在现在的网络平台(或应用)中已经得到了广泛的应用,已解决它们面对的信息过载的问题.大多数推荐模型都是基 ...
#今日论文推荐#中科院华为诺亚提出ViG：一种全新的骨干网络，性能不输CNN、ViT
#今日论文推荐#中科院&华为诺亚提出ViG:一种全新的骨干网络,性能不输CNN.ViT 用图神经网络(GNN)做CV的研究有不少,但通常是围绕点云数据做文章,少有直接处理图像数据的. 其实与C ...

#今日论文推荐#ECCV 2022 | 清华字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏

#今日论文推荐#ECCV 2022 | 清华字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏相关推荐

最新文章

热门文章