Correlation Congruence for Knowledge Distillation

Motivation

目前大多数KD框架的pipeline

一张图片送入teacher和student得到各自的feature和output
然后定义loss，拉进feature或者output的距离
但是他们都是直接在一个整图级别上做的，student很难学习到teacher的那种处理类内和类间的能力

如下图：白色空心圈是期望学习到的效果

左边是期望类间可以拉开，右边是期望类内可以聚拢

Method

首先得到teacher和student的特征图

然后定义mapping函数计算特征之间的相关性矩阵correlation matrix，注意teacher和student是各自分开计算，而不是互相计算相关性

C就变成了一个nxn的矩阵

Lcc即计算相关性矩阵的L2 距离

Correlation matrix的计算

对比于MMD和Bilinear Pool，Gaussian RBF更加灵活和具有非线性能力，因此本文选择Gaussian RBF

Experiments

Correlation Congruence for Knowledge Distillation相关推荐

【KD】Correlation Congruence for Knowledge Distillation
Paper: Correlation Congruence for Knowledge Distillation 1, Motivation: 通常情况下KD的teacher模型的特征空间没考虑类内类 ...
【论文翻译】Few Sample Knowledge Distillation for Efficient Network Compression
Few Sample Knowledge Distillation for Efficient Network Compression 用于高效网络压缩的少样本知识提取论文地址:https://ar ...
知识蒸馏(Knowledge Distillation)详细深入透彻理解重点
知识蒸馏是一种模型压缩方法,是一种基于"教师-学生网络思想"的训练方法,由于其简单,有效,在工业界被广泛应用.这一技术的理论来自于2015年Hinton发表的一篇神作: 论文链接 ...
Knowledge Distillation | 知识蒸馏经典解读
作者 | 小小整理 | NewBeeNLP 写在前面知识蒸馏是一种模型压缩方法,是一种基于"教师-学生网络思想"的训练方法,由于其简单,有效,在工业界被广泛应用.这一技术的理论 ...
【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
CVPR2022知识蒸馏用于目标检测：Focal and Global Knowledge Distillation for Detectors
论文下载:https://arxiv.org/abs/2111.11837 源码下载:https://github.com/yzd-v/FGD Abstract 知识蒸馏已成功应用于图像分类.然而目标 ...
Contrastive Model Inversion for Data-Free Knowledge Distillation
Contrastive Model Inversion for Data-Free Knowledge Distillation Model inversion,其目标是从预训练的模型中恢复训练数据, ...
【2021知识蒸馏】Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching
[2021知识蒸馏]Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching 1.问题背 ...
Mosaicking to Distill Knowledge Distillation from Out-of-Domain Data
Mosaicking to Distill: Knowledge Distillation from Out-of-Domain Data 在本文中,我们试图解决一项雄心勃勃的任务,即域外知识蒸馏(O ...
【Distill 系列：三】CVPR2019 Relational Knowledge Distillation
Relational Knowledge Distillation Relational Knowledge Distillation TL;DR teacher 和 student feature ...