CA-MKD：置信多教师知识蒸馏

问题：现有的研究主要通过对多个教师预测进行平均或使用其他无标签策略将其组合来整合来自不同来源的知识，这可能在低质量教师预测的情况下误导学生。

方法简介：1、提出了置信度感知的多教师知识蒸馏（CA-MKD），该方法借助于真实标签，自适应地为每个教师预测分配样本可靠性，并为这些教师预测分配大权重。

2、CA-MKD结合了中间层的特征，以稳定知识转移过程。

1、模型方法

CA-MKD框架

a、将 $D=\left \{x _{i} ,y_{i}\right \}_{i}^{N}$ 表示为标记训练集，N是样本数，K是教师数。 $F\in R^{h\times w\times c}$ 是最后一个网络块的输出。

b、将 $z=\left [ z^{1} ,...,z^{C}\right ]$ 表示为logits输出，其中C是类别标签。

最终的模型预测是通过具有温度 $\tau$ 的软最大函数 $\delta \left ( z^{c} \right )=\frac{\exp \left ( \frac{z^{c}}{\tau } \right )}{\sum_{j}\exp \left ( \frac{z^{j}}{\tau } \right )}$ 获得的。

1.1教师预测的损失函数

为了有效地聚合多个教师的预测分布，通过计算教师预测和真实标签之间的交叉熵损失，分配反映其样本置信度的不同权重

$\iota _{CE_{KD}}^{k}=-\sum_{c=1}^{C}y^{c}\log \left ( \sigma \left ( z_{T_{k}}^{c} \right ) \right )$

$w_{KD}^{k}=\frac{1}{K-1}\left ( 1-\frac{\exp \left ( \iota _{CE_{KD}}^{k} \right )}{\sum_{j}\exp \left ( \iota _{CE_{KD}}^{j} \right )} \right )$

其中 $T_{k}$ 表示第k个教师。 $\iota _{CE_{KD}}^{k}$ 越小对应于 $w_{KD}^{k}$ 越大。

教师的总体预测如下并用计算出的权重进行聚合：

$\iota _{KD}=-\sum_{k=1}^{K}w_{KD}^{k}\sum_{c=1}^{C}z_{T_{k}}^{c}\log \left ( \sigma \left ( z_{S}^{c} \right ) \right )$

预测更接近真实标签的教师将被分配更大的权重 $w_{KD}^{k}$ ，因为其有足够的信心做出准确判断，以正确指导。相反，如果我们简单地通过计算教师预测的熵来获得权重，则无论最高概率类别是否正确。

1.2中级教师特征的损失

除KD损失外，受FitNets的启发认为中间层也有利于学习结构知识，因此将方法扩展到中间层以挖掘更多信息。中间特征匹配的计算如下所示：

$z_{S}\rightarrow T_{k}=W_{T_{k}}h_{S}$

$\iota _{CE_{inter}}^{k}=-\sum_{c=1}^{C}y^{c}\log \left ( \sigma \left ( z_{S}^{c}\rightarrow T_{k} \right ) \right )$

$w_{inter}^{k}=\frac{1}{K-1}\left ( 1-\frac{\exp \left ( \iota _{CE_{inter}}^{k} \right )}{\sum_{j}\exp \left ( \iota _{CE_{inter}}^{j} \right )} \right )$

其中 $W_{T_{k}}$ 是第k个教师的最终分类器。

1、 $h_{S}\in R^{c}$ 是最后一个学生特征向量，即hS=AvgPooling（ $F_{S}$ ）。

2、 $\iota _{CE_{inter}}^{k}$ 通过将 $h_{S}$ 传递给每个教师分类器来获得。

3、 $w_{inter}^{k}$ 的计算类似于 $w_{KD}^{k}$ 的计算。

为了稳定知识转移过程，将学生设计为更专注于模仿具有相似特征空间的教师， $w_{inter}^{k}$ 实际上用作表示教师分类器在学生特征空间中的可辨别性的相似性度量。消融研究表明，利用 $w_{inter}^{k}$ 而不是 $w_{KD}^{k}$ 在中间层进行知识聚合更有效。

$\iota _{inter}=\sum_{k=1}^{K}w_{inter}^{k}\left \| F_{T_{k}}-r\left ( F_{S} \right ) \right \|_{2}^{2}$

1、r（·）是用于对齐学生和教师特征维度的函数。

2、 $\iota _{2}$ 损失函数用作中间特征的距离度量。

3、特征对之间的总体训练损失将由 $w_{inter}^{k}$ 汇总。

1.3总损失函数

除了上述两个损失外，还计算了具有真实标签的规则交叉熵：

$\iota _{CE}=-\sum_{c=1}^{C}y^{c}\log \left ( \sigma \left ( z_{S}^{c} \right ) \right )$

CA-MKD的总体损失函数总结如下：

$\iota =\iota _{CE}+\alpha \iota _{KD}+\beta \iota _{inter}$

其中α和β是超参数，用于平衡知识蒸馏和标准交叉熵损失的影响。

2、总结

1、介绍了多教师知识蒸馏的预测和中间特征的置信感知机制。

2、教师的置信度是基于他们的预测或特征与每个训练样本的可靠性识别的基本事实标签之间的相似度来计算的。

3、在标签的指导下，我们的技术有效地整合了来自多个教师的不同知识，用于学生培训。

CA-MKD：置信多教师知识蒸馏相关推荐

论文浅尝 | MulDE：面向低维知识图嵌入的多教师知识蒸馏
笔记整理:朱渝珊,浙江大学在读博士,研究方向为快速知识图谱的表示学习,多模态知识图谱. Motivation 为了更高的精度,现有的KGE方法都会采用较高的embedding维度,但是高维KGE需要巨 ...
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
论文阅读:Knowledge Distillation: A Survey 知识蒸馏综述2021 目录摘要 Introduction Background 知识基于响应的知识基于特征的知识基于 ...
知识蒸馏综述：蒸馏机制
作者丨pprp 来源丨GiantPandaCV 编辑丨极市平台导读这一篇介绍各个算法的蒸馏机制,根据教师网络是否和学生网络一起更新,可以分为离线蒸馏,在线蒸馏和自蒸馏. 感性上理解三种蒸馏方式: ...
悉尼大学伦敦大学联合出品：知识蒸馏最新综述
©作者 | 夏劲松学校 | 哈尔滨理工大学研究方向 | 知识蒸馏.图神经网络摘要深度学习通过参数量巨大的模型,近几年中在多个领域取得了较好的效果,但是往往因为模型体积过大(模型的体积指的就是模 ...
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
参考论文:Knowledge Distillation: A Survey 1.前言近年来,深度学习在学术界和工业界取得了巨大的成功,根本原因在于其可拓展性和编码大规模数据的能力.但是,深度学习 ...
知识蒸馏（一）综述
一.综述 *<Knowledge Distillation: A Survey>2021 IJCV <Knowledge Distillation and Student-Teach ...
模型压缩一-知识蒸馏
一.知识蒸馏简介知识蒸馏是模型压缩方法中的一个大类,是一种基于"教师-学生网络(teacher-student-network)思想"的训练方法, 其主要思想是拟合教师模型(te ...
知识蒸馏是什么？（Knowledge Distillation）KD
1. 知识蒸馏介绍 1.1 什么是知识蒸馏? 在化学中,蒸馏是一种有效的分离不同沸点组分的方法,大致步骤是先升温使低沸点的组分汽化,然后降温冷凝,达到分离出目标物质的目的.化学蒸馏条件:(1)蒸馏的液 ...
知识蒸馏论文翻译（1）——CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION（多教师知识提炼）
知识蒸馏论文翻译(1)--CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION(多教师知识提炼) 文章目录知识蒸馏论文翻译(1)--CONFID ...

CA-MKD：置信多教师知识蒸馏

1、模型方法

1.1教师预测的损失函数

1.2中级教师特征的损失

1.3总损失函数

2、总结

CA-MKD：置信多教师知识蒸馏相关推荐

最新文章

热门文章