Distilling Object Detectors with Fine-grained Feature Imitation

Motivation

检测起更focus在物体出现的区域 Detectors care more about local near object regions.
物体出现的周围特征变化其实包含了更多重要信息，这是student网络需要向teacher网络学习的

注解：
与分类不同，蒸馏方法在检测中如果进行全特征模仿的话对子网络的提升很有限(这里存疑，文章没有明确指出全特征模仿了哪些特征层)。
这可能是由于过多的无用背景anchor引入的噪音覆盖了来自teacher net的监督信息。文章认为检测器会关注目标区域以及其周边的位置，目标区域上的不同positive anchor之间的差异表现的就是teacher net对于检测目标的泛化特点。

Framework

Imitation region estimation

计算每一个GT box和该特征层上WxHxK个anchor的IOU得到IOU map m
找出最大值M=max(m)，乘以rψ作为过滤anchor的阈值: F = ψ ∗ M.
将大于F的anchor合并用OR操作得到WxH的feature map mask
遍历所有的gt box并合并获得最后总的mask
将需要模拟的student net feature map之后添加feature adaption层使其和teacher net的feature map大小保持一致。
加入mask信息得到这些anchor在student net中和在teacher net 中时的偏差作为imitation loss，加入到蒸馏的训练的loss中

Fine-grained feature imitation

student的特征图通道等可能和teacher不一致，我们可以在student的特征图后面加一个feature adaptation层进行对齐
即使student和teacher的feature map一致，我们发现加上feature adaptation层会比直接拉进student和teache的输出效果好

Here I is the imitation mask

Experiment

定量实验

定性实验

Distilling Object Detectors with Fine-grained Feature Imitation相关推荐

Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD)
@[TOC](Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD)) Abstract 我们表明, ...
[目标检测知识蒸馏2] [CVPR19] Distilling Object Detectors with Fine-grained Feature Imitation
[CVPR19] Distilling Object Detectors with Fine-grained Feature Imitation Introduction: 在 Faster RCNN ...
【没有哪个港口是永远的停留~ 论文简读】2019 Distilling Object Detectors with Fine-grained Feature Imitation
链接:2019 Distilling Object Detectors with Fine-grained Feature Imitation 代码:https://github.com/twangn ...
【CVPR 2021】基于解耦特征的目标检测知识蒸馏：Distilling Object Detectors via Decoupled Features
[CVPR 2021]基于解耦特征的目标检测知识蒸馏:Distilling Object Detectors via Decoupled Features 论文地址: 主要问题: 主要思路: 具体实现 ...
【Distill 系列：二】CVPR 2019 Distilling Object Detectors with Fine-grained Feature Imitation
cvpr 2019 detectors care more about local near object regions motivation Fitnets: Hints for thin dee ...
Distilling Object Detectors with Fine-grained Feature Imitation论文解读
论文链接文章目录 1.简介 2.方法 2.1 模仿区域的估计 2.2 细粒度特征模仿 1.简介对于以往应用于知识蒸馏的目标检测存在两种方法.第一种来自于论文FitNets: Hints for T ...
Distilling Object Detectors via Decoupled Features
Abstract 相比于图像分类而言,目标检测器更加复杂,具有多个损失函数.而目前的的检测中,其主要将注意力集中在对象的区域中,但本文指出,从背景中提取的特征信息对于学生模型的学习也是必不可少的.且由 ...
【论文总结】Incremental Learning of Object Detectors without Catastrophic Forgetting（附翻译）
Incremental Learning of Object Detectors without Catastrophic Forgetting 无灾难性遗忘的增量学习目标检测器论文地址:https ...
YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
来源:https://arxiv.org/abs/2207.02696 代码:https://github.com/WongKinYiu/yolov7 0. Abstract YOLOv7 surpa ...