CVPR 2022 | 针对目标检测的重点与全局知识蒸馏(FGD)
关注公众号,发现CV技术之美
本篇文章由粉丝 @美索不达米亚平原 投稿,原文地址:
https://zhuanlan.zhihu.com/p/477707304
本文介绍我们 CVPR 2022 关于目标检测的知识蒸馏工作: Focal and Global Knowledge Distillation for Detectors,只需要 30 行代码就可以在 anchor-base, anchor-free 的单阶段、两阶段各种检测器上稳定涨点,现在代码已经开源。
论文链接:https://arxiv.org/abs/2111.11837
项目链接:https://github.com/yzd-v/FGD
01
针对问题
1. 目标检测中前背景不平衡问题
前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸馏。
知识蒸馏旨在使学生学习教师的知识,以获得相似的输出从而提升性能。为了探索学生与教师在特征层面的差异,我们首先对二者的特征图进行了可视化。可以看到在空间与通道注意力上,教师与学生均存在较大的差异。其中在空间注意力上,二者在前景中的差异较大,在背景中的差异较小,这会给蒸馏中的学生带来不同的学习难度。
为了进一步探索前背景对于知识蒸馏的影响,我们分离出前背景进行了蒸馏实验,全图一起蒸馏会导致蒸馏性能的下降,将前景与背景分开学生能够获得更好的表现。
针对学生与教师注意力的差异,前景与背景的差异,我们提出了重点蒸馏Focal Distillation:分离前背景,并利用教师的空间与通道注意力作为权重,指导学生进行知识蒸馏,计算重点蒸馏损失。
2.全局信息的丢失
如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了全局蒸馏Global Distillation:利用GcBlock分别提取学生与教师的全局信息,并进行全局蒸馏损失的计算。
02
整体框架
FGD仅需要获取学生与教师的特征图,便可完成重点蒸馏损失与全局蒸馏损失的计算,可以很方便的应用到各种类型的检测器上。
03
实验结果
我们对anchor-based与anchor-free的单阶段与二阶段检测器进行了实验,在COCO2017上学生检测器均获得了大幅的AP和AR提升。
我们采用了具有更强的检测器对学生进行蒸馏,发现当使用更强的模型作为教师进行蒸馏时,FGD为模型能带来更大的性能的提升。例如RetinaNet-R50在ResNet-101和ResNeXt-101的老师蒸馏下,分别可达到39.7和40.7的mAP。
对于使用FGD蒸馏完成后的学生模型,我们再次进行了注意力的可视化。可以看到,经过FGD训练后的学生,空间注意力和通道注意力的分布与教师都非常相似,这表明学生通过蒸馏学到了教师的知识并获得了更好的特征,由此实现了性能的提升。
04
更多蒸馏设置
代码基于MMDetection实现,易于复现,且已添加更多的教师与学生蒸馏设置,相关结果也在代码中给出,欢迎大家使用。
END
欢迎加入「目标检测」交流群
CVPR 2022 | 针对目标检测的重点与全局知识蒸馏(FGD)相关推荐
- FGD针对目标检测的重点与全局知识蒸馏
CVPR 2022 | 针对目标检测的重点与全局知识蒸馏 文章链接:arxiv.org/abs/2111.11837 代码链接:github.com/yzd-v/FGD 讲解部分:https://zh ...
- CVPR 2022 | 清华字节提出FGD:针对目标检测的重点与全局知识蒸馏
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 作者:美索不达米亚平原 | 已授权转载(源:知乎)编辑:CVer https://zhuanlan.zh ...
- CVPR 2022 | 未知目标检测模块STUD:学习视频中的未知目标
前言 构建能够检测分布外(OOD)目标的可靠目标检测器是至关重要的,但尚未得到充分探索.关键挑战之一是,模型缺乏来自未知数据的监督信号,从而对OOD对象产生过于自信的预测. 文章提出了一种基于时空未知 ...
- 一文看尽 27 篇 CVPR 2021 2D 目标检测论文
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨二玖 编辑丨极市平台 导读 本文对我们汇总的 CVPR 2021 检测大类中的2D目标检测领域的 ...
- BEV蒸馏来了!BEVDistill:用于多目3D目标检测的跨模态BEV蒸馏
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心[3D目标检测]技术交流群 后台回复[3D检测综述]获取最新基于点云/BEV/图像的3D ...
- CVPR 2021 | 视觉目标检测大模型GAIA:面向行业的视觉物体检测一站式解决方案
作者丨常清 编辑丨机器之心 中国科学院自动化研究所智能感知与计算研究中心联合华为等企业提出面向行业的视觉物体检测一站式解决方案 GAIA. 在深度学习与大数据的浪潮下,视觉目标检测在各个基准数据集上已 ...
- CVPR 2020 Oral |目标检测+分割均实现SOTA!厦大提出协同学习网络
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :机器之心 论文链接:htt ...
- 【2022 小目标检测综述】Towards Large-Scale Small Object Detection: Survey and Benchmarks
Towards Large-Scale Small Object Detection: Survey and Benchmarks 论文简介: 论文动机: 小目标检测方法回顾: 问题定义: 主要挑战: ...
- 梅赛德斯奔驰最新!目标检测的结构化知识蒸馏
点击进入→自动驾驶之心[目标检测]技术交流群 摘要: 知识蒸馏(KD)是深度神经网络中著名的训练,它将由一个大的教师模型获得的知识传递给一个小的学生.KD已经被证明是一种有效的技术,可以显著提高学生在 ...
最新文章
- 阿里P8都留不住的程序员和他们的公众号!
- 探讨:COCO2017数据集中包含很多目标被标注为一个框bbox,是标注错误吗?
- js函数调用html对象参数传递参数吗,js里函数参数传递对象传的是指针吗
- 江苏全国计算机考试考点,江苏省 全国计算机等级考试考点
- mysql驱动_python3 接口测试数据驱动之操作mysql数据库
- Linux16.04安装Matlab2016b详细教程
- 怎么保证读取最新数据_Kafka怎么保证数据不丢失?
- centos安装python3.7和yum报错解决方法
- 设计模式之抽象状态模式
- 最全Pycharm教程(5)——Python快捷键相关设置
- Dest0g3 520迎新赛部分WP
- TensorFlow的Dataset的padded_batch使用
- 联通项目中的常见术语(BTS、BSC、MSC、VLR、HLR)
- 机器学习笔记:随机深度网络 stochastic depth
- ncbi-genome-download在NCBI上批量下载基因组
- android 录制mp4格式,Android系统如何录制屏幕(录制成mp4格式)
- 学校举办朗诵比赛,邀请了 10 位评委为每一名参赛选手的表现打分。假设列表 lst_score
- VRRP 出现部分双主情况
- 这才是没有文化的表现
- wr741n wr841n openwrt ,AR9331/AR9341网口修正方法
热门文章
- VC2008 Windows Media Player控件的使用技巧 三
- vista系统服务器,Vista系统中怎么设置IIS服务器
- 判定重大风险有哪几种_安全风险识别和评估的方法有哪些?
- php 判断苹果还是安卓,PHP简单判断iPhone、iPad、Android及PC设备的方法
- resnet结构_来聊聊ResNet及其变种
- php解escape,PHP下escape解码函数用法示例
- php替换文本域中的换行符,文本域中换行符的替换示例
- mysql支持arm64架构吗_ARM架构下面安装mysql5.7.22
- java 504错误怎么解决_求助java.lang.NoClassDefFoundError怎么解决,报错信息如下
- 蜂鸟笔记本swift接口_蜂鸟Swift 5可清新文艺、又可尊贵典雅