[2017CVPR]Mimicking very efficient network for object detection 论文笔记
目录
- 出发点
- Method
- 总结
出发点
作者的出发点是，现有的检测backbone都是分类那边过来的，但是这些网络分类效果好，检测不一定就是最好的。假如我想要设计并找到一个更有效的网络，我们都需要预先在ImageNet上训练这些模型然后再检测任务上进行微调，这往往需要训练特别久，并且作者还发现小网络在ImageNet训练的结果并不好，在这上面再在检测任务上微调效果也不好。所以，作者提出了别的方式来获得预训练权重：用一个检测效果很好的网络来指导其他小检测网络训练，并确保两者检测性能差不多。
即：在原有GT训练的基础上，让小网络检测学习大检测网络的feature map，并且小网络不需要加载预训练模型，就能得到较好的效果，具体做法是将小网络的整张特征图采样并与大网络的特征图进行配准到相同尺寸和维数，感觉就是解决了超哥说的这个点，专门做配准。
Method
Faster-RCNN系列、SSD和YOLO这些检测器都可以分为两个部分，即采用一个backbone做特征提取，然后再通过网络去decode检测结果，本文提出的方法可以在全卷积网络上采用。如果直接在backbone最后一个卷积上进行特征蒸馏是不行的：一是特征的维度太高导致难以收敛，二是特征图的大小会因为输入图像不同而不同，三是由于待检测物体在整张图中很小，因此在特征图中的响应区域也很小。
作者采用的方法是将蒸馏整个feature变成蒸馏top-proposal特征，proposal的数量设定在256或者512，正负样本比例设定在1:1，参考链接。具体做法是，将将小模型的特征送入到转换层(一个3×3卷积层)，使得大小模型的proposal特征尺度和维度都一样，再将两者进行空间金字塔池化，通过L2 loss进行特征蒸馏。
总损失如上所示，Lgt代表原有的回归和分类损失，Lm代表特征蒸馏损失，u和v分别代表ROI的proposal特征，r表示转换层网络，N是proposal个数。作者对特征蒸馏损失进行了小改进，即normalization操作，其中mi代表proposal i的特征维度。
在训练期间分两步，第一步是将训练好的大网络和权重随机初始化的小网络进行前向传播，此时小网络只包含backbone和RPN网络(RPN网络也包含回归和二分类层)，通过Lm loss来对小网络的特征进行蒸馏学习。第二步是在小网络后面加上如Faster-RCNN后面的regressor层和分类层，参数也是随机初始化，然后利用GT和L2 logits蒸馏损失进行训练，因此第二阶段总损失包含GT的分类和回归损失以及logits蒸馏损失。
将小尺寸(大图像尺寸的一半)图像作为小网络的输入时，作者在backbone的后面加一个3×3反卷积来让大小网络的特征图size一样，然后在进行上述的蒸馏，没啥特别的。
在实验部分，证明了方法的有效性，并且利用该方法进行初始化比ImageNet初始化效果更好，图就不放了，见链接1。
总结
思路很简单，就是对proposal特征利用L2损失进行蒸馏。具体而言，小网络的特征会进行3×3卷积进行通道对齐，然后再将大小网络的特征进行RoI pooling并利用L2 loss进行蒸馏。这不是第一篇用蒸馏来做预训练模型，用在迁移学习上了，CVPR2017有一篇论文也是这个目的。(A Gift from Knowledge Distillation_Fast Optimization, Network Minimization and Transfer Learning)
注意：RoI pooling与空间金字塔池化的区别是，空间金字塔原论文是用的三个size进行池化，而ROI pooling是单尺度的池化。
[2017CVPR]Mimicking very efficient network for object detection 论文笔记相关推荐
- 【论文笔记】非常高效的物体检测mimic方法 Mimicking Very Efficient Network for Object Detection
转载:http://www.sohu.com/a/160564635_651893 AI科技评论按:CVPR 2017正在夏威夷火热进行中,精彩论文层出不穷.下文是Momenta 高级研发工程师蒋云飞 ...
- Mimicking Very Efficient Network for Object Detection
背景 Mimic作为一种模型小型化的方法,Hinton在 Distilling the Knowledge in a Neural Network一文中已经详细定义并介绍过,但近些年来大部分有关于mi ...
- 【Mimic】《Mimicking Very Efficient Network for Object Detection》
CVPR论文解读:非常高效的物体检测Mimic方法 二次学习(周志华教授).knowledge distilling(Geoffrey Hinton) 实验比较多,但是抓住重点 比用imagenet ...
- Feature Pyramid Networks for Object Detection 论文笔记
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/Jesse_Mx/article/details/54588085 论文地址:Feature Pyra ...
- PointAugmenting: Cross-Modal Augmentation for 3D Object Detection论文笔记
PointAugmenting: Cross-Modal Augmentation for 3D Object Detection(point-level fusion) CVPR2021 1.摘要+ ...
- Towards High Performance Video Object Detection论文笔记
这篇文章可以说是很牛逼的又快有准的文章,对比之前的这个团队的deep feature fow(快)和Flow-guided feature aggregation(准),这篇文章可以说是又快又准.但是 ...
- CFT：Multi-Camera Calibration Free BEV Representation for 3D Object Detection——论文笔记
参考代码:暂无 1. 概述 介绍:在相机数据作为输入的BEV感知算法中很多是需要显式或是隐式使用相机内外参数的,但是相机的参数自标定之后并不是一直保持不变的,这就对依赖相机标定参数的算法带来了麻烦.如 ...
- Scale-Equalizing Pyramid Convolution for Object Detection 论文笔记
前言 特征金字塔是解决多尺度目标检测的有效方式,但是在特征金字塔中,不同层级的特征中所包含的语义信息相差很大,这可能会无法得到最优的检测结果.为了解决这个问题,人们提出了很多不同的特征融合策略,目的是 ...
- （IoU-Net）Acquisition of Localization Confidence for Accurate Object Detection 论文笔记
前言 在大部分目标检测方法中,分类和定位的处理方法是不同的.给定一个proposal,预测的每个类标签的概率就作为这个proposal的分类置信度(classification confidence) ...
最新文章
- 网络管理员＆MCSE2003之5：第1章 帐户和资源管理
- 线程、进程、程序区别
- JDK版本不匹配...
- win10专业版 提供管理员权限才能删除文件夹
- jdbc postgresql mysql_mysql改为postgresql 语法常见问题
- Oracle的 EXEC SQL CONTEXT学习
- 数字int转换成文字string形式的方法
- 通过堡垒机登陆服务器脚本
- python中不能使用下标运算的是_下列选项中,不能使用下标运算的是() (3.0分)_学小易找答案...
- Atitit fsm有限状态机概念与最佳实践 目录 1. 概念组成与原理成分 1 1.1. 1、状态机的要素 4个要素，即现态、条件、动作、次态 2 1.2. 状态表 2 2. 性状 2 2.1.
- python 模拟登陆百度
- ASCII 字元表(详细讲解)
- 学习笔记（1):Java面试：核心考点突击大串讲-JavaSE开胃面试题介绍
- 突发！人人影视字幕组14人被抓，用户超800万，涉案金额超1600万！网友炸了：免费的片没了...
- java 上传图片与图片读取
- 【Linux】面试题（2021最新版）
- hasChildNodes()方法，nodeName、nodeValue、nodeType介绍
- Linux使用双向链表实现图片、音乐、视频的切换和删除功能
- PTA Java版 有重复的数据
- 【文献阅读】数据挖掘技术在制冷空调行业的应用