目标检测M2Det论文总结

简单说两句

Feature pyramids已经被各种目标检测器使用，不管是one-stage还是two-stage类型。浅层的feature map有利于检测小目标，深层的feature map有利于检测大目标，所以SSD采用了特征金字塔网络，检测结果要优于YOLOv1。但只是简单地利用从backbone抽出来的Feature maps有很多的局限性，因为这些网络是为了图像分类而设计，而不是检测任务。
总体来说，高阶特征包含更多的语义信息，对分类子任务的判别能力更强，低阶特征包含更多位置信息，对回归任务的判别能力更强。除此之外，低阶特征更适合表征外观简单的物体，高阶特征更适合表征外观复杂的物体。在实际中，小物体的复杂程度可能相差甚远，比如一个交通指示灯和一个离的很远的人，在图像中都是小物体，但是人的复杂程度要高很多。
基于以上理解，作者在SSD的基础上进行改进，设计了M2Det，一个mutil-level，mutil-scale检测网络，mutil-scale解决目标物体大小不一的问题，mutil-level解决物体不同复杂度的问题。

网络结构

由上图可见：
主体框架是MLFPN，首先从backbone中抽取2层feature map，通过FFM1方法融合后作为主框架MLFPN的base feature，feed给TUM和FFMv2。然后，每一个TUM会生成大小不一的feature maps，通过SSAM方法将每一组feature maps按照大小分别融合，形成mutil-level、mutil-scale的feature pyramids。和SSD一样，最后会在每一种尺寸的feature map后面加两个卷积层来预测位置信息和类别，最后使用NMS算法得到最终的结果。
值得注意的是，每一个TUM的输出使用FFMv2方法和base feature融合，作为第二个TUM的输入。所以第一个TUM只吸收了浅层特征base feature，后面的TUMs会同时吸收浅层base feature和较深层特征信息（前一个TUM的输出），从第一个（图中最上面的）TUM到最后一个，由浅至深，这是mutil-level的由来。

下面介绍上面提到的几种方法：

FFM1：
将20201024的feature map通过11卷积降低通道数，然后上采样得到40 * 40 * 512的feature map；将40 * 40 * 512的feature map通过1 * 1卷积将通道数降为256，然后将两者进行concate（上图(a)），concate后，通道数为512+256=768。
FFMv2：
将40 * 40 * 768的base feature降低通道数为128，然后和前一个TUM输出的feature maps中尺寸最大的（40 * 40）feature mapconcate（上图(b)）。
TUM：
如上图©所示，encoder（编码器）由5个卷积核为3 * 3，stride为22的卷积操作组成，每一次卷积后feature map的尺寸会缩小为原来的1/2，decoder（解码器）的每一个输出都吸收了encoder的每一个卷积层输出。从图中第二排操作可以看出，蓝色的+号是将前一个卷积结果上采样后和上层编码结果进行ele-wise sum操作。解码器中添加1*1卷积层是为了增强学习能力和保持平滑。最后TUM会输出6种scale的feature maps，所以是mutil-scale。
SFAM：
SFAM是为了将TUMs产生的mutil-level mutil-scale的features集合为feature pyrimid。
如下图，分2步操作：
1、将相同scale的features结合（concate），因此每一种scale的features来自不同的level。
2、加入channel-wise attention机制，让features聚焦于对它们最有用的通道上。

网络设置

作者使用了两种backbone进行实验：VGG16和ResNet。
默认参数有：8个TUM、每个TUM包含5个striding-conv和5次上采样，输出6中scale的features。
图像输入尺寸有320、512和800。
检测阶段，对6种scale的features，分别添加2个卷积层来分别获得回归和分类。
对于每一个feature map cell，使用3种长宽比，共6个anchors。

结果对比

M2Det与之前网络相比，成为了新的state-of-the-art，见下图：

总结

强大高效的M2Det的主要贡献的MLFPN，其设计加入mutil-level的思想，使得不同尺寸的目标检测更加高效。