Extended Feature Pyramid Network for Small Object Detection

论文链接：https://arxiv.org/abs/2003.07021v1

Introduction

现有的目标检测方法对于小目标的检测效果都不是很好，小目标在图片中占据很少的像素点，在池化的过程中很容易被过滤掉。
融合高层和低层的特征信息来检测小目标的特征金字塔网络虽然在一定程度上改善了小目标检测效果，但是在金字塔层级和建议区域的映射过程中，小目标和中目标以及一些大目标共享特征图，如下图a所示。
同时如下图b所示，随着目标尺寸的减小，特征金字塔网络的检测效果会急速下降。

本文针对以上问题提出了一种新的检测方法，主要包括以下内容extend feature pyramid network(EFPN), feature texture transfer(FTT)以及一个foreground-background-balanced loss。

Approach

首先建立利用底层高分辨率的特征图专门为小目标检测的扩展特征金字塔。同时为了实现扩展特征金字塔设计了一个feature texture transfer的模块，用来生成中间特征。最后，利用一个前景背景平衡损失函数来加强网络学习正像素点的能力。

Extended Feature Pyramid Network

FPN中通过上采样高层次的CNN特征图并将它们和低层次的特征进行横向连接来构建4层特征金字塔结构，尽管利用不同层次的特征来检测不同尺寸的目标，但是小目标和中目标的检测还是耦合在一起。

EFPN中在FPN上扩展了一个新的层次，利用一个SR模块在低分辨率的特征图上生成高分辨率的特征图来检测小目标物体，具体结构如下图所示。

前四层通过自顶向下的连接是为中目标和大目标做检测的，扩展的P₂^’层是为做小目标检测。P₂^’层的生成过程：在FTT模块中利用P₂、P₃融合生成P₃^’，然后结合C₂^’生成P₂^’，公式表示如下（采用最近邻插值方法进行上采样），

建议框大小和金字塔的映射采用如下的公式：

l为金字塔的层次，w和h为建议框的宽高，224是规范的ImageNet预训练的尺寸，l₀是映射的目标层次。

Feature Texture Transfer

FTT模块在对特征进行超分辨率的同时从参考特征中提取区域纹理，FTT模块还可以减少P2直接转换到扩展层P₂^’的噪声。FTT模块利用P₃作为主要输入，P₂为参考特征层，输出P₃^’可以定义为如下公式：

E_t表示纹理特征提取组件，E_c表示为内容特征抽取组件，向上采样两倍采用的是亚像素卷积，||表示的是特征串联，两个组件都是由残块组成。过程如下图所示：

Training Loss

前景和后景平衡损失能够提升EFPN的性能，一般的全局损失不足以学习到小目标的特点，因为小目标的像素点数目只占整图的一笑部分。前后景平衡损失由全局重建损失和真像素点损失组成。

（1）全局重建损失，用来加强和真背景的相似性，使用的是SR常用的l₁损失，表示为L_glob，F为生成的特征图，F^t是目标特征图。

（2）真像素点损失是为了将注意力转移到相应的像素点上，不平衡的前后景会影响检测器的性能。将前景区域作为真像素点，使用l₁函数来计算真像素点损失L_pos，P_pos表示为真实框中的像素点，N表示真像素带你的数目，（x,y）表示特征图中对应的像素点。

前后景平衡损失定义为L_fbb：

λ为超参数，平衡损失函数通过提高前景区域特征质量来挖掘真阳性，通过提高背景区域的特征质量来消除假阳性。

EFPN的整体损失表示为如下：

Experiments

Tsinghua-tencent 100K（交通标识检测的数据集，具有很多小目标）

MS COCO

Conclusion

EFPN是在FPN框架下扩展的来检测小目标的方法，在FPN框架中引入FTT模块和前后景平衡损失函数，通过实验表明，EFPN对于小目标检测具有比较好的结果。EFPN在未来可以应用到更具体的领域，比如面部识别和卫星图片检测。