EfficientDet论文解析

既EfficientNet之后，Tan Mingxing等人再接再厉，在物体检测领域的特征融合和检测头等部分也采用了相似的方法进行研究和搜索，提出了EfficientDet的网络，在COCO数据集上吊打其他方法。EfficientDet主要有两个创新点，一个是FPN的加强版BiFPN，另一个是混合缩放。混合缩放和EfficientNet的思想高度相似，只是混合缩放的变量不一样。

方法

BiFPN

图1是几种常见的Neck特征融合方法。其中 ( a ) (a) (a)是最早的FPN的方法，就是把深层的特征信息从top-down的方向依次放大往浅层上融合； ( b ) (b) (b)是PANet的思想，和FPN的区别在于多了一层特征融合方式——在FPN的基础上，从down-top的方向将浅层的特征信息往深层上融合； ( c ) (c) (c)是NAS-FPN的融合方法，通过NAS的方法找到最好的融合路径，然后重复叠加几次； ( d ) (d) (d)就是本论文提出的BiFPN的思想，在PANet的基础上，去掉了只有一个输入边的节点（P3和P7的中间节点），增加了输入节点（左边）到输出节点（右边）的直接跳连，然后和NAS-FPN一样，也是重复叠加了几次这种block。

图1. 几种常见特征融合方法和BiFPN的对比

由于部分节点多加了一条输入边，这些节点的输入特征融合方法就很关键了，会影响到检测效果和检测速度。作者在论文中讨论了三种融合方法：第一种是加权和，可以从channel或者pixel的维度去加权，这种方式简单粗暴，但是训练的过程会导致加权系数不稳定；第二种是采用基于softmax的融合方法，这种方法需要进行很多指数运算，会影响运行效率；第三种快速归一化，公式如下所示。其中 w i > 0 w_i > 0 wi>0（通过ReLU）， ϵ = 0.0001 \epsilon=0.0001 ϵ=0.0001避免分母为0，这种方法计算速度比softmax快很多，又保证了融合系数加起来为1。所以论文选用了第三种方法。

O = ∑ i w i ϵ + ∑ j w j I i O=\sum_i\frac{w_i}{\epsilon+\sum_jw_j}I_i O=i∑ϵ+∑jwjwiIi

论文还特别提到，为了进一步改进效率，在特征融合的卷积操作上改用可分离通道卷积（depth-wise conv），当然在卷积后面会相应加上BN和激活层。

混合缩放

和EfficientNet一样，EfficientDet也是先确定一个基本的网络结构，然后使用一个统一的混合缩放系数 ϕ \phi ϕ去放大和调整基本的网络结构参数。在Backbone的选择上，EfficientDet使用的是EfficientNet-B0到B7作为预训练模型，所以EfficientDet的系数 ϕ \phi ϕ的选择范围也是0~7。

除了Backbone，EfficientDet要调整的网络结构参数总共有以下几个：

在Neck上，要调整深度和宽度的参数，也就是BiFPN的堆叠个数和channels大小。调整的方式分别为： D b i f p n = 3 + ϕ D_{bifpn}=3+\phi Dbifpn=3+ϕ、 W b i f p n = 64 ∗ ( 1.3 5 ϕ ) W_{bifpn}=64*(1.35^{\phi}) Wbifpn=64∗(1.35ϕ)
在Head上，保持宽度和Neck的一致，要调整头部的深度，也就是卷积层的个数。调整的方式为： D b o x = D c l a s s = 3 + [ ϕ / 3 ] D_{box}=D_{class}=3+[\phi/3] Dbox=Dclass=3+[ϕ/3]
在输入图片的分辨率上，由于feature map的分辨率会缩小3-7次，所以输入的分辨率一定得是 2 7 = 128 2^7=128 27=128倍数。分辨率的线性增长调整公式为： R i n p u t = 512 + ϕ ∗ 128 R_{input}=512+\phi * 128 Rinput=512+ϕ∗128

作者在论文中强调，之所以不采用网格搜索的方法去探寻这些公式，是因为检测网络相比分类网络更复杂，维度更多，搜索的代价会非常昂贵，所以只是采取启发式的缩放方法。表1是经过以上公式计算出来的EfficientDet D0~D7的相关网络参数。

表1.EfficientDet D0~D7的网络架构参数值

经过上面的描述后，我们做个简单的综合。图2是EfficientDet的整体网络架构，和YOLO相似，它也是一个one-stage的算法。在EfficientNet提取好P3~P7的特征信息后，输入到BiFPN模块里面去融合不同level之间的特征。最后再把融合的特征传给头部（Head）去预测检测框的类别和大小，Head部分不同level之间的网络权值是共享的。

图2.EfficientDet网络整体架构

实验

在实验上肯定不用说了，基本上吊打之前的检测算法。训练的参数和方法其实也很普通，没有什么改进之处，也是集众算法之长，有兴趣的读者可以自行阅读论文5.1部分的第一段。直接贴出实验的结果吧，表2是各级别的EfficientDet在COCO数据集上的检测精度和性能数据。

表2.EfficientDet-D0到D7在COCO数据集上的实验结果

从表中可以看出，在相同检测精度级别的条件下，EfficientDet无论上是在参数量、计算量和时延上，相比其他算法都有不小的领先优势。也许从这张pareto曲线上能更清晰地展现出EfficientDet的优势，在左上的位置表示这个算法模型的计算量越少，检测mAP越高。

图3.EfficientDet和其他算法模型的pareto（mAP-FLOPS）曲线对比