论文地址：https://arxiv.org/pdf/2006.02334v1.pdf
代码地址：https://github.com/joe-siyuan-qiao/DetectoRS

在宏观层面上，作者提出的递归特征金字塔 (RFP)建立在特征金字塔网络(FPN)之上，将FPN层的额外反馈连接合并到自底向上的骨干层，如上所示。将递归结构展开到一个顺序实现中，获得了一个对象检测器的主干，它可以查看两次或两次以上的图像。类似于Cascade R-CNN用更有选择性的例子训练的级联检测头，RFP递归地增强FPN，生成越来越强大的表示。类似于深度监督网络，反馈连接将直接从检测器头接收梯度的特征返回到自底向上主干的低级别，以加速训练和提高性能。RFP实现了一种连续的设计，即仔细观察和仔细思考，自底向上的主干和FPN被多次运行，其输出特性依赖于前面的步骤。
在微观层面，提出了Switchable Atrous Convolution (SAC)，该方法将相同的输入特征与不同的Atrous速率进行卷积，并使用开关函数收集结果。下图显示了SAC的概念示意图。开关函数具有空间依赖性，即feature map的每个位置可能有不同的开关来控制SAC的输出。为了在检测器中使用SAC，将自底向上主干中的所有标准3x3卷积层都转换为SAC，这大大提高了检测器的性能。

一、实现细节：

设BiB_iBi表示自底向上主干的第i级，FiF_iFi表示自顶向下FPN操作的第i级。配备FPN的骨干网输出一组特征映射{fi∣i=1，…，Sf_i | i = 1，…， Sfi∣i=1，…，S}，其中S为阶段数。上图中的S = 3。任意的i=1，…，Si = 1，…， Si=1，…，S，输出特征fif_ifi定义为：

其中x0x_0x0是输入图像且fS+1=0f_{S+1} = 0fS+1=0。建立在FPN上的目标检测器使用fif_ifi进行检测计算。

(一)、Recursive Feature Pyramid

递归特征金字塔(RFP)将反馈连接添加到FPN中，如上所示。让RiR_iRi表示特征变换，然后将其连接回自底向上主干。任意的i=1，…，Si = 1，…， Si=1，…，S，输出特征fif_ifi定义为：

这使得RFP成为一个递归操作。将其展开到一个顺序网络，任意的i=1，…，S,i = 1，…， S,i=1，…，S,t = 1, …T

其中T是展开迭代的次数，用上标T表示展开步骤T的操作和特征。fi0f_i^0fi0设为0。在实现中，FitF_i^tFit和RitR_i^tRit在不同的步骤中共享。

对ResNet骨干进行更改，允许它同时接受x和R(f)R(f)R(f)作为输入。ResNet有四个阶段，每个阶段由几个类似的块组成。只对每个阶段的第一个块进行修改，如下所示。该块计算一个三层特征，并将其添加到一个通过跳连接计算的特征中。为了使用特征R(f)R(f)R(f)，添加了另一个卷积层，其内核大小设置为1。这一层的权值初始化为0，以确保从一个预先训练的检查点加载权值时，它不会产生任何真正的效果。

（二）、ASPP as the Connecting Module

使用Atrous Spatial Pyramid Pooling (ASPP)来实现连接模块R，它以一个特征fitf_i^tfit作为输入，并将其转换为上图中使用的RFP特征。在该模块中，有四个以fitf_i^tfit为输入的并联支路，其输出沿通道尺寸串接在一起，形成R的最终输出。其中三个支路采用卷积层，然后是ReLU层。输出通道数为输入通道数的1/4。最后一个分支使用全局平均池化层来压缩特征，然后是1x1卷积层和ReLU层来将压缩后的特征转换成1/4大小(通道方式)的特征。最后，它被调整大小并与来自其他三个分支的特性连接在一起。这三个分支中卷积层的配置如下:kernel size = [1,3,3]， atrous rate = [1,3,6]， padding =[0,3,6]。与最初的ASPP不同，在R中没有一个卷积层用于密集预测任务的最终输出。这四个分支中的每一个都会产生一个通道为输入特征的1/4的特征，将它们连接起来会产生一个与rR的输入特征大小相同的特征。

(三)、Output Update by the Fusion Module

如下所示，RFP还使用了融合模块将fitf_i^tfit和fit+1f_i^{t+1}fit+1结合起来，融合模块与循环神经网的更新过程非常相似。融合模块用于从2到T展开步骤。在展开的步骤t+1(t=1，…,T−1)t + 1 (t = 1，…,T-1)t+1(t=1，…,T−1)融合模块以步长T处的特征fitf_i^tfit和步长T+1T +1T+1处FPN新计算的特征fiT+1f_i^{T +1}fiT+1为输入。融合模块使用特征fit+1f_i^{t+ 1}fit+1通过卷积层和Sigmoid操作来计算注意力热图。得到的注意图被用来计算fitf_i^tfit和fit+1f_i^{t+1}fit+1的加权和，以形成一个更新的fif_ifi。在接下来的步骤中，这个fif_ifi将被用作fit+1f_i{t+1}fit+1的计算。

DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution相关推荐

【论文笔记】：DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution
&Title DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolu ...
【论文阅读】DetectoRS|Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution
题目:DetectoRS:Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution 作者:S ...
DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution 论文笔记
前言本文分别从宏观和微观角度对目标检测模型的backbone进行设计,进而提出DetectorRS, 在宏观上,提出递归特征金字塔(Recursive Feature Pyramid,RFP),它是 ...
DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution论文学习
Abstract 很多的目标检测器通过 looking and thinking twice 的方式实现了惊人的表现.本文作者针对目标检测主干网络的设计,研究了该机制.在宏观层面,作者提出了递归特征金 ...
论文导读：DetectoRS： Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution
论文导读:DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution A ...
DetectoRS-最强目标检测网络 54.7AP | Detecting Objects with Recursive Feature Pyramid and Switchable Atrous
最新目标检测论文,从检测的骨干网络设计出发(最近基于backbone的修改,貌似更有效!同比的由SCNet),效果直接SOTA! 论文地址:https://arxiv.org/pdf/2006.023 ...
微小目标识别（3）——论文翻译 SCRDet++: Detecting Small Objects via Instance-Level Feature Denoising(放不下了，摘要全文名称)
文章目录概述补充说明正文 Abstract Introduction 白酒杂质目标检测的作用 Related Work 2.1 Horizontal Region Object Detectio ...
Feature pyramid networks for object detection
具体分析请见: https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection ...
[纯理论] FPN (Feature Pyramid Network)
Feature Pyramid Networks for Object Detection 作者: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming ...
论文翻译——Feature Pyramid Networks for Object Detection
摘要: 特征金字塔是识别系统中检测不同尺度目标的基本组成部分.但最近的深度学习对象检测器已经避免了金字塔表示,部分原因是它们需要大量的计算和内存.本文利用深度卷积网络固有的多尺度金字塔层次结构,以额外 ...

DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution

一、实现细节：

(一)、Recursive Feature Pyramid

（二）、ASPP as the Connecting Module

(三)、Output Update by the Fusion Module

DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution相关推荐

最新文章

热门文章