主要内容

建立一个自上而下的途径和横向连接，将低分辨率、语义强的特征与高分辨率、语义弱的特征相结合的特征金字塔，在各个层面都有丰富的语义，并能从单一的输入图像比例中快速构建。该方法将任意大小的单尺度图像作为输入，并以完全卷积的方式在多个层次上输出不同比例大小的特征图。这个过程独立于骨干卷积架构

FPN结构

自下而上的途径

自下而上的途径是骨干网络的前馈计算，它计算的特征层次由几个尺度的特征图组成，缩放步长为2。通常有许多层产生相同大小的输出图，我们说这些层处于同一网络阶段。对于我们的特征金字塔，我们为每个阶段定义一个金字塔层。我们选择每个阶段最后一层的输出作为我们的特征图参考集，我们将充实这些特征图来创建我们的金字塔。这种选择是很自然的，因为每个阶段的最深层应该有最强的特征。
例如ResNet网络，有四个卷积块，表明有四个不同大小的特征图输出。这是主干网络提供的，FPN结构直接拿来用。舍弃第一个卷积因为他需要太大的内存

总结：
在自下而上的途径中，FPN只获取特征图尺寸发生变化的输出，并且这个输出是特征图尺寸发生变化前的最后一个输出

自上向下的路径和横向连接

自上而下的途径通过对来自金字塔高层的空间上较粗但语义上较强的特征图进行上采样，幻化出更高的分辨率特征。然后，这些特征通过横向连接与来自自下而上途径的特征一起增强。每个横向连接将来自自下而上途径和自上而下途径的相同空间大小的特征图合并起来。自下而上的特征图具有较低的语义，但由于其被子采样的次数较少，其激活的定位更为准确。
下图是自上而下特征图的结构。对于较粗分辨率的特征图，我们将空间分辨率上采样2倍（为简单起见，使用近邻上采样）。然后，上采样的特征图与相应的自下而上的特征图（经过1x1个卷积层以减少通道尺寸）通过元素相加的方式合并起来。这个过程反复进行，直到生成最精细的分辨率地图。为了开始迭代，我们只需在C5上附加一个1x1卷积层以产生最粗的分辨率地图。最后，我们在每个合并的特征图上附加一个3x3卷积层，生成最终的特征图，这是为了减少上采样的混叠效应。
因为金字塔的所有层次都使用共享的分类器/回归器，就像传统的特征图像金字塔一样，我们在所有的特征图中固定了特征维度（通道数，表示为d）。在本文中，我们设定d=256，因此所有额外的卷积层都有256通道的输出。在这些额外的层中没有非线性，我们根据经验发现这些非线性的影响很小。

总结：
将自上而下的特征图和相对应的自下而上的特征图通过逐像素相加的方式融合，在最粗的分辨率中，使用1个1x1的卷积来调整通道数，文中默认将通道数设置为256，对较粗的分辨率用近邻采样法进行2倍上采样（特征尺寸*2）。对于横向连接部分，直接使用1个1x1的卷积层来调整通道数。

特征金字塔（FPN）相关推荐

ECCV2020 | 即插即用，涨点明显！FPT：特征金字塔Transformer
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达这篇文章收录于ECCV2020,将Transformer机制应用于对特征金字塔FPN的改进上,整体思路 ...
恒源云(GPUSHARE)_CV论文笔记之CE-FPN（通道增强特征金字塔网络）
文章来源 | 恒源云社区(专注人工智能/深度学习GPU免费加速平台,官方体验网址:https://gpushare.com) 原文地址 | CE-FPN: Enhancing Channel Info ...
图像多尺度特征融合、特征金字塔总结
参考链接: https://blog.csdn.net/qq_36268755/article/details/106192524?spm=1001.2014.3001.5502 https://zh ...
性能超FPN！北大、阿里等提多层特征金字塔网络
作者 | Qijie Zhao等编译 | 李杰出品 | AI科技大本营(ID:rgznai100) 特征金字塔网络具有处理不同物体尺度变化的能力,因此被广泛应用到one-stage目标检测网络(如 ...
计算机视觉FPN: 特征金字塔网络
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx FPN:feature pyramid networks for object detecti ...
深度学习阅读导航 | 04 FPN：基于特征金字塔网络的目标检测
写在前面:大家好!我是[AI 菌],一枚爱弹吉他的程序员.我热爱AI.热爱分享.热爱开源! 这博客是我对学习的一点总结与记录.如果您也对深度学习.机器视觉.算法.Python.C++ 感兴趣,可以关 ...
FPN (特征金字塔) 的原理和代码
文章结构 1. 为什么会使用金字塔式的representation以及它存在的问题. 2. 原理和特点. 3. 如何基于resnet实现(思路). 4. 小总结 1. 为什么会使用金字塔式的repre ...
关于FPN（特征金字塔网络）层间融合的理解
FPN层间融合的个人理解 Feature Pyramid Networks for Object Detection 论文链接: https://arxiv.org/abs/1612.03144. 盗 ...
AI大视觉（六) | 特征金字塔（FPN）如何进行特征融合？
本文来自公众号"AI大道理". 这里既有AI,又有生活大道理,无数渺小的思考填满了一生. 在深度学习的很多工作中(例如目标检测.图像分割),融合不同尺度的特征是提高性能的一个重要手 ...
【CV】FPN：用于目标检测的特征金字塔网络
论文名称:Feature Pyramid Networks for Object Detection 论文下载:https://arxiv.org/abs/1612.03144 论文年份:2016 论 ...

特征金字塔（FPN）