前言

最近论文快deadline了，一直没空更新…今天复习一下多尺度特征融合的常用操作。

1. FPN 特征金字塔

论文：feature pyramid networks for object detection 论文链接

设计思路：

底层的特征语义信息比较少，但是目标位置准确。
高层的特征语义信息比较丰富，但是目标位置比较粗略。

模型设计：自底向上Bottom-up，自顶向下Top-down，横向连接Lateral connection。

自底向上：特征图随着左半部分的网络的加深，尺寸会不断变小，语义信息会更加丰富，这里是将每个stage（尺寸不变的网络集合为一个stage）的最后一个特征图构成特征金字塔。
自顶向下：通过upsampling的方法，不断放大特征图，使得低层特征也包含丰富的语义信息。
横向连接：将上采样的结果和自底向上生成的相同大小的特征图进行融合。即：从左边过来的特征图，先经过1*1的卷积操作，然后与上面下来的特征图相加（element-wise addition），之后再经过3*3的卷积能得到本层的特征输出（消除上采样产生的混叠效应aliasing effect：插值生成的图像灰度不连续，在灰度变化的地方可能出现明显的锯齿状）。

FPN+RPN

原先的RPN网络，输入的是经过主干网络提取的特征图（单尺度），设置的anchor有3种尺寸，3种宽高比，故有9种anchor：

加入了FPN后，RPN的输入是多尺度特征图，也就是每一层特征图后连接一个RPN head，因为已经有多尺度特征图了，就不需要设置另外3种尺寸，故有15种anchor：

FPN+ROI

ROI的作用是将输入的（检测框，整特征图）进行pooling，得到相同尺寸的目标特征图。使用了FPN之后，就有了多尺度特征图，考虑到实际目标有大有小，所以使用下公式判断将哪一层的特征图输入到ROI中：
k = ⌊ k 0 + l o g 2 ( w ∗ h 224 ) ⌋ k=\lfloor{k_0+log_2(\frac{\sqrt{w*h}}{224})}\rfloor k=⌊k0+log2(224w∗h )⌋
其中， k k k代表特征图的层数编号。

2. PANet

Pyramid Attention Networks for Image Restoration
论文地址

PANet是FPN（图a）的拓展，PANet创新点在于：

加入了自底向上路线增强；
加入了自适应特征池化。

Bottom-up Path Augmentation
可以看到图(a)的FPN是自顶向下路线，通过侧向连接，将高层的强语义特征传递下来，只增强了特征金字塔的语义信息。例如，当底层特征到到P5时（红线），中间经过非常多层的网络（100+），此时底层的目标信息已经非常模糊了，因此扩展了FPN，加入了自底向上的路线（绿色路线，底层->P2->N2~N5，其中经过的路径少于10层），弥补并加强了定位信息。
Adaptive Feature Pooling
前文中，使用FPN+ROI的方法是使用公式来选择FPN的特征图（P2～P5）的其中之一（例如小尺寸选择P2，大尺寸选择了P5）作为ROI的输入，而这种方法实际上也是单层的特征图。在这里，作者对多个特征图（N2～N5）和目标框进行ROI，然后对多个ROI结果(4个)，分别经过全连接（fc1）后，再进行融合（sum、max、product等），如图所示：

参考

https://zhuanlan.zhihu.com/p/62604038

算法笔记(六)多尺度特征融合之FPN/PANet相关推荐

多尺度特征融合的目标检测算法-论文解读
1.论文声称的创新点论文中的创新点主要体现在网络结构的创新上,作者提出了一种基于SSD多尺度特征融合(Multi-scale Feature Fusion Single Shot Detecto ...
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-图像识别（论文篇三）
目录基于多尺度特征融合的眼底图像分割算法研究相关理论知识及技术 2.1 眼底医学图像知识
多尺度特征融合的知识蒸馏异常检测方法文献笔记
多尺度特征融合的知识蒸馏异常检测方法期刊:计算机辅助设计与图形学学报学校:南京信息工程大学计算机学院时间:2022 关键词:异常检测;知识蒸馏;一分类问题;特征融合背景异常检测一般是指判断并 ...
CVPR2020论文笔记——EfficientDet---双尺度特征融合BiFPN目标检测
代码:https://github.com/google/automl/tree/ master/efficientdet. 摘要:提出了提高效率的几个关键优化提出了一种加权的双向特征金字塔网络,它 ...
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-工程应用（论文篇四）
目录基于多尺度特征融合与残差收缩网络的齿轮箱故障诊断研究卷积神经网络 2.1 引言
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-目标检测（论文篇五）
目录基于多尺度特征融合的行人检测技术研究行人检测相关基础理论 2.1 基于传统方法的行人检测
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合（论文篇二）
目录基于多尺度特征融合的图像语义分割方法研究知识储备 2.1 神经网络理论
深度学习——day9（外 Q1 2021）基于多尺度特征融合的深度监督卷积神经网络路面裂缝检测
基于多尺度特征融合的深度监督卷积神经网络路面裂缝检测导图和笔记资源下载三级目录# (外 Q1 2021)基于多尺度特征融合的深度监督卷积神经网络路面裂缝检测 chap2 传统裂纹检测方法 1)Tr ...
知识图谱-生物信息学-医学顶刊论文(Bioinformatics-2021)-MUFFIN:用于DDI预测的多尺度特征融合
2.(2021.3.15)Bioinformatics-MUFFIN:用于DDI预测的多尺度特征融合论文标题: MUFFIN: multi-scale feature fusion for drug ...

算法笔记(六)多尺度特征融合之FPN/PANet

前言

1. FPN 特征金字塔

FPN+RPN

FPN+ROI

2. PANet

参考

算法笔记(六)多尺度特征融合之FPN/PANet相关推荐

最新文章

热门文章