特征金字塔网络 FPN

一. 提出背景

论文：Feature Pyramid Networks for Object Detection 【点击下载】

在传统的图像处理方法中，金字塔是比较常用的一种手段，像 SIFT 基于金字塔做了多层的特征采集，对于深度网络来讲，其原生的卷积网络特征决定了天然的金字塔结构。深度网络在目标检测领域的应用比如早期的 Fast RCNN，Faster RCNN 都是在最后一层卷积层进行检测，后续针对的改进包括 ION、HyperNet、MSCNN 等都结合多尺度的特征，本文讨论了多尺度的方案对比：

a）传统方法，通过对图像进行降采样处理，提取每层图像的特征，然后在每层预测；

b）借助卷积网络，通过单特征图进行预测，典型的应用包括 Faster RCNN、YOLO；

原 Paper 少了一张图，这里补上（b2），将多个层的特征同时连接到预测层，ION、HyperNet 都是这个思路。

c）通过不同尺度的特征图进行分别预测，更好的处理目标的多尺度问题；

典型的代表是 SSD、MS CNN。

d）本文提出的 FPN 方法，在多尺度特征图的基础上，结合右侧的上采样进行不同 Scale 的整合，每层独立预测；

通过本层信息（上采样）＋原始特征层信息（侧向连接）进行结合；

二. 算法框架

提出了一种新的多尺度网络结构，这个网络结构可以理解为三个组成部分：

1）Bottom-Up Pathway

原生态的金字塔，所有的 ConvNet 都具备的特征，不需要多讲，这里作者选择的是每个Stage 的最后一层作为特征层，这里的 Stage 是指尺寸发生变化的情况。

2）Top-Down Pathway

对应特征图的上采样，思路是通过上采样提取更 Strong 的语义信息，同时上采样带来的是某些信息的丢失。

3）Lateral Connection

侧向连接是将原始的特征信息整合到右侧上采样特征层，原始特征代表了准确的 Location 信息。

通过 Top-Down（更强的语义信息）和侧向连接（准确的Loc）的结合，兼顾底层特征和抽象语义，连接方式可以这样描述：

Top-Down 通过2倍的上采样连接，侧向连接通过 1x1 的卷积进行连接，通过 Add 操作进行 Merge。

三. 实验分析

作者分别对比了 RPN 和 Fast R-CNN 的测试精度，分析 侧向连接 和 Top-Down 对于精度的贡献，来看对比表格：

可以看到，本方法（FPN）精度是最高，Lateral 和 Top-Down 对于精度的贡献都比较明显。

特征金字塔网络 FPN相关推荐

深度学习阅读导航 | 04 FPN：基于特征金字塔网络的目标检测
写在前面:大家好!我是[AI 菌],一枚爱弹吉他的程序员.我热爱AI.热爱分享.热爱开源! 这博客是我对学习的一点总结与记录.如果您也对深度学习.机器视觉.算法.Python.C++ 感兴趣,可以关 ...
【CV】FPN：用于目标检测的特征金字塔网络
论文名称:Feature Pyramid Networks for Object Detection 论文下载:https://arxiv.org/abs/1612.03144 论文年份:2016 论 ...
性能超FPN！北大、阿里等提多层特征金字塔网络
作者 | Qijie Zhao等编译 | 李杰出品 | AI科技大本营(ID:rgznai100) 特征金字塔网络具有处理不同物体尺度变化的能力,因此被广泛应用到one-stage目标检测网络(如 ...
计算机视觉FPN: 特征金字塔网络
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx FPN:feature pyramid networks for object detecti ...
FPN 特征金字塔网络
FPN(feature pyramid networks) 特征金字塔是多尺度目标检测系统中的一个基本组成部分.近年来深度学习目标检测却有意回避这一技巧,部分原因是特征金字塔在计算量和用时上很敏感(一 ...
详解何恺明团队4篇大作 !（附代码）| 从特征金字塔网络、Mask R-CNN到学习分割一切
来源:新智元作者:krish 本文5000字,建议阅读10+分钟. 本文介绍FAIR何恺明.Tsung-Yi Lin等人的团队在计算机视觉领域最新的一些创新,包括特征金字塔网络.RetinaNet. ...
CVPR 2019 | NAS-FPN：基于自动架构搜索的特征金字塔网络
作者丨孙明珊学校丨哈尔滨工业大学(深圳)硕士生研究方向丨目标检测研究动机当前目标检测网络中采用特征金字塔网络(FPN)结构解决多尺度的问题,但是这些 FPN 都是人工事先设计,并不一定是最优的 ...
即插即涨2-3%！AC-FPN：用于目标检测的注意力引导上下文的特征金字塔网络
关注点击关注上方"AI深度视线",并"星标"公号技术硬文,第一时间送达! 精彩内容 AC-FPN--用于目标检测的注意力引导上下文的特征金字塔网络 ,即插即 ...
特征金字塔（FPN）
特征金字塔(FPN) 主要内容 FPN结构自下而上的途径自上向下的路径和横向连接论文:<Feature Pyramid Networks for Object Detection> ...

特征金字塔网络 FPN

特征金字塔网络 FPN相关推荐

最新文章

热门文章