[论文阅读] A Simple Pooling-Based Design for Real-Time Salient Object Detection

论文地址：https://arxiv.org/abs/1904.09569
代码：http://mmcheng.net/poolnet/
发表于：CVPR’19

Abstract

我们通过研究如何扩大卷积神经网络中池化的作用来解决显著目标检测的问题。基于U型结构，我们首先在自下而上的路径上建立了一个全局引导模块(GGM)，旨在为不同特征层次的层提供潜在显著对象的位置信息。我们进一步设计了一个特征聚合模块(FAM)，使粗略层次的语义信息与自上而下路径的精细层次的特征很好地融合。通过在自上而下途径的融合操作之后添加FAM，来自GGM的粗糙特征可以与各种尺度的特征无缝融合。这两个基于池化的模块允许高层次的语义特征被逐步细化，产生细节丰富的显著图。实验结果表明，我们提出的方法可以更准确地定位具有精细细节的显著对象，因此与以前的SOTA相比，性能得到了大幅提高。我们的方法也很快速，在处理300×400的图像时可以以超过30FPS的速度运行。代码可以在http://mmcheng.net/poolnet/找到。

I. Overview

本文从结构上属于非常简洁的那种，只引入了两个模块，一个GGM，一个FAM，解决的是SOD多级特征融合中两个基本问题：低级局部特征在向下传播的过程中丢失；深层的感受野不够大导致全局上下文不足。

而之所以本文叫PoolNet，是因为以上所述的两个模块都是基于池化操作的。

II. Network Architecture

III. GGM(Global Guidance Module)

GGM对应模型的这一部分：

其核心就是一个PPM模块(图中的PPP)以及如何利用PPP处理后的信息。实际上，这个PPP对应的就是语义分割中使用的金字塔池化模块，作用是提取多尺度的上下文信息。严格来讲，往U型网络中插个多尺度上下文提取模块是比较常见的(插在encoder与decoder之间)，不过文中认为这么做有个问题，也就是这种信息的强化只对接近PPM的decoder块影响较大，而在逐步上采样过程中这种强化又被稀释了。

因此，本文的做法是，把这个PPM模块给单独作为一个分支，然后以恒等映射的方式将特征送回解码器的各个阶段，这样就可以缓解稀释的问题。

IV. FAM(Feature Aggregation Module)

FAM对应模型的这一部分：

也就是说，相当于是把传统decoder block里的两个卷积给换成了本文所提出来的学习能力更强的模块。FAM长这样：

这个东西和PPM其实很类似，也是一种金字塔池化模块，能够更好地处理多尺度特征。需要注意的是sum之后应该跟一个3×3卷积，以避免特征融合时的混叠效应(aliasing effect)。