空间金字塔池化_回顾语义分割—DenseASPP （密集空洞空间金字塔池化）

引言

在分辨率大，分割目标尺度范围广的语句分割任务中，长距离的上下文信息以及不同尺度的信息对于分割结果十分重要。所以为了增大卷积但感受野，常常对提取的feature map进行池化以达到感受野增大的效果，同时通过跳跃连接来结合多尺度的信息。

存在的问题

由于池化是一种直接粗暴的方式，所以每一次池化后都会牺牲空间分辨率，多次池化后可能造成信息丢失而影响分割效果

提出的方法

论文地址

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8578486&tag=1ieeexplore.ieee.org

空洞卷积的出现就是为了解决在提升感受野的同时不损失信息，ASPP将不同空洞率的空洞卷积平行或者级联堆叠来获取多尺度的信息增益。

但是ASPP同样存在问题，空洞卷积因为其机制每次计算只选取少量的像素点，采样并不密集，大量信息被抛弃；当空洞率增加到一定程度(如dilation_rate>24)，空洞卷积变得不那么有效甚至没有效果。

所以deepmotion就提出了DenseASPP，将DenseNet中的密集连接思想应用到了ASPP中，其结构如下图

更直观一点

每一层空洞卷积层的输入都是前面所有卷积层的输出和输入的feature map的拼接

空洞卷积的卷积核大小计算公式如下

,其中K为原始卷积核大小，d为空洞率

两个卷积叠加后的卷积核大小计算公式如下

简单起见，讨论一维的情况

ASPP中，采样点数为3，其感受野

DenseASPP中，空洞率d=6的卷积层的输入是feature map和d=3的输出

采样点数为7，其感受野

从上面看出增加了密集连接后，采样点数增加了，感受野也增加了。

思考

通过不同空洞率的空洞卷积来获取不同尺度的特征，那么怎么选取不同的空洞率的组合呢？

根据paper中设置，组合 3,6,12,18,24 五个数字，最后使感受野接近feature map 的大小。

For example, the resolution of Cityscapes [4] is 2048×1024, and the last feature map of our segmentation network is 256 × 128. DenseASPP(6, 12, 18, 24) covers a feature map size of 122,and DenseASPP(3, 6, 12, 18, 24) covers a larger feature map size of 128.

文中的feature map大小为256*128，使用（6,12,18,24）的组合最后的感受野为

文中是122，可能是个计算失误，因为作者想要检测大尺寸的物，所以让感受野达到半张图的大小，但是我们有时候不需要那么大感受野，就可以选择适合自己的组合。