霹雳吧啦Wz语义分割学习笔记P4

P4.膨胀卷积（Dilated Convolution）空洞卷积（Atrous Convolution)

1.膨胀卷积的作用

增大感受野

保持原输入特征图W、H

kernel元素间存在间隙即膨胀因子r（r=1，相邻，即普通卷积）

因为没有设置padding，所以高宽发生了改变。若padding=1，则保持原输入特征图W、H

FCN网络在backbone中下采样32倍，然后经过上采样还原回原图尺寸。若下采样倍率过大，对还原回原图尺寸将产生很大的影响。VGG16网络通过MaxPooling层进行池化操作，降低特征图的高度和宽度，还会丢失一些细节信息及比较小的目标，这些丢失的信息无法通过上采样进行还原。若去掉MaxPooling层，会导致得到的特征图所对应的原图的感受野变小，MaxPooling层可以增大特征层的感受野。后面的一系列卷积层是在之前所对应的感受野之上做进一步操作，移除MaxPooling层会带来一些问题。

2.gridding effect

https://arxiv.org/abs/1702.08502

膨胀系数相同

gridding effect现象：Layer4没有利用到范围内的所有像素值

膨胀系数不同

两次实验的感受野相同，但是膨胀系数不同时很多像素值没有被利用到

膨胀系数均为1 （普通卷积）

参数相同的情况下，使用膨胀卷积可以增大感受野

3.Hybrid Dilated Convolution（HDC）

当连续使用多个膨胀卷积时设置膨胀系数

连续堆叠N个膨胀卷积

卷积核KxK

膨胀系数r1,r2,r3......

HDC的目标：通过一系列膨胀卷积后能够完全覆盖底层特征层的方形区域，并且这个方形区域之间没有任何孔洞

定义第i层两个非0元素间的最大距离Mi = max[Mi+1 - 2ri, Mi-1 - 2(Mi+1 - ri), ri]

第n层两个非0元素间的最大距离为最后的膨胀系数Mn = rn

设计目标：M2 <= K

膨胀系数从1开始：若希望在高层特征图中的pixel利用到底层的所有像素，那么M1=1，M1>=r1，若r1>1，则M1>1，产生了间隙，所以必须r1=1

将膨胀系数（dilation rates）设置成锯齿结构

公约数不能大于1

4.效果对比