深度学习中的卷积与反卷积

转载自：http://blog.csdn.net/panglinzhuo/article/details/75207855

卷积与反卷积操作在图像分类、图像分割、图像生成、边缘检测等领域都有很重要的作用。为了讲明白这两种操作，特别是反卷积操作，本文将依照神经网络中的编码器——>解码器——>卷积——>反卷积的思路来一步步介绍。

编码器与解码器

神经网络本质上就是一个线性变换，通过将输入的多维向量与权重矩阵相乘，得到一个新的多维向量。

当输入向量的维度高于输出向量的维度时，神经网络就相当于一个编码器，实现了对高维向量的低维特征提取。例如下图从x到h的变换过程。
当输入向量维度低于输出向量维度时，神经网络就相当于一个解码器，实现了低维向量到高维向量的重构，如图中h到y的变换。

然而，普通的神经网络仅能对向量进行操作，常见的图像、音频等高维数据都需要展开成向量才能输入给神经网络，这大大破坏了数据在空间上的位置信息。

卷积与反卷积操作使得神经网络可以处理二维以上的数据。它最大的好处在于：1.保持了数据在空间上的位置信息；2.权重共享使得计算复杂度大大降低。

卷积

卷积操作的作用类似神经网络中的编码器，用于对高维数据进行低维特征提取。

卷积操作的示意图：

蓝色图像为input feature map；绿色图像为output feature map
当有多个input and output feature maps时,卷积核用一个4-D数组表示：

output_channels,input_channels,filter_rows,filter_columns

output feature maps的个数与output_channels数目相等。
卷积操作的计算方式如下：
已知：

input size i
kernel size k
stride s
padding size p

则输出大小为：

特殊的卷积操作

Half(same) padding
输出size与输入size相同(i.e., o = i)
Full padding
输出size大于输入size

反卷积

反卷积通常用于将低维特征映射成高维输入，与卷积操作的作用相反。

卷积与反卷积中的矩阵操作

将大小为(3,3)的卷积核表示成如下图所示的(16,4)矩阵C.T（表示矩阵C的转置）：

其中w的下标i，j分别表示卷积核的第i行第j列元素。

卷积的矩阵操作
将输入4*4的原始图像A展开成(16,1)向量，则将卷积核作用于图像A等同于下面的矩阵操作：

C * A = B
其中，B为卷积后得到的(4,1)向量，再reshape成(2,2)矩阵即为输出。
误差的反向传播

$\frac{\partial Loss}{\partial x} = \begin{bmatrix} \frac{\partial Loss}{\partial x_1} \\ \frac{\partial Loss}{\partial x_2} \\ \hdotsfor{1} \\ \frac{\partial Loss}{\partial x_n} \\ \end{bmatrix} = \begin{bmatrix} C_{*,1}^T\frac{\partial Loss}{\partial y} \\ C_{*,2}^T\frac{\partial Loss}{\partial y} \\ \hdotsfor{1} \\ C_{*,n}^T\frac{\partial Loss}{\partial y} \\ \end{bmatrix} = \begin{bmatrix} C_{*,1}^T \\ C_{*,2}^T \\ \hdotsfor{1} \\ C_{*,n}^T \\ \end{bmatrix} \frac{\partial Loss}{\partial y} = C^T \frac{\partial Loss}{\partial y}$
反卷积的矩阵操作
若输入图像A大小(2,2)，则首先展开成(4,1)大小的向量，则将卷积核作用于图像A等同于下面的矩阵操作：

C.T * A = B
其中，B为卷积后得到的(16,1)向量，再reshape成(4,4)的矩阵即为反卷积操作的输出结果。
误差的反向传播
与卷积操作中误差反向传播时左乘C.T不同，此时需要左乘C。

下图为论文《Adaptive Deconvolutional Networks for Mid and High Level Feature Learning》通过deconvolutional networks学习图片特征的过程。右边为卷积通道，左边为反卷积通道。F、P分别表示卷积及pooling，F.T、U分别表示反卷积及unpooling。

网络通过调整feature maps(z)及filters(f)使得根据feature maps(z)及filters(f)重构的图像y^与原始图像y的差别最小：

网络学习过程：先固定filter学习feature map(inference)，
再固定feature map学习filter(learning)。大致步骤如下图：图片中的红框代表inference，蓝框代表learning。

参考：
https://www.zhihu.com/question/43609045
http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html#transposed-convolution-arithmetic