深度学习入门（二十四）卷积神经网络——填充和步幅

前言
卷积神经网络——填充和步幅
- 课件
- - 填充
  - 步幅
  - 总结
- 课本
- - 1 填充
  - 2 步幅
  - 3 小结

前言

核心内容来自博客链接1博客连接2希望大家多多支持作者
本文记录用，防止遗忘

卷积神经网络——填充和步幅

课件

填充

给定(32×32)输入图像，应用(5×5)大小的卷积核
第一层得到输出大小28×28
第七层得到输出大小4×4
更大的卷积核可以更快地减小输出大小
形状从 n h × n w n_h×n_w nh×nw减小到 ( n h − k h + 1 ) × ( n w − k w + 1 ) (n_h-k_h+1)×(n_w-k_w+1) (nh−kh+1)×(nw−kw+1)

填充：在输入周围添加额外的行/列

0 × 0 + 0 × 1 + 0 × 2 + 0 × 3 = 0 0 × 0 + 0 × 1 + 0 × 2 + 0 × 3 = 0 0×0+0×1+0×2+0×3=0

填充 p h p_h ph行和 p w p_w pw列，输出形状为：
( n h − k h + p h + 1 ) × ( n w − k w + p w + 1 ) (n_h-k_h+p_h+1)\times (n_w-k_w+p_w+1) (nh−kh+ph+1)×(nw−kw+pw+1)
通常取 p h = k h − 1 , p w = k w − 1 p_h=k_h-1,p_w=k_w-1 ph=kh−1,pw=kw−1
当 k h k_h kh为奇数：在上下两侧填充 p h / 2 p_h/2 ph/2
当 k h k_h kh为偶数：在上侧填充 p h / 2 p_h/2 ph/2的上取整，在下侧填充 p h / 2 p_h/2 ph/2的下取整

步幅

填充减小的输出大小与层数线性相关
·给定输入大小224x 224，在使用5x5卷积核的情况下，需要44层将输出降低到4x4
·需要大量计算才能得到较小输出

步幅是指行/列的滑动步长
例：高度3宽度2的步幅

0 × 0 + 0 × 1 + 1 × 2 + 2 × 3 = 8 0 × 0 + 6 × 1 + 0 × 2 + 0 × 3 = 6 0 × 0 + 0 × 1 + 1 × 2 + 2 × 3 = 8\\ 0 × 0 + 6 × 1 + 0 × 2 + 0 × 3 = 6 0×0+0×1+1×2+2×3=80×0+6×1+0×2+0×3=6

给定高度 s h s_h sh和宽度 s w s_w sw的步幅，输出形状是
( n h − k h + p h + s h ) s h × ( n w − k w + p w + s w ) s w \frac{(n_h-k_h+p_h+s_h)}{s_h}\times \frac{(n_w-k_w+p_w+s_w)}{s_w} sh(nh−kh+ph+sh)×sw(nw−kw+pw+sw)
如果 p h = k h − 1 , p w = k w − 1 p_h=k_h-1,p_w=k_w-1 ph=kh−1,pw=kw−1
( n h + s h − 1 ) s h × ( n w + s w − 1 ) s w \frac{(n_h+s_h-1)}{s_h}\times \frac{(n_w+s_w-1)}{s_w} sh(nh+sh−1)×sw(nw+sw−1)
如果输入高度和宽度可以被步幅整除
( n h / s h ) × ( n w / s w ) (n_h/s_h)\times (n_w/ s_w) (nh/sh)×(nw/sw)

总结

1、填充和步幅是卷积层的超参数
2、填充在输入周围添加额外的行/列，来控制输出形状的减少量
3、步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状

课本

在前面的例子中，输入的高度和宽度都为3，卷积核的高度和宽度都为2，生成的输出表征的维数为2×2。正如我们概括的那样，假设输入形状为 n h × n w n_h\times n_w nh×nw，卷积核形状为 k h × k w k_h\times k_w kh×kw，那么输出形状将是 ( n h − k h + 1 ) × ( n w − k w + 1 ) (n_h-k_h+1) \times (n_w-k_w+1) (nh−kh+1)×(nw−kw+1)。因此，卷积的输出形状取决于输入形状和卷积核的形状。

还有什么因素会影响输出的大小呢？本节我们将介绍填充（padding）和步幅（stride）。假设以下情景：有时，在应用了连续的卷积之后，我们最终得到的输出远小于输入大小。这是由于卷积核的宽度和高度通常大于1所导致的。比如，一个240×240像素的图像，经过10层5×5的卷积后，将减少到200×200像素。如此一来，原始图像的边界丢失了许多有用信息。而填充是解决此问题最有效的方法。有时，我们可能希望大幅降低图像的宽度和高度。例如，如果我们发现原始的输入分辨率十分冗余。步幅则可以在这类情况下提供帮助。

1 填充

如上所述，在应用多层卷积时，我们常常丢失边缘像素。由于我们通常使用小卷积核，因此对于任何单个卷积，我们可能只会丢失几个像素。但随着我们应用许多连续卷积层，累积丢失的像素数就多了。解决这个问题的简单方法即为填充（padding）：在输入图像的边界填充元素（通常填充元素是0）。例如，在下图中，我们将3×3输入填充到5×5，那么它的输出就增加为4×4。阴影部分是第一个输出元素以及用于输出计算的输入和核张量元素： 0 × 0 + 0 × 1 + 0 × 2 + 0 × 3 = 0 0\times0+0\times1+0\times2+0\times3=0 0×0+0×1+0×2+0×3=0 。

通常，如果我们添加 p h p_h ph行填充（大约一半在顶部，一半在底部）和 p w p_w pw列填充（左侧大约一半，右侧一半），则输出形状将为
( n h − k h + p h + 1 ) × ( n w − k w + p w + 1 ) 。 (n_h-k_h+p_h+1)\times(n_w-k_w+p_w+1)。 (nh−kh+ph+1)×(nw−kw+pw+1)。
这意味着输出的高度和宽度将分别增加 p h p_h ph和 p w p_w pw。

在许多情况下，我们需要设置 p h = k h − 1 p_h=k_h-1 ph=kh−1和 p w = k w − 1 p_w=k_w-1 pw=kw−1，使输入和输出具有相同的高度和宽度。这样可以在构建网络时更容易地预测每个图层的输出形状。假设 k h k_h kh是奇数，我们将在高度的两侧填充 p h / 2 p_h/2 ph/2行。如果 k h k_h kh是偶数，则一种可能性是在输入顶部填充 ⌈ p h / 2 ⌉ \lceil p_h/2\rceil ⌈ph/2⌉行，在底部填充 ⌊ p h / 2 ⌋ \lfloor p_h/2\rfloor ⌊ph/2⌋行。同理，我们填充宽度的两侧。

卷积神经网络中卷积核的高度和宽度通常为奇数，例如1、3、5或7。选择奇数的好处是，保持空间维度的同时，我们可以在顶部和底部填充相同数量的行，在左侧和右侧填充相同数量的列。

此外，使用奇数的核大小和填充大小也提供了书写上的便利。对于任何二维张量X，当满足： 1. 卷积核的大小是奇数； 2. 所有边的填充行数和列数相同； 3. 输出与输入具有相同高度和宽度则可以得出：输出Y[i, j]是通过以输入X[i, j]为中心，与卷积核进行互相关计算得到的。

比如，在下面的例子中，我们创建一个高度和宽度为3的二维卷积层，并在所有侧边填充1个像素。给定高度和宽度为8的输入，则输出的高度和宽度也是8。

import torch
from torch import nn# 为了方便起见，我们定义了一个计算卷积层的函数。
# 此函数初始化卷积层权重，并对输入和输出提高和缩减相应的维数
def comp_conv2d(conv2d, X):# 这里的（1，1）表示批量大小和通道数都是1X = X.reshape((1, 1) + X.shape)Y = conv2d(X)# 省略前两个维度：批量大小和通道return Y.reshape(Y.shape[2:])# 请注意，这里每边都填充了1行或1列，因此总共添加了2行或2列
conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1)
X = torch.rand(size=(8, 8))
comp_conv2d(conv2d, X).shape

输出：

torch.Size([8, 8])

当卷积核的高度和宽度不同时，我们可以填充不同的高度和宽度，使输出和输入具有相同的高度和宽度。在如下示例中，我们使用高度为5，宽度为3的卷积核，高度和宽度两边的填充分别为2和1。

conv2d = nn.Conv2d(1, 1, kernel_size=(5, 3), padding=(2, 1))
comp_conv2d(conv2d, X).shape

输出：

torch.Size([8, 8])

2 步幅

在计算互相关时，卷积窗口从输入张量的左上角开始，向下、向右滑动。在前面的例子中，我们默认每次滑动一个元素。但是，有时候为了高效计算或是缩减采样次数，卷积窗口可以跳过中间位置，每次滑动多个元素。

我们将每次滑动元素的数量称为步幅（stride）。到目前为止，我们只使用过高度或宽度为的步幅，那么如何使用较大的步幅呢？图6.3.2是垂直步幅为，水平步幅为的二维互相关运算。着色部分是输出元素以及用于输出计算的输入和内核张量元素： 0 × 0 + 6 × 1 + 0 × 2 + 0 × 3 = 6 0\times0+6\times1+0\times2+0\times3=6 0×0+6×1+0×2+0×3=6、 0 × 0 + 6 × 1 + 0 × 2 + 0 × 3 = 6 0\times0+6\times1+0\times2+0\times3=6 0×0+6×1+0×2+0×3=6。

可以看到，为了计算输出中第一列的第二个元素和第一行的第二个元素，卷积窗口分别向下滑动三行和向右滑动两列。但是，当卷积窗口继续向右滑动两列时，没有输出，因为输入元素无法填充窗口（除非我们添加另一列填充）。

通常，当垂直步幅为 s h s_h sh、水平步幅为 s w s_w sw时，输出形状为
⌊ ( n h − k h + p h + s h ) / s h ⌋ × ⌊ ( n w − k w + p w + s w ) / s w ⌋ . \lfloor(n_h-k_h+p_h+s_h)/s_h\rfloor \times \lfloor(n_w-k_w+p_w+s_w)/s_w\rfloor. ⌊(nh−kh+ph+sh)/sh⌋×⌊(nw−kw+pw+sw)/sw⌋.

如果我们设置了 p h = k h − 1 p_h=k_h-1 ph=kh−1和 p w = k w − 1 p_w=k_w-1 pw=kw−1，则输出形状将简化为 ⌊ ( n h + s h − 1 ) / s h ⌋ × ⌊ ( n w + s w − 1 ) / s w ⌋ \lfloor(n_h+s_h-1)/s_h\rfloor \times \lfloor(n_w+s_w-1)/s_w\rfloor ⌊(nh+sh−1)/sh⌋×⌊(nw+sw−1)/sw⌋。更进一步，如果输入的高度和宽度可以被垂直和水平步幅整除，则输出形状将为 ( n h / s h ) × ( n w / s w ) (n_h/s_h) \times (n_w/s_w) (nh/sh)×(nw/sw)。

下面，我们将高度和宽度的步幅设置为2，从而将输入的高度和宽度减半。

conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2)
comp_conv2d(conv2d, X).shape

输出：

torch.Size([4, 4])

接下来，看一个稍微复杂的例子。

conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4))
comp_conv2d(conv2d, X).shape

输出：

torch.Size([2, 2])

为了简洁起见，当输入高度和宽度两侧的填充数量分别为 p h p_h ph和 p w p_w pw时，我们称之为填充 ( p h , p w ) (p_h, p_w) (ph,pw)。当时，填充是。同理，当高度和宽度上的步幅分别为 s h s_h sh和 s w s_w sw时，我们称之为步幅 ( s h , s w ) (s_h, s_w) (sh,sw)。特别地，当 s h = s w = s s_h = s_w = s sh=sw=s时，我们称步幅为 s s s。默认情况下，填充为0，步幅为1。在实践中，我们很少使用不一致的步幅或填充，也就是说，我们通常有 p h = p w p_h = p_w ph=pw和 s h = s w s_h = s_w sh=sw。

3 小结

1、填充可以增加输出的高度和宽度。这常用来使输出与输入具有相同的高和宽。
2、步幅可以减小输出的高和宽，例如输出的高和宽仅为输入的高和宽的（是一个大于的整数）。
3、填充和步幅可用于有效地调整数据的维度

深度学习入门（二十四）卷积神经网络——填充和步幅相关推荐

深度学习（二十四）矩阵分解之基于k-means的特征表达学习
矩阵分解之基于k-means的特征表达学习原文地址:http://blog.csdn.net/hjimce/article/details/50429317 作者:hjimce 一.相关理论因为最 ...
系统学习深度学习（二十四）--WRN
Abstract 网络不断向更深发展,但是有时候为了得到少量的accuracy的增加,却需要将网络层数翻倍,也会减少feature的reuse,降低训练速度.作者提出了wide residual ne ...
深度学习（二十四）——L2 Normalization, Attention（1）
L2 Normalization L2 Normalization本身并不复杂,然而多数资料都只提到1维的L2 Normalization的计算公式: x=[x1,x2,-,xd]y=[y1,y2,- ...
深度学习入门笔记（四）：神经网络
专栏--深度学习入门笔记推荐文章深度学习入门笔记(一):机器学习基础深度学习入门笔记(二):神经网络基础深度学习入门笔记(三):感知机深度学习入门笔记(四):神经网络深度学习入门笔记(五) ...
【深度学习】基于Pytorch的卷积神经网络概念解析和API妙用(二)
[深度学习]基于Pytorch的卷积神经网络API妙用(二) 文章目录1 Padding和Stride 2 多输入多输出Channel 3 1*1 Conv(笔者在看教程时,理解为降维和升维) 4 池 ...
深度学习入门笔记（四）：向量化
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
【深度学习】5：CNN卷积神经网络原理
前言:先坦白的说,深度神经网络的学习在一开始对我造成的困扰还是很大的,我也是通过不断地看相关的视频资料.文献讲解尝试去理解记忆.毕竟这些内容大多都是不可查的,我们看到的都只是输入输出的东西,里面的内部 ...
深度学习笔记其六：现代卷积神经网络和PYTORCH
深度学习笔记其六:现代卷积神经网络和PYTORCH 1. 深度卷积神经网络(AlexNet) 1.1 学习表征 1.1 缺少的成分:数据 1.2 缺少的成分:硬件 1.2 AlexNet 1.2.1 ...
深度学习多变量时间序列预测：卷积神经网络（CNN）算法构建时间序列多变量模型预测交通流量+代码实战
深度学习多变量时间序列预测:卷积神经网络(CNN)算法构建时间序列多变量模型预测交通流量+代码实战卷积神经网络,听起来像是计算机科学.生物学和数学的诡异组合,但它们已经成为计算机视觉领域中最具影响力 ...

深度学习入门（二十四）卷积神经网络——填充和步幅

深度学习入门（二十四）卷积神经网络——填充和步幅

前言

卷积神经网络——填充和步幅

课件

填充

步幅

总结

课本

1 填充

2 步幅

3 小结

深度学习入门（二十四）卷积神经网络——填充和步幅相关推荐

最新文章

热门文章