池化层的来源

池化层是深度学习中常用组件之一，在当前大部分的神经网络结构中都会使用池化层。池化层最早来源于LeNet一文，当时被称为SumSample。在AlexNet之后采用Pooling命名，后续沿用了该命名。

池化层的作用

池化层模拟的人的视觉系统对数据进行降维，使用数据更高层次的特征维度进行学习。通过对特征实施池化，可达到如下效果：

(1) 降低信息冗余。通过相关的池化操作，例如最大值池化，可用将局部无用的信息出去。

(2) 提升模型的尺寸不变性、旋转不变性：对某个区域做了池化，即使图像平移/旋转几个像素，得到的输出值也基本一样。

(3) 防止过拟合。在图像深度学习中图像尺寸过大，引入池化可减少参数矩阵的赤军，减少最后全连接中的参数数量。

常见的池化层包包含以下几种：最大值池化、均值池化、中值池化等。

最大值池化——MaxPooling

随机池化—StochasticPooling

在ICLR2013上，作者Zeiler提出了另一种pooling手段(最常见的就是mean-pooling和max-pooling)，叫stochastic pooling。只需要对Feature Map中的元素按照其概率值大小随机选择，元素选中的概率与其数值大小正相关，并非如同max pooling那样直接选取最大值。这种随机池化操作不但最大化地保证了取值的Max，也部分确保不会所有的元素都被选取max值，从而提高了泛化能力。

随机池化只需对feature map中的元素按照其概率值大小随机选择，即元素值大的被选中的概率也大。而不像max-pooling那样，永远只取那个最大值元素

S3Pool: Pooling with Stochastic Spatial Sampling
CVPR2017
https://github.com/Shuangfei/s3pool

计算过程

1）计算方格中元素的和sum，再将每个元素除以sum，得到包含每个元素的概率矩阵。
2）在池化的过程中，按照概率随机选中方格，取该方格的值作为池化值。

Stochastic pooling 可以看作在一个池化窗口内对特征图数值进行归一化，按照特征图归一化后的概率值大小随机采样选择，即元素值大的被选中的概率也大

Pytorch学习——池化层相关推荐

[深度学习] 池化层函数及其逆过程函数
池化函数最大池化函数一维 class torch.nn.MaxPool1d(kernel_size, stride=None, padding=0, dilation=1, return_indi ...
PyTorch中池化层的padding和ceil_mode参数设置
在池化操作的接口中,padding和ceil_mode这两个参数会影响到输出特征图的大小.padding即对特征图大小进行扩充的像素数量:ceil_mode指明,当剩余的像素不足滤波器大小,是否仍对这 ...
pytorch之池化层
·实际图像里,我们感兴趣的物体不会总出现在固定位置:即使我们连续拍摄同一个物体也极有可能出现像素位置上的偏移.这会导致同一个边缘对应的输出可能出现在卷积输出 Y中的不同位置,进而对后面的模式识别造成不 ...
狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层
狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层在这篇文章中您将会从数学和算法两个角度去重新温习一下卷积层,激活函数,池化层,Dropout层,BN层,全链接 ...
（pytorch-深度学习系列）pytorch卷积层与池化层输出的尺寸的计算公式详解
pytorch卷积层与池化层输出的尺寸的计算公式详解要设计卷积神经网络的结构,必须匹配层与层之间的输入与输出的尺寸,这就需要较好的计算输出尺寸先列出公式: 卷积后,池化后尺寸计算公式: (图像尺寸 ...
【动手学深度学习PyTorch版】15 池化层
上一篇请移步[动手学深度学习PyTorch版]14 卷积层里的多输入多输出通道_水w的博客-CSDN博客目录一.池化层 1.1 池化层 ◼池化层原因 ◼ 二维最大池化 1.2 填充.步幅与多个通道 ...
pytorch学习笔记七：nn网络层——池化层、线性层
一.池化层池化运算:对信号进行"收集" 并"总结",类似于水池收集水资源,因而得名池化层. 收集:由多变少,图像的尺寸由大变小总结:最大值/平均值下面是最 ...
[pytorch、学习] - 5.4 池化层
参考 5.4 池化层在本节中我们介绍池化(pooling)层,它的提出是为了缓解卷积层对位置的过度敏感性. 5.4.1 二维最大池化层和平均池化层池化层直接计算池化窗口内元素的最大值或者平均值.该 ...
深度学习入门 (九)：卷积层和池化层的实现
目录卷积神经网络 CNN 整体结构卷积层全连接层存在的问题卷积运算乘积累加运算偏置填充 (padding) 步幅 (stride) 小结:卷积层的输出特征图的大小 3 维数据的卷积运算 ...
pytorch 入门：GPU加速，卷积层，池化层
GPU 加速深度学习设计很多向量和多矩阵运算,比如BP , CNN 等深层模型都可以写成矩阵运算的格式,不用写成循环运算.但是CPU 上矩阵的运算会被展成循环的形式,CPU 是串行执行的.而GPU ...

Pytorch学习——池化层