随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling

S3Pool: Pooling with Stochastic Spatial Sampling
CVPR2017
https://github.com/Shuangfei/s3pool

本文将常规池化看作两个步骤：
1）以步长为1在特征图上滑动池化窗口，尺寸大小基本保持不变， leaves the spatial resolution intact
2）以一种 uniform 和 deterministic 的方式进行降采样
我们认为这种 uniform 和 deterministic 的降采样方式对于学习来说不是最优的（ which aims for generalization to unseen examples ），对此我们提出一种随机采样方式，这种随机采样像一个 strong regularizer，可以被看作 implicit data augmentation by introducing distortions in the feature maps

Stochastic pooling 可以看作在一个池化窗口内对特征图数值进行归一化，按照特征图归一化后的概率值大小随机采样选择，即元素值大的被选中的概率也大

g being a hyperparameter named grid size

通过改变 grid size g 来控制 distortion/stochasticity

测试用的网络结构

NIN on CIFAR-10 and CIFAR-100

ResNet on CIFAR-10 and CIFAR-100

Effect of grid size

通过增加grid size 尺寸，训练误差变大，对应更多的随机性。测试误差先降低（ stronger regularization），后来升高（当训练误差太高时）。

This observation suggests a trade-off between the optimization feasibility and the generalization ability, which can be adjusted in different applications by setting the grid sizes of each S3Pool layer

Results on STL-10

训练样本数量和测试误差的关系

随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling相关推荐

池化层(pooling layer) 感受野(Receptive Field) 神经网络的基本组成
目录 (1)本文涉及的函数 (2)池化层 (3)感受野 (4)代码示例(含注释) 承接上两篇博客:卷积层(空洞卷积对比普通卷积).激活函数层 (1)本文涉及的函数 import torch impor ...
CNN基础知识——池化（pooling）
概述池化过程在一般卷积过程后.池化(pooling) 的本质,其实就是采样.Pooling 对于输入的 Feature Map,选择某种方式对其进行降维压缩,以加快运算速度. 两种主要池化方式最大 ...
图像处理池化层pooling和卷积核
1.池化层的作用在卷积神经网络中,卷积层之间往往会加上一个池化层.池化层可以非常有效地缩小参数矩阵的尺寸,从而减少最后全连层中的参数数量.使用池化层即可以加快计算速度也有防止过拟合的作用. 2.为什 ...
池化（Pooling）
基础概念在图像处理中,由于图像中存在较多冗余信息,可用某一区域子块的统计信息(如最大值或均值等)来刻画该区域中所有像素点呈现的空间分布模式,以替代区域子块中所有像素点取值,这就是卷积神经网络中池化( ...
池化层-Pooling(CNN卷积神经网络)
文章目录汇聚层(池化层) 最大汇聚层和平均汇聚层填充和步幅多个通道小结汇聚层(池化层) 本节将介绍汇聚(pooling)层(又名池化层),它具有双重目的: 1.降低卷积层对位置的敏感性 2. ...
降采样,下采样,池化
概念缩小图像(或称为下采样(subsampled)或降采样(downsampled))的主要目的有两个:1.使得图像符合显示区域的大小:2.生成对应图像的缩略图. 放大图像(或称为上采样(upsam ...
Rethinking场景分析中的空间池化 | Strip Pooling（CVPR2020，何凯明）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达原文链接:https://arxiv.org/abs/2003.13328v1 代码链接:https: ...
CNN（卷积层convolutional layer，激励层activating layer，池化层pooling，全连接层fully connected）
CNN产生的原因:当使用全连接的神经网络时,因为相邻两层之间的神经元都是有边相连的,当输入层的特征纬度非常高时(譬如图片),全连接网络需要被训练的参数就会非常多(参数太多,训练缓慢),CNN可以通过训 ...
mysql pooling 作用_关于池化（pooling）理解！！！
网上看到一个池化的解释是: 为了描述大的图像,可以对不同位置的特征进行聚合统计,如计算平均值或者是最大值,即mean-pooling和max-pooling 我的想法是,图像做卷积以后,将图像信息(特 ...

随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling

随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling相关推荐

最新文章

热门文章