卷积、池化、激励函数的顺序

以下内容为个人的看法：

顺序：卷积---池化---激励函数

我们知道卷积肯定是在第一层，毕竟 σ（wx+b），wx+b 就是卷积操作，那为什么池化要在激励函数之前呢？

原因解析：假设激励函数是 relu 激励函数：

并假设我们卷积后的值为：3，-2，1，2 ；

对于 avg_poolling :

先 relu 再池化：当经过 relu 函数之后，得到的值为：relu(3) = 3，relu(-2) = 0，relu(1) = 1，relu(2) = 2，

则接下来经过 avg_pooling 结果为 ( 3+0+1+2 ) / 4 = 7/4

先池化在 relu：经过 avg_pooling 结果为 (3-2+1+2)/4 = 4/4 = 1, 再经过 relu 函数，最终结果为 relu (1) = 1

我们看到，其实这两种操作后，得到的结果是不一样的。但是如果我们先 relu 再池化，会将卷积后的第二个值 -2 给过滤掉，当我们紧接着做 avg_pooling 时，可以认为丢失了一些信息。所以我们选择先池化再接激励函数。

对于 MAX_pooling，其实先池化再接激励函数，或者先激励函数再接池化是一样的。两个操作是可以交换的。

先 relu 再池化：当经过 relu 函数之后，得到的值为：3，0，1，2，再经过 MAX_poolling 结果为 MAX（3，0，1，2） = 3

先池化在 relu：经过 MAX_pooling 结果为MAX (3，-2，1，2） = 3，再经过 relu 函数，最终结果为 relu (3) = 3

完！

卷积、池化、激励函数的顺序相关推荐

卷积池化与LeNet5网络模型
1 前言经过前面三篇文章的介绍,我们已经知道了卷积的原理.卷积的计算过程以及池化的原理和过程等.在接下来的这篇文章中,笔者将开始介绍如何通过Pytorch这一深度学习框架来实现卷积和池化的操作,以及 ...
个人理解卷积池化的用处
卷积池化的用处卷积让局部特征更加明显.更加突出有用的特征. 池化,降低特征纬数,方便运算. 参考: 如何理解卷积神经网络(CNN)中的卷积和池化? - 知乎 CNN中卷积层和池化的作用和理解 - ...
卷积神经网络系列之卷积/池化后特征图大小怎么计算？？
1.卷积后的大小: W:矩阵宽,H:矩阵高,F:卷积核宽和高,P:padding(需要填充的0的个数),N:卷积核的个数,S:步长 width:卷积后输出矩阵的宽,height:卷积后输出矩阵的高 w ...
【数据挖掘】卷积神经网络 ( 池化 | 丢弃 | 批量规范化 | 卷积神经网络完整流程示例 | 卷积 | 池化 | 全连接 | 输出 | 卷积神经网络总结 )
文章目录 I . 池化 II . 丢弃操作 III . 批量规范化 IV . 卷积神经网络完整流程示例 ( 1 ) : 原始输入图 V . 卷积神经网络完整流程示例 ( 2 ) : 卷积层 C1C ...
【模型解读】从LeNet到VGG，看卷积+池化串联的网络结构
文章首发于微信公众号<与有三学AI> [模型解读]从LeNet到VGG,看卷积+池化串联的网络结构从本篇开始,我们将带领大家解读深度学习中的网络的发展这是深度学习模型解读第一篇,本篇我 ...
人工智能-作业5：卷积-池化-激活
目录实现[卷积-池化-激活]代码,并分析总结 For循环版本:手工实现 Pytorch版本:调用函数完成卷积池化激活可视化:了解数字与图像之间的关系运行效果如下: 原图卷积核特征图总 ...
一个在线卷积池化计算器-推荐不会计算的同学
很多刚入门的身边的小伙伴不会计算卷积和池化,于是为了方便大家计算顺便根据卷积池化计算公式设计了一个在线计算器卷积池化计算器地址如果你很懒的话,可以用这个计算.
【卷积神经网络--卷积/池化后特征图大小计算公式】
[卷积神经网络–卷积/池化后特征图大小计算公式] 参考链接: 卷积神经网络系列之卷积/池化后特征图大小怎么计算?? torch中的Conv2d卷积的输入的Tensor张量是:[batch, chann ...
卷积神经网络卷积,池化,全连接--笔记01
1.图像是由像素构成的,每个像素又是由颜色构成的假如我们处理一张 1000×1000 像素的图片,我们就需要处理3百万个参数! 1000×1000×3=3,000,000 卷积神经网络 - CNN ...
卷积池化计算深度学习
卷积后图片输出大小 W:图像宽,H:图像高,D:图像深度(通道数) F:卷积核宽高,N:卷积核(过滤器)个数 S:步长,P:用零填充个数卷积后输出图像大小: Width=(W-F+2P)/S+1He ...

卷积、池化、激励函数的顺序

卷积、池化、激励函数的顺序相关推荐

最新文章

热门文章