为什么两层33卷积核效果比1层55卷积核效果要好？

2024-04-18 15:38:44

目录

1、感受野
2、2层3 * 3卷积与1层5 * 5卷积
3、2层3 * 3卷积与1层5 * 5卷积的计算量比较
4、2层3 * 3卷积与1层5 * 5卷积的非线性比较
5、2层3 * 3卷积与1层5 * 5卷积的参数量比较

1、感受野

感受野：卷积神经网络各输出特征像素点，在原始图片映射区域大小。
举个例子，原图为3x3大小，我们使用3x3大小的卷积核卷积，得到的输出图片大小是1x1的，所以输出图片的感受野是3。
感受野表征了卷积核的特征提取能力。

2、2层3 * 3卷积与1层5 * 5卷积

设原图大小长宽皆为x(x>=5) ，我们使用5x5的卷积核在x方向上滑动，步长为1，需要滑动(x-5+1)次，y方向同理，滑动了(x-5+1)次，所以最终卷积了(x-4) * (x-4)次，也就是说得到的输出图大小为(x-4) * (x-4).
同理，3x3卷积核卷积遍后输出图大小为(x-3+1) * (x-3+1)，在输出图基础上再次用3x3卷积核卷积，得到的输出图大小:(x-3+1-3+1) * (x-3+1-3+1)=(x-4) * (x-4).
可以发现对同样一幅图卷积，使用2个3 * 3卷积与1个5 * 5卷积得到的输出图大小是一样的，也就是说他们的感受野是一样大的，所以，可以总结出这样一个结论：2遍3 * 3卷积与1遍5 * 5卷积，特征提取能力是一样的。
那为何工业上常常用小的卷积核多次卷积去替代大卷积核一次卷积？
这个原因可以从三个角度去解答

3、2层3 * 3卷积与1层5 * 5卷积的计算量比较

3x3卷积核卷积一次的运算量是9
5x5卷积核卷积一次的运算量是25
所以对原图大小长宽皆为x的图片来说2遍3x3卷积与1遍5x5卷积的计算量分别为：

3 * 3卷积核：9 * (x-2) ^ 2+9 * (x-4) ^2(第一次卷积计算量+第二次卷积计算量)
5 * 5卷积核：25 * (x-4) ^2
列出不等式：
9 * (x-2) ^ 2+9 * (x-4) ^2 <=25 * (x-4) ^2(求出2遍3 * 3卷积运算量比1遍5 * 5卷积的运算量小时的原图大小)
计算得出这样结果
也就是说原图边长x>10时，2遍3 * 3卷积计算量比1遍5 * 5卷积计算量要小！！！
并且随着x的增大，这种两者计算量差距会逐渐拉大。
而一般图片大小都是大于10的，如mnist手写数字集边长28

4、2层3 * 3卷积与1层5 * 5卷积的非线性比较

小卷积核卷积整合了多个非线性激活层，代替单一非线性激活层，增加了判别能力。

5、2层3 * 3卷积与1层5 * 5卷积的参数量比较

2遍3 * 3卷积参数个数=2 * 3 * 3 =18
1遍5 * 5卷积参数个数=5 * 5=25
参数个数明显减少

为什么两层33卷积核效果比1层55卷积核效果要好？相关推荐

卷积核和全连接层的区别_「动手学计算机视觉」第十六讲：卷积神经网络之AlexNet...
前言前文详细介绍了卷积神经网络的开山之作LeNet,虽然近几年卷积神经网络非常热门,但是在LeNet出现后的十几年里,在目标识别领域卷积神经网络一直被传统目标识别算法(特征提取+分类器)所压制,直到 ...
什么是1*1卷积？1*1的卷积核和全连接层有什么异同？
简单回答一下: 1.数学本质上一样,都是特征图中的元素乘以权重再求和.全连接是把特征图拆开组成一个一维向量,再乘以一个权重向量,这两个向量中的元素一一对应所以输出结果是一个值.而1*1卷积,我们知道卷 ...
【PyTorch】eval() ==＞主要是针对某些在train和predict两个阶段会有不同参数的层，比如Dropout层和BN层
model的eval方法主要是针对某些在train和predict两个阶段会有不同参数的层.比如Dropout层和BN层 torch为了方便大家,设计这个eval方法就是让我们可以不用手动去针对这些层 ...
html5鼠标点击弹出层,jQuery实现单击弹出Div层窗口效果(可关闭可拖动)
本文实例讲述了jQuery实现单击弹出Div层窗口效果.分享给大家供大家参考.具体如下: 这是一款jquery实现的可拖动可关闭的弹出框效果,网上已经有很多类似效果了,网页上实现这种效果其实并不难,现 ...
php的和谐脏话,大司马仅有的两次说脏话，听完网友笑出声，直播效果一片和谐！...
原标题:大司马仅有的两次说脏话,听完网友笑出声,直播效果一片和谐! 大司马仅有的两次说脏话,听完网友笑出声,直播效果一片和谐! 其实主播这个行业非常的复杂,在这行业里,素质高的人也特别多,像一些素质低 ...
Android高斯模糊（毛玻璃效果）蒙层库
ShapeBlurView ShapeBlurView库是一个高斯模糊(毛玻璃效果)蒙层库.Like iOS UIVisualEffectView 不知大家做需求的时候是否有这样的效果要求: 需求示例 ...
ResNeXt——与 ResNet 相比，相同的参数个数，结果更好：一个 101 层的 ResNeXt 网络，和 200 层的 ResNet 准确度差不多，但是计算量只有后者的一半...
from:https://blog.csdn.net/xuanwu_yan/article/details/53455260 背景论文地址:Aggregated Residual Transform ...
深度学习图像超分辨率开山之作SRCNN——原理分析及代码（效果基本可以达到论文中的效果）
基于python+tensorflow下的超分辨率图像重构(效果基本可以达到论文中的效果) 论文地址:点击此处跳转搞这篇论文时,踩了很多坑,效果优于网上的大部分代码,网上大部分代码效果离理想效果差5 ...
pcb 假八层_八层板的成本却只六层的性能，PCB设计遭遇假八层该怎么办？
在<PCB的筋骨皮>一文中,我们提出了当板厚在1.6mm及以上时,怎样避免使用假八层的叠层,而导致PCB成本增加的问题.mb5ednc 由于大家的回答很踊跃,看来这个问题还是比较典型的.在 ...

最新文章

热门文章