CNN中为什么普遍使用小卷积核

从CNN的发展过程看，卷积核(filters)的尺寸有越来越小的趋势，比如vgg网络中全部采用3*3的小卷积核，那么为什么要普遍使用小卷积核而非大卷积核呢？

大尺寸的卷积核可以带来更大的感受野，但也意味着更多的参数，并且《Rethinking the Inception Architecture for Computer Vision》的作者提出可以用 2 个连续的 3×3 卷积层( stride=1)组成的小网络来代替单个的5×5大卷积层，可以保持感受野范围的同时又减少了参数量：

由于参数个数仅与卷积核大小有关，所以 3×3 级联卷积核占优势，并且用 2 个级联的 3×3 卷积层( stride=1)组成的小网络来代替单个的 5×5 卷积层增加了非线性变换的操作使得模型的泛化能力进一步的提高。

1：两个 3×3 的堆叠卷基层的有限感受野是 5×5 ；三个 3×3 的堆叠卷基层的感受野是 7×7 ，故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层，并且感受野大小不变。

2：多个小尺寸的卷基层比一个大尺寸卷积层有更多的非线性（更多层的非线性函数），使得判决函数更加具有判决性，并且起到隐式正则化的作用。

3：1×1卷积核除了具有降低参数量和增加非线性的作用外，还可以起到对通道数的升降进行控制的作用 (达到特征降维和升维的作用)。

如果不理解感受野或者无法理解两个 3×3 的卷积核级联同单个 5×5 的卷积核具有相同的感受野，可以参考下面这边博客：
卷积神经网络中感受野的理解和计算

CNN中为什么普遍使用小卷积核相关推荐

为什么CNN模型要使用很多小的卷积核，比如3x3，而不是7x7或者9x9呢？
为什么CNN模型要使用很多小的卷积核,比如3x3,而不是7x7或者9x9呢? (1)3x3是最小的能够捕获像素八邻域信息的尺寸. (2)两个3x3的堆叠卷基层的有限感受野是5x5:三个3x3的堆叠卷基 ...
【深度学习】真正的即插即用！盘点11种CNN网络设计中精巧通用的“小”插件...
作者丨皮特潘编辑丨极市平台导读所谓"插件",就是要能锦上添花,又容易植入.落地,即真正的即插即用.本文盘点的"插件"能够提升CNN平移.旋转.scale等 ...
CNN中的权重维度解析以及卷积核中的数值是怎么确定的
以<python深度学习>第五章第一个实验为例,神经网络结构如下: 首先最上面一个池化层max_pooling2d_1:MaxPooling2D 的结果是:(32,) 也就是说相对于下一个 ...
CNN中的卷积核及TensorFlow中卷积的各种实现
声明: 1. 我和每一个应该看这篇博文的人一样,都是初学者,都是小菜鸟,我发布博文只是希望加深学习印象并与大家讨论. 2. 我不确定的地方用了"应该"二字首先,通俗说一下,CNN ...
CNN中各类卷积总结：残差、shuffle、空洞卷积、变形卷积核、可分离卷积等
CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量.我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中 ...
为什么CNN中的卷积核一般都是奇数？
本博客只用于自身学习,如有错误,虚心求教!!! 为什么CNN中的卷积核一般都是奇奇数*奇数,没有偶数*偶数的? 咱们经常见到的多为 3 * 3.5*5;怎么从来没有见过 4*4,6*6 之类的卷积核? ...
为什么CNN中的卷积核一般都是奇数
本博客只用于自身学习,如有错误,虚心求教!!! 为什么CNN中的卷积核一般都是奇奇数*奇数,没有偶数*偶数的? 咱们经常见到的多为 3 * 3.5*5;怎么从来没有见过 4*4,6*6 之类的卷积核? ...
CNN中的即插即用小模块汇总
文章目录前言 1 STN 2. ASPP 3. Non-local 4. SE 5. CBAM 6 DCN v1&v2 7 CoordConv 8 Ghost 9 BlurPool 10 R ...
深度学习基础学习-1x1卷积核的作用（CNN中）
前言这里就不赘述卷积神经网络相关内容了,直接通过博主看的一些资料,自己进行了一些整合,大佬绕道. 对于1x1卷积核的作用主要可以归纳为以下几点增加网络深度(增加非线性映射次数) 升维/降维跨通道 ...

CNN中为什么普遍使用小卷积核

CNN中为什么普遍使用小卷积核相关推荐

最新文章

热门文章