前言

在卷积神经网络中，卷积操作是至关重要的缓解，可以根据问题调整卷积核的大小，那么1*1的卷积核有没有它是实际作用呢？

答案：答案显而易见，而且1×1的卷积核在一些网络模型中起着至关重要的作用，例如inception网络模型。

一、1×1的操作过程

如图所示，输入是一个6×6大小的单通道的矩阵，可以将其理解成黑白照片。当它乘一个1×1大小的卷积核时，相当于对每个像素值进行了线性相乘，看上去傻乎乎的毫无作用…

但是，但它在处理多通道的输入时，情况变得完全不同。

二、压缩通道

如图所示，输入是一个28×28大小的192维的多通道张量（28×28×192），当它跟一个（1×1×32）的卷积核进行卷积操作时，可以得到一个（28×28×32）大小的输出，即该操作对通道的维数进行了压缩。

我可以回顾一下池化操作，其最后的结果是对这个立方体输入数据的长和宽进行压缩；而1×1的卷积核则是对其深度进行压缩。

另一种理解方式更为学术：

当卷积核为1×1×1时，为图中的黄色划线，相当于在通道这个维度上，链接每一个数值得到一个输出为1的全连接神经网络（network in network）。

当卷积核为1×1×n时，为图中的绿色划线，相当于在通道这个维度上，链接每一个数值得到一个输出为n的全连接神经网络。

最后，1×1×n中的n也可以与通道的维度相同，这时相当于对模型进行了一次线性相乘

1×1的卷积核在卷积层的作用----网络中的网络相关推荐

kernel和filter这两个概念在CNN中的区别以及卷积核与卷积层的关系
根据参考文献可知 keras中, 当channels=1时,那么filter就是kernel 当channels>1时,那么filter就是指一堆kernel 其中channels表示卷积核的数 ...
网络中的网络NiN详解+1*1卷积的作用
全连接层 **全连接层存在的问题:**占用参数空间,带来过拟合问题因为参数比较多,所以很容易过拟合,收敛特别快,所以一般要在全连接层做大量的正则化,不要在这一层就把所有的数据都学到了卷积层后的第一 ...
2.5 网络中的网络及1x1卷积-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.4 残差网络为什么有用? 回到目录 2.6 谷歌 Inception 网络简介网络中的卷积及1x1卷积 (Network in Network and 1x1 Conv ...
2.5 网络中的网络以及 1×1 卷积
vgg16卷积层的计算量_vgg16模型参数量和使用的的内存计算
关于VGG-16模型的内存和参数的计算过程如下. INPUT: [224x224x3] memory: 224*224*3=150K weights: 0 CONV3-64: [224x224x64] ...
Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二架构对参数量/计算量的影响在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
padding和卷积的区别_NiN：使用11卷积层替代全连接层
微信公号:ilulaoshi, 原文发表在我的个人网站:https://lulaoshi.info/machine-learning/convolutional/nin.html LeNet.Alex ...
最细！卷积神经网络的历史和各层的作用
目录一历史发展二卷积层 2.1 卷积层的作用 2.1.1提取图像的特征 2.1.2 局部感知,参数共享 2.1.3 二维卷积运算 2.1.4 特征图和感受野 2.1.5 卷积中的填充和步幅 ...
卷积神经网络中卷积层、池化层、全连接层的作用
1. 卷积层的作用卷积层的作用是提取输入图片中的信息,这些信息被称为图像特征,这些特征是由图像中的每个像素通过组合或者独立的方式所体现,比如图片的纹理特征,颜色特征. 比如下面这张图片,蓝色框框住的 ...
全连接层的作用是什么？
回答一: 概述全连接层 Fully Connected Layer 一般位于整个卷积神经网络的最后,负责将卷积输出的二维特征图转化成一维的一个向量,由此实现了端到端的学习过程(即:输入一张图像或一段 ...

1×1的卷积核在卷积层的作用----网络中的网络

文章目录

前言

一、1×1的操作过程

二、压缩通道

1×1的卷积核在卷积层的作用----网络中的网络相关推荐

最新文章

热门文章