卷积神经网络四种卷积类型
卷积神经网络四种卷积类型
https://www.toutiao.com/a6631333810287936013/
一般卷积
首先，我们需要就定义卷积层的一些参数达成一致。
卷积核大小（Kernel Size）：卷积核定义了卷积的大小范围，二维卷积核最常见的就是 3*3 的卷积核。
步长（Stride）：步长定义了当卷积核在图像上面进行卷积操作的时候，每次卷积跨越的长度。在默认情况下，步长通常为 1，但我们也可以采用步长是 2 的下采样过程，类似于 MaxPooling 操作。
填充（Padding）：卷积层采用一定数量的输入通道（I），并且设计特定数量的输出通道（O）。每一层所需的参数可以通过 I*O*K 来进行计算，其中 K 等于卷积核的数量。
输入和输出管道（Input & Output Channels）：卷积层采用一定数量的输入通道
使用内核大小为3，步长为1和填充的2D卷积
扩张的卷积
使用3内核进行2D卷积，扩展率为2且无填充
扩张的卷积为卷积层引入另一个参数，称为扩张率。这定义了卷积核中值之间的间距。扩张率为2的3x3内核与5x5内核具有相同的视野，而仅使用9个参数。想象一下，获取一个5x5内核并删除每一个第二列和第二行（间隔删除），就是我们介绍的卷积。
这以相同的计算成本提供了更宽的视野。扩张卷积在实时分割领域中特别受欢迎。如果您需要广泛的视野并且无法承受多个卷积或更大的核，请使用它们。
转置卷积
（又称解卷积或分数跨度卷积）
有些消息来源使用名称deconvolution，这是不合适的，因为它不是解卷积。为了使事情更糟，确实存在解卷积，但它们在深度学习领域并不常见。实际的反卷积会使卷积过程恢复。想象一下，将图像输入到单个卷积层中。现在取出输出，将它扔进一个黑盒子里然后再出现原始图像。这个黑盒子进行反卷积。它是卷积层的数学逆。
转置卷积有点类似，因为它产生与假设的反卷积层相同的空间分辨率。但是，对值执行的实际数学运算是不同的。转置卷积层执行常规卷积，但恢复其空间变换。
2D卷积，没有填充，步幅为2，内核为3
此时你应该很困惑，让我们看一个具体的例子。将5×5的图像送入卷积层。步幅设置为2，填充停用，内核为3x3。这导致2x2图像。
如果我们想要反转这个过程，我们需要逆数学运算，以便从我们输入的每个像素生成9个值。然后，我们以2的步幅遍历输出图像。这将是反卷积。
转换2D卷积，没有填充，步幅为2，内核为3
转置卷积不会这样做。唯一的共同点是它保证输出也是5x5图像，同时仍然执行正常的卷积操作。为此，我们需要在输入上执行一些花哨的填充。
正如您现在可以想象的那样，此步骤不会从上面颠倒过程。至少不涉及数值。
它只是从之前重建空间分辨率并执行卷积。这可能不是数学逆，但对于编码器 - 解码器架构，它仍然非常有用。这样我们就可以将图像的升级与卷积相结合，而不是进行两个单独的处理。
可分离的卷积
在可分离的卷积中，我们可以将内核操作分成多个步骤。让我们将卷积表示为y = conv（x，k），其中y是输出图像，x是输入图像，k是核。简单。接下来，假设k可以通过以下公式计算：k = k1.dot（k2）。这将使它成为可分离的卷积，因为我们可以通过用k1和k2进行2个1D卷积来得到相同的结果，而不是用k进行2D卷积。
Sobel X和Y滤镜
以Sobel内核为例，它通常用于图像处理。你可以通过乘以向量[1,0，-1]和[1,2,1] .T得到相同的内核。在执行相同操作时，这将需要6个而不是9个参数。上面的例子显示了所谓的空间可分卷积，据我所知，它不用于深度学习。
编辑：实际上，通过堆叠1xN和Nx1内核层，可以创建与空间可分离卷积非常相似的东西。这最近在一个名为EffNet的架构中使用，显示了有希望的结果。
在神经网络中，我们通常使用称为深度可分离卷积的东西。这将执行空间卷积，同时保持通道分离，然后进行深度卷积。在我看来，通过一个例子可以最好地理解它。
假设我们在16个输入通道和32个输出通道上有一个3x3卷积层。详细情况是，32个3x3核遍历16个通道中的每个通道，产生512（16x32）个特征映射。接下来，我们通过添加它们来合并每个输入通道中的1个特征图。由于我们可以做32次，我们得到了我们想要的32个输出通道。
对于同一示例中的深度可分离卷积，我们遍历16个通道，每个通道有1个3x3内核，为我们提供了16个特征映射。现在，在合并任何东西之前，我们遍历这16个特征映射，每个特征映射有32个1x1卷积，然后才开始将它们加在一起。这导致656（16x3x3 + 16x32x1x1）参数与上面的4608（16x32x3x3）参数相反。
该示例是深度可分离卷积的特定实现，其中所谓的深度乘数为1.这是迄今为止这种层的最常见设置。我们这样做是因为空间和深度信息可以解耦的假设。看一下Xception模型的表现，这个理论似乎有效。由于其有效使用参数，深度可分离卷积也用于移动设备。
卷积神经网络四种卷积类型相关推荐
- xml文件 卷积神经网络_理解卷积神经网络中的输入与输出形状(Keras实现)
即使我们从理论上理解了卷积神经网络,在实际进行将数据拟合到网络时,很多人仍然对其网络的输入和输出形状(shape)感到困惑.本文章将帮助你理解卷积神经网络的输入和输出形状. 让我们看看一个例子.CNN ...
- 04.卷积神经网络 W2.深度卷积网络：实例探究（作业：Keras教程+ResNets残差网络）
文章目录 作业1:Keras教程 1. 快乐的房子 2. 用Keras建模 3. 用你的图片测试 4. 一些有用的Keras函数 作业2:残差网络 Residual Networks 1. 深层神经网 ...
- 花书+吴恩达深度学习（十）卷积神经网络 CNN 之卷积层
目录 0. 前言 1. 2D 图像卷积 2. 3D 图像卷积 3. 过滤器(核函数) 4. 过滤器应用于边缘检测 5. padding 填充 6. stride 步长 7. 使用卷积的动机 8. 1乘 ...
- 图卷积神经网络4-空域卷积：空域卷积局限性分析和过平滑解决方案
知乎主页https://www.zhihu.com/people/shuang-shou-cha-dai-53https://www.zhihu.com/people/shuang-shou-cha- ...
- 吴恩达.深度学习系列-C4卷积神经网络-W2深度卷积模型案例
吴恩达.深度学习系列-C4卷积神经网络-W2深度卷积模型案例 (本笔记部分内容直接引用redstone的笔记http://redstonewill.com/1240/.原文整理的非常好,引入并添加我自 ...
- 深度卷积神经网络是什么,卷积神经网络的深度
卷积神经网络算法是什么? 一维构筑.二维构筑.全卷积构筑. 卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedfor ...
- 神经网络与卷积神经网络,什么是卷积神经网络
前馈神经网络.BP神经网络.卷积神经网络的区别与联系 一.计算方法不同1.前馈神经网络:一种最简单的神经网络,各神经元分层排列.每个神经元只与前一层的神经元相连.接收前一层的输出,并输出给下一层．各层 ...
- 图卷积神经网络3-空域卷积：GNN/GraphSAGE/PGC的引入和介绍
知乎主页https://www.zhihu.com/people/shuang-shou-cha-dai-53https://www.zhihu.com/people/shuang-shou-cha- ...
- 描述卷积神经网络的结构,卷积神经网络三大特点
什么是卷积神经网络?为什么它们很重要 卷积神经网络(ConvolutionalNeuralNetwork,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理 ...
最新文章
- 100%抄袭！ICLR 2022投稿竟公然剽窃两篇顶会，程序主席放「实锤」严词拒稿
- JavaScript基础一
- 编写代码的若干个基本规则(以Java为例)
- Java黑皮书课后题第7章：*7.22（计算一个字符串中大写字母的数目）编写程序，从命令行输入一个字符串，然后显示字符串中大写字母的数目
- 牛客 - 共鸣问题(贪心+思维)
- SQL中Case when 方法的使用
- RabbitMQ中BasicGet与BasicConsume的区别
- 移植UE4的Spline与SplineMesh组件到Unity5
- bim webgl 模型 轻量化_BIM模型轻量化是什么？BIM模型轻量化原理
- 数据接入层设计的2-3法则：应对分布式与多元化存储
- 查询的端口 -解决端口被占用的问题
- tomcat中JSP跳转Servlet时卡白页的原因
- 用户画像之ID-Mapping
- 冥王星P的编曲日志《我们就这样溺死在漩涡里》
- Shiro框架 Subject、SecurityManager、线程之间的关系
- 装修，一场没有硝烟的战争
- 集合(Collection)的详细笔记
- 九宫格（安卓手机的图形锁有几种解锁图案）
- 如何在批处理 bat cmd 运行时 延时 等待 ？
- Spring和Quartz实现的定时任务调度