空间可分离卷积和深度可分离卷积
一些简单而高效的轻量级模型,如,GoogLeNet中提到的Inception结构中将普通的3x3卷积替换为连续的1x3和3x1卷积,实际完成的是空间可分离卷积spatial separable convolution,如MobileNet、ShuffleNet、EffNet,都使用了深度可分离卷积depthwise separable convolution,其由逐通道卷积depthwise(DW)和逐点卷积pointwise(PW)两部分结合起来。和常规卷积操作一样,其输出为feature map。相比常规的卷积操作,其参数数量和运算成本比较低。
常规卷积操作
对于一张5×5像素、三通道(shape为5×5×3),经过3×3卷积核的卷积层(假设输出通道数为4,则卷积核shape为3×3×3×4,最终输出4个Feature Map,如果有same padding则尺寸与输入层相同(5×5),如果没有则为尺寸变为3×3
卷积层共4个Filter,每个Filter包含了3个Kernel,每个Kernel的大小为3×3。因此卷积层的参数数量可以用如下公式来计算:
N_std = 4 × 3 × 3 × 3 = 108
空间可分离卷积
之所以叫空间可分离卷积,是因为它主要处理图像和卷积核(kernel)的空间维度:宽度和高度。空间可分离卷积简单地将卷积核划分为两个较小的卷积核。 最常见的情况是将3x3的卷积核划分为3x1和1x3的卷积 核,如下所示:
现在,我们不是用9次乘法进行一次卷积,而是进行两次卷积,每次3次乘法(总共6次),以达到相同的效果。 乘法较少,计算复杂性下降,网络运行速度更快。
深度可分离卷积
- 逐通道卷积
Depthwise Convolution的一个卷积核负责一个通道,一个通道只被一个卷积核卷积。
一张5×5像素、三通道彩色输入图片(shape为5×5×3),Depthwise Convolution首先经过第一次卷积运算,DW完全是在二维平面内进行。卷积核的数量与上一层的通道数相同(通道和卷积核一一对应)。所以一个三通道的图像经过运算后生成了3个Feature map(如果有same padding则尺寸与输入层相同为5×5),如下图所示。
其中一个Filter只包含一个大小为3×3的Kernel,卷积部分的参数个数计算如下:
N_depthwise = 3 × 3 × 3 = 27
Depthwise Convolution完成后的Feature map数量与输入层的通道数相同,无法扩展Feature map。而且这种运算对输入层的每个通道独立进行卷积运算,没有有效的利用不同通道在相同空间位置上的feature信息。因此需要Pointwise Convolution来将这些Feature map进行组合生成新的Feature map。
- 逐点卷积
Pointwise Convolution的运算与常规卷积运算非常相似,它的卷积核的尺寸为 1×1×M,M为上一层的通道数。所以这里的卷积运算会将上一步的map在深度方向上进行加权组合,生成新的Feature map。有几个卷积核就有几个输出Feature map。
由于采用的是1×1卷积的方式,此步中卷积涉及到的参数个数可以计算为:
N_pointwise = 1 × 1 × 3 × 4 = 12
经过Pointwise Convolution之后,同样输出了4张Feature map,与常规卷积的输出维度相同。
- 参数对比
常规卷积的参数个数为:
N_std = 4 × 3 × 3 × 3 = 108
Separable Convolution的参数由两部分相加得到:
N_depthwise = 3 × 3 × 3 = 27
N_pointwise = 1 × 1 × 3 × 4 = 12
N_separable = N_depthwise + N_pointwise = 39
可以明显的看到,相同的输入,同样是得到4张Feature map,Depthwise Separable Convolution的参数个数是常规卷积的约1/3。因此,在参数量相同的前提下,采用Depthwise Separable Convolution的神经网络层数可以做的更深。
参考:
https://zhuanlan.zhihu.com/p/80041030
https://blog.csdn.net/qq_42793029/article/details/90518241
空间可分离卷积和深度可分离卷积相关推荐
- Lesson 16.1016.1116.1216.13 卷积层的参数量计算,1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化,NiN网络复现
二 架构对参数量/计算量的影响 在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
- 可分离卷积及深度可分离卷积详解
可分离卷积 再来看一下nn.Conv2d(): torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, ...
- 一文读懂 12种卷积方法(含1x1卷积、转置卷积和深度可分离卷积等)
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 我们都知道卷积的重要性,但你知道深度学习领域的卷积究竟是什么,又有 ...
- pytorch_lesson16.2 架构对学习/鲁棒性的影响(VGG16复现+感受野+平移不变性)+架构对参数量的影响(1*1卷积核+分组卷积与深度分离卷积+NiN网络复现)
提示:仅仅是学习记录笔记,搬运了学习课程的ppt内容,本意不是抄袭!望大家不要误解!纯属学习记录笔记!!!!!! 文章目录 前言 一.架构对学习能力/鲁棒性的影响 1 深度 1.1 困难与实践 1.2 ...
- 可分离卷积:空间可分离卷积和深度可分离卷积
空间可分离卷积:将一个卷积核分为两部分(降低计算复杂度,但并非所有的卷积核都可以分) 深度可分离卷积的过程:先深度卷积,再点态卷积 (对卷积中的通道数不了解的请参考:关于卷积中的通道数问题) 1. 深 ...
- 2d 蓝图_“蓝图”卷积--对深度可分离卷积的再思考
论文:Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved Mobil ...
- 什么是深度可分离卷积及深度可分离卷积的优势
1.什么是深度可分离卷积? 2.传统卷积的参数和计算量: 可分离卷积包括两部(逐通道卷积+逐点卷积) 3.参数对比 4.计算量对比
- 神经网络与卷积神经网络,深度残差卷积神经网络
深度残差网络是卷积网络的一种吗 谷歌人工智能写作项目:神经网络伪原创 深度残差网络是卷积网络的一种吗 神经网络的历史是什么? 沃伦·麦卡洛克和沃尔特·皮茨(1943)基于数学和一种称为阈值逻辑的算法创 ...
- 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?+深度可分离卷积详解
目录 常规卷积操作 深度可分离卷积 = 逐通道卷积+逐点卷积 1.逐通道卷积 2.逐点卷积 参数对比 介绍 实验 代码清单 一些轻量级的网络,如mobilenet中,会有深度可分离卷积depthwis ...
- 深度可分离卷积Depthwise Separable Convolution
从卷积神经网络登上历史舞台开始,经过不断的改进和优化,卷积早已不是当年的卷积,诞生了分组卷积(Group convolution).空洞卷积(Dilated convolution 或 À trous ...
最新文章
- MySQL时间慢了八个小时
- python常用模块大全总结-Python 常用模块大全(整理)
- Spring Boot (四)模板引擎Thymeleaf集成
- 74cms3.0安装以及cmsSQL注入漏洞详解
- MAX535 单路13位DAC 模拟SPI驱动
- 硬件nat关闭还是开启_超能课堂(173):AfterBurner不止超频,还是绝佳的游戏伴侣...
- 带权并查集-Building Block
- iOS:Core Data 中的简单ORM
- 裁员、卖手机、押注VR,HTC能否王者归来?
- C++11 关键字default和delete
- ddk开发 c语言,使用DDK提供的build进行编译驱动一点总结
- solidworks 2016 crack
- Dbviusalizer报错Java.lang.ClassCastException: javax.swing.KeyStroke cannot be cast to java.lang.Compar
- SV学习(9)——随机函数、数组约束、随机控制
- PTA数字金字塔(PTA怎么用以及代码怎么敲)
- 组队竞赛删除公共字符
- iOS基础——UI控件之UIAlertController、UINavigationController、Segue、SVProgressHUD
- 3ds max捕捉工具教程_3DS Max教程的终极收藏
- 如何自己动手给笔记本电脑增加内存
- 平均年薪60.8万,Linux开发拿下这个证书有多吃香?
热门文章
- Flutter水波纹效果
- [转] prove, verify, bear out, demonstrate, confirm, validate, testify, certify 的区别
- jsp之${CTX}理解
- 程序员浪漫表白小程序
- 三极管、MOSE管的作用总结
- SLAM--LSD_SLAM在高版本系统中运行(ubuntu20.04 ROS-noetic)
- 得胃病者的饮食原则 养胃及食疗菜谱介绍做法
- python 绝对值最小值的 正数_找出有序数组中绝对值最小的数
- 十个数字内的最小绝对值
- java图片合成_Java图片处理(一)图片合成