深度可分离卷积及其代码实现

深度可分离卷积（depthwise separable conv)

一共两步，第一步先进行逐通道卷积（Depthwise Convolution），第二步进行

逐点卷积（Pointwise Convolution)

普通卷积：输入是三个通道，输出是四个通道

这里需要4个卷积核（输出几个通道就要几个卷积核，这里输出四个通道所以需要四个卷积核）

每个卷积核是3*3*3

所以参数总量是4个3*3*3，等于108个参数

深度卷积:

深度可分离卷积可分为两个过程，分别为逐通道卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution)

(1)逐通道卷积

这里参数量是3个3*3，等于27个

这样卷积的话，通道数不可改变，而且通道之间的信息也没有进行交互

（2）逐点卷积

这里我们再用四个卷积核，每个卷积核大小为1*1*3

这样的话，参数总量就是4*1*1*3+27=39

可以看到，参数量大大减少

上面两步合起来就是：

代码实现：

class DepthWiseConv(nn.Module):def __init__(self,in_channel,out_channel):#这一行千万不要忘记super(DepthWiseConv, self).__init__()# 逐通道卷积self.depth_conv = nn.Conv2d(in_channels=in_channel,out_channels=in_channel,kernel_size=3,stride=1,padding=1,groups=in_channel)# groups是一个数，当groups=in_channel时,表示做逐通道卷积#逐点卷积self.point_conv = nn.Conv2d(in_channels=in_channel,out_channels=out_channel,kernel_size=1,stride=1,padding=0,groups=1)def forward(self,input):out = self.depth_conv(input)out = self.point_conv(out)return out

#将普通卷积替换成深度可分离卷积
nn.Conv2d(32,128,kernal_size=3,stride=1,padding=1)DepthWiseConv(32,128)

代码实现：

Conv2d(in_channel,out_channel,kernel_size,stride=1,padding=0,dilation=0,groups=1,bias=True)

，就代表在做深度可分离卷积（depth—wise conv)、

深度可分离卷积及其代码实现相关推荐

深度可分离卷积（计算过程及代码实现）
一.基本介绍深度可分离卷积是对传统卷积的改进,通过拆分空间维度和通道维度的相关性,减少了卷积计算所需要的参数个数.深度可分离卷积计算主要包含两个部分,第一部分是Depthwise Convoluti ...
【深度学习】利用深度可分离卷积减小计算量及提升网络性能
[深度学习]利用深度可分离卷积减小计算量及提升网络性能文章目录 1 深度可分离卷积 2 一个深度可分离卷积层的代码示例(keras) 3 优势与创新3.1 Depthwise 过程3.2 Point ...
Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二架构对参数量/计算量的影响在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
2d 蓝图_“蓝图”卷积--对深度可分离卷积的再思考
论文:Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved Mobil ...
深度可分离卷积（Xception 与 MobileNet）
前言从卷积神经网络登上历史舞台开始,经过不断的改进和优化,卷积早已不是当年的卷积,诞生了分组卷积(Group convolution).空洞卷积(Dilated convolution 或 À tr ...
【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?+深度可分离卷积详解
目录常规卷积操作深度可分离卷积 = 逐通道卷积+逐点卷积 1.逐通道卷积 2.逐点卷积参数对比介绍实验代码清单一些轻量级的网络,如mobilenet中,会有深度可分离卷积depthwis ...
【CV】MobileNet：使用深度可分离卷积实现用于嵌入式设备的 CNN 架构
论文名称:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 论文下载:https:/ ...
深度可分离卷积的Depth，Stack，Channel Multiplier
通道数目的不同单通道的卷积下面的代码测试了仅仅一个属性(depth是1)的深度卷积,其结果和普通卷积是一样的: async function depthwiseConv2dTestSingleDe ...
深度可分离卷积（DepthwiseSeparableConvolution）：Depthwise卷积与Pointwise卷积
0.前言 1.深度可分离卷积 1.1 depthwise卷积 1.2 pointwise卷积 2.代码实现参考 0.前言深度可分离卷积不用多说,在轻量级网络架构方面是一个绕不开的话题,只要接触深度 ...
深度学习中的depthwise convolution,pointwise convolution,SeparableConv2D深度可分离卷积
DepthwiseConv2D深度方向的空间卷积 pointwise convolution, SeparableConv2D深度可分离卷积 SeparableConv2D实现整个深度分离卷积过程,即 ...

深度可分离卷积及其代码实现

深度可分离卷积及其代码实现相关推荐

最新文章

热门文章