pytorch 卷积分组

groups是输入和输出的公约数

    input = torch.Tensor(1, 48, 112, 112)conv_23=Conv_block(48, 32, groups=16, kernel=3, padding=1, stride=1)# conv_23 = Depth_Wise(64, 32, kernel=(3, 3), stride=(2, 2), padding=(1, 1), groups=128)x = conv_23(input)print(x.size())

分组卷积最早出现在AlexNet中，当时硬件资源有限，训练时卷积操作不能全部放在同一个GPU中运算，因此作者在2个GPU上运行，把feature maps分给这两个GPU分别进行处理，最后把这两个GPU的结果进行concatenate，作为一层的output。

直到2016年Deep Roots: Improving CNN Efficiency with Hierarchical Filter Groups的论文首次发表之前，绝大多数深度学习研究人员都将一组滤波器解释为一种工程手段。确实，这是发明卷积层的主要原因，但是如果减少卷积层的参数，准确性肯定会下降吗?

AlexNet的作者在2012年也指出了一个有趣的副作用：conv1过滤器很容易被解释，过滤器组似乎总是把conv1分成两个独立的、截然不同的任务：黑白过滤器和彩色过滤器。

pytorch 卷积分组相关推荐

Pytorch学习 - Task5 PyTorch卷积层原理和使用
Pytorch学习 - Task5 PyTorch卷积层原理和使用 1. 卷积层 (1)介绍 (torch.nn下的) 1) class torch.nn.Conv1d() 一维卷积层 2) clas ...
pytorch卷积操作nn.Conv中的groups参数用法解释
MobileNetV1<MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications> ...
（pytorch-深度学习系列）pytorch卷积层与池化层输出的尺寸的计算公式详解
pytorch卷积层与池化层输出的尺寸的计算公式详解要设计卷积神经网络的结构,必须匹配层与层之间的输入与输出的尺寸,这就需要较好的计算输出尺寸先列出公式: 卷积后,池化后尺寸计算公式: (图像尺寸 ...
【深度学习】基于Torch的Python开源机器学习库PyTorch卷积神经网络
[深度学习]基于Torch的Python开源机器学习库PyTorch卷积神经网络文章目录 1 CNN概述 2 PyTorch实现步骤2.1 加载数据2.2 CNN模型2.3 训练2.4 可视化训练 ...
pytorch卷积可视化_使用Pytorch可视化卷积神经网络
pytorch卷积可视化 Filter and Feature map Image by the author 筛选和特征图作者提供的图像 When dealing with image's and ...
Pytorch卷积神经网络GPU加速
Pytorch卷积神经网络GPU加速首先要配置好pytorch,通常我们直接pip install pytorch的话会缺少关于cuda的内容,可以通过torch.cuda.is_available ...
Pytorch 卷积层
Pytorch 卷积层 0. 环境介绍环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的动手学深度学习网站和视频讲解小技巧:当遇到函数看不懂的时候可以按 Shift+ ...
pytorch之分组卷积
分组卷积推荐:请先看最底部的参考连接
pytorch groups 分组卷积
官方文档解释 groups: 控制输入和输出之间的连接, group=1,输出是所有的输入的卷积:group=2,此时相当于有并排的两个卷积层,每个卷积层计算输入通道的一半,并且产生的输出是输出通道的 ...

pytorch 卷积分组

pytorch 卷积分组相关推荐

最新文章

热门文章