分组卷积与DW卷积、Residuals与Inverted Residuals、bottleneck与linearbottleneck
分组卷积（Group Convolution）
分组卷积在ResNext、ShuffleNet中都用到了
首先必须明确：
常规卷积（Convolution）的参数量是：
K*K*C_in*n
K是卷积核大小，C_in是input的channel数，n是卷积核个数(output的channel数)
分组卷积的参数量是：
K*K*C_in*n*1/g
K是卷积核大小，C_in是input的channel数，n是卷积核个数(output的channel数)，g是分组数
DW(Depthwise Separable Conv)+PW(Pointwise Conv) 卷积
DW卷积也叫做深度可分离卷积，DW+PW的组合在MobileNet、ShuffleNet中都使用了
DW卷积的参数量是：
K*K*C_in (此时C_in = n)
K是卷积核大小，C_in是input的channel数，DW卷积中，卷积核个数与input的channel数相同
PW卷积的参数量是：
1*1*C_in*n
PW卷积的卷积核为1*1大小，C_in是input的channel数，n是卷积核个数(output的channel数)
总结
- 分组卷积的参数量是常规卷积（Convolution）参数量的1/g, 其中g是分组数
- DW卷积的参数量是常规卷积（Convolution）参数量的1/n, 其中n是卷积核个数
- 当分组卷积中的g=C_in, n=C_in时，DW==分组卷积（将每个channel自己作为一组）
Residuals与Inverted Residuals
bottleneck与linearbottleneck
Bottleneck指的是瓶颈层，Bottleneck结构其实就是为了降低参数量，Bottleneck 三步走是先 PW 对数据进行降维，再进行常规卷积核的卷积，最后 PW 对数据进行升维（类似于沙漏型）。
这里侧重的是网络中的降(升)维->卷积->升(降)维结构，而不关注shortcut
Linear Bottlececk: 针对MobileNet v2中的Inverted residual block结构的最后一个1*1 卷积层使用了线性激活函数，而不是relu激活函数
分组卷积与DW卷积、Residuals与Inverted Residuals、bottleneck与linearbottleneck相关推荐
- 普通卷积、Depthwise(DW)卷积、Pointwise(PW)卷积、Atrous卷积
转发 https://blog.csdn.net/T_J_S/article/details/94629637 https://www.zhihu.com/question/49630217 普通卷积 ...
- 深度学习网络结构笔记----Depthwise卷积与Pointwise卷积--深度可分卷积-- GoogleNet，Xception，MobileNetv1--v3
目录 1,常规卷积操作 1,什么是Depthwise Convolution 3,什么是Pointwise Convolution 4 ,参数对比 5,Depthwise Separable Conv ...
- 卷积神经网络的改进 —— 分组卷积、DW 与 PW
1.普通卷积 对于一张5×5像素.三通道彩色输入图片(shape为5×5×3).经过3×3卷积核的卷积层(假设输出通道数为4,则卷积核shape为3×3×3×4),最终输出4个Feature Map, ...
- 分组卷积/转置卷积/空洞卷积/反卷积/可变形卷积/深度可分离卷积/DW卷积/Ghost卷积/
文章目录 1. 常规卷积 2. 分组卷积 3. 转置卷积 4. 空洞卷积 5. 可变形卷积 6. 深度可分离卷积(Separable Convolution) 6.1 Depthwise Convol ...
- 卷积、转置卷积、可分离卷积、分组卷积、空洞卷积的理解
文章目录 卷积.转置卷积.可分离卷积.分组卷积.空洞卷积的理解 转置卷积 深度可分离卷积 分组卷积 空洞卷积 卷积.转置卷积.可分离卷积.分组卷积.空洞卷积的理解 这里主要是汇总一些本人觉得比较好的文 ...
- DW卷积、PW卷积、转置卷积、膨胀卷积（空洞卷积）、可变形卷积一次看个够
Depthwise Separable Convolution也就是深度可分离卷积,应该见过吧,它其实是由depthwise卷积和pointwise卷积组合而成,同样可以用来提取图像特征,但是它的计算 ...
- 常规卷积，DW卷积和PW卷积的区别
常规卷积,DW卷积和PW卷积的区别 转载于卷积神经网络中的Separable Convolution 卷积神经网络在图像处理中的地位已然毋庸置疑.卷积运算具备强大的特征提取能力.相比全连接又消耗更少的 ...
- 对深度可分离卷积、分组卷积、扩张卷积、转置卷积（反卷积）的理解
参考: https://zhuanlan.zhihu.com/p/28749411 https://zhuanlan.zhihu.com/p/28186857 https://blog.yani.io ...
- MobilenetV2学习笔记 --- MobileNetV2: Inverted Residuals and Linear Bottlenecks
论文:https://arxiv.org/abs/1801.04381 代码:https://github.com/tonylins/pytorch-mobilenet-v2 此外给出Mobilene ...
- 轻量型网络之MobileNetV2: Inverted Residuals and Linear Bottlenecks论文学习
0.摘要 针对残差结构提出来倒残差结构(Inverted Residuals),由于使用的是1x1卷积在resnet中也叫瓶颈层,所以这个模块最终叫做具有线性瓶颈的倒残差结构(the inverted ...
最新文章
- activemq 异步和同步接收
- Java的登陆验证问题
- 让AI学习如何玩游戏 OpenAI打造强化学习通用模型
- 记录cocos2d-x3.0版本号更改内容官方说明
- 第四十七节，random 随机数模块
- Linux 基本命令（七）--cat,less,more,head,tail,nl 常用命令
- 1.4 Linux文件系统与目录结构
- Matlab图像分割
- 无线路由器密码破解最新教程完整版
- 2014全国计算机等级考试四级数据库工程师考试大纲,全国计算机等级考试四级数据库工程师考试大纲...
- java近义词,java实现近义词维护
- tof摄像头手势识别_全面解析深度摄像头(TOF Camera)的原理
- 游戏原画，掌握角色设计2个小技巧，你也能画好角色
- Dubbo3.0 整合 Nacos
- 虚拟机配置DNS服务器
- 【麒麟操作系统】命令行下配置网卡及DNS
- 1.5 mysql练习题37道，做完这些mysql练习题，立马让你进阶。(附答案)
- Supervised Contrastive Learning For Recommendation
- 基于GPT硬盘模式重装win10操作系统
- vue-cli的webpack模板项目配置文件分析[转]