右图是 bottleneck

右图是 shortcut connection

“弯弯的弧线“这个就是”shortcut connection“，也是论文中提到identity mapping

两种结构统称building block

这两种结构分别针对ResNet34（左图）和ResNet50/101/152（右图），一般称整个结构为一个”building block“。

bottleneck design 降低参数量

其中右图又称为”bottleneck design”，目的一目了然，就是为了降低参数的数目，第一个1x1的卷积把256维channel降到64维，然后在最后通过1x1卷积恢复，整体上用的参数数目：1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632，而不使用bottleneck的话就是两个3x3x256的卷积，参数数目: 3x3x256x256x2 = 1179648，差了16.94倍。

对于常规ResNet，可以用于34层或者更少的网络中，对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中，目的是减少计算和参数量，减少训练时间（实用目的）。

bottleneck结构单元

一个是bottleneck中第二个1*1卷积的通道为什么是256维度；

可理解为参数设置将最后一个卷积的通道设置为当前输入通道的4倍；

一个是左右两侧为相同的输入，为什么图右变为256维度的恒等映射；

要想实现加运算，必须令输入通道数和11卷积核的输出通道数相同，所以需要对原始64通道的输入利用11卷积增加通道至256维。

参考：
https://blog.csdn.net/u011304078/article/details/80683985

ResNet的 bottleneck 设计相关推荐

resnet 中bottleneck
图片来自这里论文中指明将为减少训练时间,将原始的残差模块(上图左侧)替换为bottleneck的残差模块.上图中右侧图有两处需要说明, 一个是bottleneck中第二个1*1卷积的通道为什么是25 ...
bottleneck resnet网络_为何resnet的bottleneck block为何能增强特征学习能力？
个人理解,仅供参考. 咱们先看一下原文是怎么说的: 原文说的是考虑到训练时间的限制,因此采用了BottleNeck的结构,换言之,至少在原论文中没有说明使用BottleNeck相较于BasicBloc ...
ResNet及其变体结构梳理与总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 [导读]2020年,在各大CV顶会上又出现了许多基于ResNet改 ...
【卷积神经网络结构专题】ResNet及其变体的结构梳理、有效性分析
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要20分钟 Follow小博主,每天更新前沿干货 [导读]2020年,在各大CV顶会上又出现了许多基于ResNet改进的工作,比如:Res2Ne ...
【深度学习】网络架构设计：CNN based和Transformer based
从DETR到ViT等工作都验证了Transformer在计算机视觉领域的潜力,那么很自然的就需要考虑一个新的问题,图像的特征提取,究竟是CNN好还是Transformer好? 其中CNN的优势在于参数 ...
resnet结构_经典卷积网络（二）-ResNet
一.ResNet(总结自csdn文章) 随着网络的加深,出现了训练集准确率下降的现象,确定这不是由于Overfit过拟合造成的.作者针对这个问题提出了一种全新的网络,叫深度残差网络,它允许网络尽可能的 ...
resnet模型的图像分类结构图_ResNet - 2015年 ILSVRC 的赢家（图像分类，定位及检测）...
本文为 AI 研习社编译的技术博客,原标题 : Review: ResNet - Winner of ILSVRC 2015 (Image Classification, Localization, ...
resnet结构_来聊聊ResNet及其变种
加入极市专业CV交流群,与 10000+来自港科大.北大.清华.中科院.CMU.腾讯.百度等名校名企视觉开发者互动交流! 同时提供每月大咖直播分享.真实项目需求对接.干货资讯汇总,行业技术交流.关注 ...
ResNet及其变种的结构梳理、有效性分析与代码解读（PyTorch）
点击我爱计算机视觉标星,更快获取CVML新技术本文来自知乎,作者费敬敬,现为同济大学计算机科学与技术硕士. https://zhuanlan.zhihu.com/p/54289848 温故而知新,理 ...

ResNet的 bottleneck 设计