PyramidNet

Paper : Deep Pyramidal Residual Networks
Code : official

摘要

其实文章的核心观点与Inception提出的设计原则区别不大，Pyramid Net 认为在设计网络结构的时候，网络的宽度(通道数)应当逐渐增大，而之前的模型一般在卷积网络的前几层时通道变化幅度过大。没有提出非常创新的设计思路，个人感觉是小改动。

网络结构

In this research, instead of sharply increasing the feature map dimension at units that perform downsampling, we gradually increase the feature map dimension at all units to involve as many locations as possible.

下面使用图片直观展示ResNet和PyramidNet之间的区别

对于ResNet来说，令DkD_kDk表示第k个ResNet模块的宽度，则有

Dk={16n(k)=116⋅2n(k)−2n(k)≥2D_k = \left\{\begin{matrix} 16 & n(k)=1\\ 16 \cdot 2^{n(k)-2} & n(k) \geq 2 \end{matrix}\right. Dk={1616⋅2n(k)−2n(k)=1n(k)≥2

其中n(k)∈{1,2,3,4}n(k)\in \{1,2,3,4\}n(k)∈{1,2,3,4}表示ResNet Block所在的组数。

而Pyramid Net使用的设计策略如下

Dk={16k=1⌊Dk−1+αN⌋2≤k≤N+1D_k = \left\{\begin{matrix} 16 & k=1\\ \lfloor D_{k-1}+\frac{\alpha}{N} \rfloor & 2\leq k\leq N+1 \end{matrix}\right. Dk={16⌊Dk−1+Nα⌋k=12≤k≤N+1

其中α\alphaα是一常数。另有非线性的网络宽度设计策略如下

Dk={16k=1⌊Dk−1⋅α1N⌋2≤k≤N+1D_k = \left\{\begin{matrix} 16 & k=1\\ \lfloor D_{k-1}\cdot \alpha^{\frac{1}{N}} \rfloor & 2\leq k\leq N+1 \end{matrix}\right. Dk={16⌊Dk−1⋅αN1⌋k=12≤k≤N+1

对比图如下

在具体实现中，PyramidNet 选用下图中(d)所示的单元作为网络组成部分，注意为了不影响准确率，Pyramid Net 移除了第一个ReLU

因为PyramidNet中每个ResNet Block的通道数是逐渐增大的，各不相同，因此简单的identity mapping shortcut不能直接使用。作者采用零填充的方式扩展通道数实现通道对齐，而下图说明零填充的shortcut等价于ResNet和普通CNN的混合

实验中，作者还发现，BN层的使用不止可以加快参数的收敛，还可以最大化单个ResNet单元的容量。在模型的每个模块后使用BN层，可以改善模型的表现。

核心观点

在PreActResNet的基础上，进一步研究了Conv BN ReLU在ResNet Block中的位置，提出了移除首部ReLU层和添加末尾BN层的新的ResNet Block结构。
提出了线性增大网络宽度，使用零填充进行shortcut连接的思路。

PyramidNet相关推荐

ShakeDrop：深度残差学习中的 ShakeDrop 正则化
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者 | Sik-Ho Tsang 编译 | ronghuaiyan ...
数据增强_开源算法FMix：用于深度学习中增强混合样本数据增强
作者介绍近来混合样本数据增强(MSDA)受到越来越多的关注,其中包括许多成功的变体,例如MixUp和Cut-Mix. 作者在论文中提出了FMix,它是一种MSDA,它使用将阈值应用于从傅立叶空间采 ...
监督学习和无监督学习_让半监督学习再次伟大！谷歌最新无监督数据增强研究，全面超越现有半监督学习方法...
新智元报道来源:GoogleAI 编辑:元子 [新智元导读]Google AI最新研究用无监督数据增强推进半监督学习,取得令人瞩目的成果.该方法超越了所有现有的半监督学习方法,并实现了仅使用 ...
人工机器：人工智能中的机器学习方法
人工智能的定义为基于表观的行为定义,即图灵测试,可以形式化为模式识别.智能从知识论的角度分析,归纳明确知识规则构建知识图谱系统形成专家系统,而通过数据获得归纳规则约束参数为机器学习系统,即基于数据的模 ...
深度学习基础（常见的网络2）
LeNet:基于渐变的学习应用于文档识别 AlexNet:具有深卷积神经网络的ImageNet分类 ZFNet:可视化和理解卷积网络 VGGNet:用于大规模图像识别的非常深的卷积网络 NiN:网络中 ...
【翻译】CSPNet: A New Backbone that can Enhance Learning Capability of CNN
文章目录摘要 1.介绍 2.相关工作 3.方法 3.1.跨阶段局部网络 3.2.精确融合模型 4.实验 4.1. 实施细则 4.2. 消融实验 4.3. ImageNet图像分类 4.4. MS C ...
【注意力机制】BAM: Bottleneck Attention Module论文理解
摘要深度神经网络的最新进展是通过架构搜索来获得更强的表征能力. 瓶颈注意模块(BAM): 本研究关注深度神经网络中注意力机制的影响,提出了一个简单而有效的注意力模块,即瓶颈注意模块(BA ...
深度学习工程应用快速入门
课程介绍伴随人工智能时代的到来,深度学习技术也发挥着越来越重要作用,越来越多的技术人才开始投身入这一行业中,并希望发展成为一名深度学习算法工程师.然而,在实际的工程设计中,深度学习研发者总会面临着各 ...
CVPR2020 CSPNet: A New Backbone that can Enhance Learning Capability of CNN
CVPR2020 CSPNet: A New Backbone that can Enhance Learning Capability of CNN论文翻译摘要 1.介绍 2.相关工作 3.方法 ...
【深度学习】Deep Learning必备之必背十大网络结构
深度学习网络结构: [深度学习]Deep Learning必备之必背十大网络结构 (从公众号转发过来发现图片不能引用,直接点上面链接吧) 昨天的文章介绍了在学习Deep Learning过程中必须背熟 ...

PyramidNet

摘要

网络结构

核心观点

PyramidNet相关推荐

最新文章

热门文章