PreActResNet

Paper : Identity Mappings in Deep Residual Networks
Code : official

摘要

PreActResNet其实只是将Conv-BN-ReLU的顺序换了一下，使得存在一条通路从第一个ResNet Block到最后一个ResNet Block，中间不经过非线性变换ReLU，提高模型的准确率。

网络结构

左侧的网络结构是ResNet中提出的网络结构，是继承自VggNet的经典的Conv-BN-ReLU的结构，由于激活函数是在Conv层之前，因此也被称为PostActResNet。而右侧的网络结构是该论文中提出的新型的网络结构，在之前的一篇blog中分析identity shortcut connection的作用时曾经有过如下假设

… 则在有效的反向传播的过程中，ReLU可以看作是一个恒等映射 …

而PreActResNet的网络结构，也就是激活函数放在Conv层之前的结构，不需要通过近似即可满足该条假设，进一步增强了网络结构中shortcut的恒等性。两种结构的错误率变化如下

可以看出，对于深度较深的网络结构，PreActResNet在收敛速度和准确率上都有较好的表现。事实上，我们有更多种排列方式可以选择

下面是针对各种shortcut连接方式的实验数据

论文里提到，shortcut连接中的操作(缩放、门控、1*1 的卷积层，dropout)都会阻碍信息的传递，以致于对优化造成困难。虽然1*1的卷积捷径连接引入了更多的参数，本应该比恒等捷径连接具有更加强大的表达能力。但是它的效果并不好，这表明了这些模型退化问题的原因是优化问题，而不是表达能力的问题。

核心观点

通过改变激活层的位置，使网络模型的shortcut connection的恒等性进一步加强，可以改善残差神经网络的表现。一条由恒等函数组成的干净的shortcut connection是对于ResNet来说是至关重要的。

PreActResNet相关推荐

基于深度学习的图像识别模型发展
一.简介 AlexNet:(2012)主要贡献扩展 LeNet 的深度,并应用一些 ReLU.Dropout 等技巧.AlexNet 有 5 个卷积层和 3 个最大池化层,它可分为上下两个完全相同的分 ...
VanillaNet：深度学习极简主义的力量
摘要基础模型的核心是"更多不同"的理念,计算机视觉和自然语言处理方面的出色表现就是例证.然而,Transformer模型的优化和固有复杂性的挑战要求范式向简单性转变.在本文中,我 ...
一些常见的CNN模型
最近闲着无聊在家敲了一些基本的CNN模型,这里对网上资料做一个简要的整理总结,供自己学习使用. 一.VGG VGG模型是2014年ILSVRC竞赛的第二名,第一名是GoogLeNet.但是VGG模 ...
pytorch分类cifar-10（多模型对比）
2020/3/10更新一点:增加了CVPR2020的华为诺亚方舟实验室的一款轻量型网络 GhostNet: More Features from Cheap Operations 之前沿着这样的路线: ...
Neural Network Intelligence (NNI) | PyTorch-CiFar10 项目示例+常用pytorch版本模型全家福
一.环境 NNI version: 2.1 Python version: 3.8.3 Pytorch version: 1.6.0 二.代码 1.main.py '''Train CIFAR10 w ...

PreActResNet

摘要

网络结构

核心观点

PreActResNet相关推荐

最新文章

热门文章