Resnet解决了什么问题
先贴出论文的链接吧：If resnets are the answer, then what is the question?
从现在的网络发展趋势来看，网络越深，精度会越高，但是传统的堆叠网络却无法不断加深网络层数，原因是梯度消失和梯度爆炸。自从Resnet提出以后，网络越深，精度就越好，这是为什么。
我一直以为是由于Resnet 的 skip-connections解决了梯度消失的问题，在用反向传播算法时，梯度进行更新，层数越深，梯度就会越来越小，从而即使加深层数也无法正常训练下去。
现在才知道，batch normalization是可以解决梯度消失和梯度爆炸的问题，所以Resnet解决了什么问题呢？
论文中这样说道：
Specifically, we show that the correlation between gradients in standard feedforward networks decays exponentially with depth resulting in gradients that resemble white noise. In contrast, the gradients in architectures with skip connections are far more resistant to shattering decaying sublinearly
.
This raises the question: If resnets are the solution, then what is the problem? We identify the shattered gradient problem: a previously unnoticed difficulty with gradients in deep rectifier networks that is orthogonal to vanishing and exploding gradients. The shattering gradients problem is that, as depth increases, gradients in standard feedforward networks increasingly resemble white noise. Resnets dramatically reduce the tendency of gradients to shatter
大致意思就是说图像是具有局部相关性的，因此认为梯度也应该具备相关性，但是在梯度更新期间，梯度的相关性会随着层数的变深呈指数性衰减，导致梯度趋近于白噪声，而skip-connections 可以减缓衰减速度，使相关性和之前比起来变大。
论文中还提出“looks linear” (LL) initialization 来阻止shattering，即使没有
skip-connections。
我觉得论文可以读一下，可以提升对Resnet的理解，因为Resnet是一个很有创新性的网络。
如有错误，欢迎指出。
Resnet解决了什么问题相关推荐
- 深度详解ResNet到底在解决一个什么问题？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 https://www.zhihu.com/question/64 ...
- ResNet网络解决的一些事
ResNet主要解决了网络退化以及梯度消失/爆炸这两个主要问题,使得网络可以通过加深提高准确率~ 深度卷积网络自然的整合了低中高不同层次的特征,特征的层次可以靠加深网络的层次来丰富.从而,在构建卷积网 ...
- ResNet详解：ResNet到底在解决什么问题？
原作者开源代码:https://github.com/KaimingHe/deep-residual-networks 论文:https://arxiv.org/pdf/1512.03385.pdf ...
- ResNet在计算机视觉中的应用
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 1.介绍 深度卷积神经网络极大地改变了图像分类的研究前景[1]. ...
- 对 ResNet 本质的一些思考
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文作者重新审视了ResNet之所以工作的原因,得出结论: Res ...
- ResNet的学习笔记~
1 前言 今天在学习ResNet~ 一直在学习和研究ResNet,不过有些东西一直没有弄懂,觉得还是需要通过实验来验证一下, 今天在学习CS231n时,Yang助教又讲到ResNet,这里我们再来复习 ...
- ResNet之残差结构的理解
ResNet 论文 2015年提出的ResNet 2016年改进后的ResNet 博客 本人实现的2015-2016的ResNet网络复现 深度学习-残差resnet网络原理详解 ResNet详解-- ...
- ResNet深度残差网络
ResNet 论文:"Deep Residual Learning for Image Recognition" 面临的问题 ResNet解决的是深度神经网络的"退化&q ...
- 深度学习网络篇——ResNet
ResNet 作者:Kaiming He ,Xiangyu Zhang ,Shaoqing Ren ,Jian Sun 研究机构:Microsoft Research About Kaiming He ...
- ResNet文献阅读报告
ResNet文献阅读报告 一.背景简介 二.残差结构 三.bottleneck结构 四.实验细节 (1)对ResNet解决网络退化问题能力的验证 (2)与SOTA的对比 (3)CIFAR-10的实验结 ...
最新文章
- mvc4中的 webapi 的使用方式
- 7-二路归并排序C实现（递增递减的简单转换）
- C#趣味程序---真分数序列
- tfs 内网和外网切换的方法。
- 家用电脑配置_游戏搬砖必看教程，游戏工作室电脑如何配置
- c语言表达式10 amp 6等于多少,C语言基础——表达式
- RBF的一维和二维逼近
- 几道比较难的SQL题
- php post请求超时,php用curl提交post数据，本地测试服务器OK，线上超时，需要如何排除问题？...
- 红米k30pro工程测试代码_红米K30 PRO代号曝光，确定推出双版本，更强拍照对标荣耀30...
- Java笔记（1）黑马刘意_Java入门_2019_idea版
- idcsystem源码php_最新PHP宝塔IDC分销系统源码
- 企业微信接口下载微盘文件
- Blender - Proportional Edit Mode - 按比例编辑模式（3D版的液化、挤压工具）
- pycharm运行时，浏览器闪退，直接关闭
- 数据可视化笔记4 结构数据的可视化图形
- 为Mac设置“屏幕使用时间”，来了解您的设备使用情况
- 活体检测论文笔记2——Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing
- 如何解决Windows 10超级管理员账号权限受限的问题
- 最简 jrtplib 收发数据实例