#论文《Deep Residual Learning for Image Recognition》

2015年的paper，微软何凯明等。

解决的问题：

梯度消失/爆炸问题；
1. 之前的解决方案：This problem, however, has been largely addressed by normalized initial- ization [23, 9, 37, 13] and intermediate normalization layers [16], which enable networks with tens of layers to start con- verging for stochastic gradient descent (SGD) with back- propagation [22].
The degradation (of training accuracy) ：可能深层的网络训练结果反而没有浅层好，并且这个问题并非由过拟合导致。结果，之前最深的网络基本在30层以内。

解决的思路：

residual learning reformulation ：拟合残差，来解决梯度消失/爆炸问题。
1. 假设输出是H(x)，某层可以拟合残差F(x) = H(x) - x。理论上等价。但是，H(x)中要经过多层非线性转换，可能有梯度问题。而用残差你和，就没有这个问题了。

认为高深度网络不应该比低深度网络差，通过shortcut来做恒等映射，使得至少让高深度网络表现不差于低深度网络。这样，以后可以在计算能力可以的情况下，可以增加任意多层。

附加的问题和结果:

最大训练到152层（ImageNet）和1000层（CIFAR-10）。
计算量并没有大很多。参数也是。
实验表现很好，包括ImageNet（达到3.57%的top 5错误率，拿了第一名），COCO（提升28%左右）。

其他：

文章里主要和VGG plain网络进行对比。

参考翻译的一篇文章：

https://blog.csdn.net/wspba/article/details/57074389

#论文《Deep Residual Learning for Image Recognition》相关推荐

经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks
学习笔记,仅供参考,有错必纠文章目录 ImageNet Classification with Deep Convolutional Neural Networks 摘要 Introduction ...
《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...
AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ...
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中文版
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
论文《ImageNet Classification with Deep Convolutional Neural Networks》阅读及AlexNet的Tensorflow2复现
论文<ImageNet Classification with Deep Convolutional Neural Networks>阅读及AlexNet的Tensorflow2复现论文 ...
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (1/3)
文章目录 Authors and Publishment Authors Bibtex Abstract 1. Introduction 2. The Dataset Authors and Publ ...
《ImageNet Classification with Deep Convolutional Neural Networks》翻译
1 引言 2 数据集 3 架构 3.1 ReLU 非线性 3.2 训练多个GPU 3.3 局部响应归一化 3.4 重叠池化 3.5 整体架构 4 减少过拟合 4.1 数据增强 4.2 Dropout ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (2/3)
文章目录 3. The Architecture 3.1. ReLU Nonlinearity 3.2. Training on Multiple GPUs 3.3. Local Response N ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (3/3)
文章目录 6. Results 6.1. Qualitative Evaluations 7. Discussion References 6. Results Our results on ILSV ...

#论文《Deep Residual Learning for Image Recognition》

#论文《Deep Residual Learning for Image Recognition》相关推荐

最新文章

热门文章

#论文 《Deep Residual Learning for Image Recognition》

#论文 《Deep Residual Learning for Image Recognition》相关推荐

最新文章

热门文章

#论文《Deep Residual Learning for Image Recognition》

#论文《Deep Residual Learning for Image Recognition》相关推荐