ResNet一直不太能看懂，先记录一下了。

为什么需要设计ResNet

degenrate（退化问题）

训练深度神经网络失败的罪魁祸首不是梯度消失，而是退化

在深度的重要性的驱使下，出现了一个新的问题：训练一个更好的网络是否和堆叠更多的层一样简单呢？解决这一问题的障碍便是困扰人们很久的梯度消失/梯度爆炸，这从一开始便阻碍了模型的收敛。归一初始化（normalized initialization）和中间归一化（intermediate normalization）在很大程度上解决了这一问题，它使得数十层的网络在反向传播的随机梯度下降（SGD）上能够收敛。

当深层网络能够收敛时，一个退化问题又出现了：随着网络深度的增加，准确率达到饱和（不足为奇）然后迅速退化。意外的是，这种退化并不是由过拟合造成的，并且在一个合理的深度模型中增加更多的层却导致了更高的错误率，我们的实验也证明了这点。下图展示了一个典型的例子。

大意是，并不是神经网络的层数越多越好！图中，56层的网络的错误率竟然真的会比20层网络的错误率高的！

有个图片，我也不太能看得懂。。

ResNet是什么？

它使用了一种连接方式叫做“shortcut connection”，顾名思义，shortcut就是“抄近道”的意思。我们可以看到一个“弯弯的弧线“这个就是所谓的”shortcut connection“，也是文中提到identity mapping（恒等映射），这张图也诠释了ResNet的真谛：在残差单元内部甚至整个网络上为建立一条直接的信息传播方式。这一层的神经网络可以不用学习整个的输出，而是学习上一个网络输出的残差，因此ResNet又叫做残差网络。

通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。

分析残差网络

原始ResNets具有堆叠多个连接形状相同的模块而成的模块化架构，该论文将这些模块称为残差单元，原始的残差单元的计算公式可以表示为：

网络结构

上图是对应于ImageNet的网络框架举例。左：VGG-19模型（196亿个FLOPs）作为参考。中：plain网络，含有34个参数层（36 亿个FLOPs）。右：残差网络，含有34个参数层（36亿个FLOPs）。虚线表示的shortcuts增加了维度。

参考

实在是看不太懂了，先mark一下23333.

任重而道远啊。。。。

主干网络系列(2) -ResNet V2:深度残差网络中的恒等映射

【BasicNet系列：四】ResNet 论文笔记解读+pytorch代码分析+网络结构图

ResNet介绍

ResNet解析

训练深度神经网络失败的罪魁祸首不是梯度消失，而是退化

【ResNet】Deep Residual Learning for Image Recognition相关推荐

【论文翻译】Deep Residual Learning for Image Recognition
[论文翻译]Deep Residual Learning for Image Recognition [论文题目]Deep Residual Learning for Image Recognitio ...
深度学习论文阅读图像分类篇（五）：ResNet《Deep Residual Learning for Image Recognition》
深度学习论文阅读图像分类篇(五):ResNet<Deep Residual Learning for Image Recognition> Abstract 摘要 1. Introduct ...
【读点论文】Deep Residual Learning for Image Recognition 训练更深的网络
Deep Residual Learning for Image Recognition 深层次的神经网络更难训练.何凯明等人提出了一个残差学习框架,以简化比以前使用的网络更深的网络训练. 明确地将层 ...
李沐论文精读： ResNet 《Deep Residual Learning for Image Recognition》 by Kaiming He
目录 1 摘要主要内容主要图表 2 导论 2.1为什么提出残差结构 2.2 实验验证 3 实验部分 3.1 不同配置的ResNet结构 3.2 残差结构效果对比 3.3 残差结构中,输入输出维度不 ...
Deep Residual Learning for Image Recognition（ResNet）论文翻译及学习笔记
[论文翻译]:Deep Residual Learning for Image Recognition [论文来源]:Deep Residual Learning for Image Recognit ...
图像分类经典卷积神经网络—ResNet论文翻译（中英文对照版）—Deep Residual Learning for Image Recognition（深度残差学习的图像识别）
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[ResNet纯中文版] Deep Residual Learning for Image ...
图像分类经典卷积神经网络—ResNet论文翻译（纯中文版）—Deep Residual Learning for Image Recognition（深度残差学习的图像识别）
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为纯中文版,中英文对照版请稳步:[ResNet中英文对照版] Deep Residual Learning for Ima ...
论文翻译[Deep Residual Learning for Image Recognition]
论文来源:Deep Residual Learning for Image Recognition [翻译人]:BDML@CQUT实验室 Deep Residual Learning for Imag ...
Deep Residual Learning for Image Recognition(深度残差网络用于图像识别)理解
本文转载于https://blog.csdn.net/dulingtingzi/article/details/79870486,个人觉得博主写的通俗易懂,故将其转发,欢迎大家一起学习,一起进步其实 ...

【ResNet】Deep Residual Learning for Image Recognition

为什么需要设计ResNet

ResNet是什么？

分析残差网络

网络结构

参考

【ResNet】Deep Residual Learning for Image Recognition相关推荐

最新文章

热门文章