深度学习《残差网络简单学习》

一：残差网络
VGG网络将网络达到了19层的深度，GoogleNet的深度是22层，一般而言，深度越深，月面临如下问题：
1：计算量增大
2：过拟合
3：梯度消失和梯度爆炸
4：网络退化

第一个问题呢可以用GPU集群并行计算来解决。
第二个问题和第三个问题，可以用（Early stop，Data expading，正则化，dropout，BatchNorm，Gradient clapping）等多重方式解决。

而问题四就得需要残差网络的思路来解决：
一般而言，网络的深度越深，理想情况下是期望越能获得更高维度的数据特征的，理想情况下，越深层的网络是要比浅层的网络要好，起码不要劣化才对，是否真的是能够简单地通过不断叠加深层网络来获得性能更优的网络呢？

答案不是的，在实践中发现，如果仅仅单纯的把网络叠起来的深层网络的效果，有时候反而不如合适层数的较浅的网络效果。直观的表现是，当你再增加网络深度的话，训练集loss反而会增大，难道不应该是起码不劣化才对么？

这时候残差网络就出现了，它包含了大量的如下所示的残差块，重复叠加而成。

这里将浅层的输出跳跃式的送到下下面几层，中间跨了几层后，和这几层的运算做累加操作。

这样做的好处是，即便深层的网络不能很好的训练，最差也不会劣化到某个浅层网络。从反向传播的梯度运算上来看，有了这个跳跃，梯度不会下降到很低，避免了出现梯度消失，浅层的网络可以得到参数更新。

说到这里，有点相似于RNN的思想，将一些已经产生的数据送到了后面的计算层。

上图是两个残差Block的示意图

二，残差网络的种类
残差网络有很多版本，有res18，res34，res50等等，后面的数字就是网络层数
比如res18

比如res34

下面给出一个总结列表

可以照着这个列表，实现出各种的残差网络，因为存在大量的重复结构，基本的结构样式都是一致的。

深度学习《残差网络简单学习》相关推荐

深度学习之自编码器（4）变分自编码器
深度学习之自编码器(4)变分自编码器 1. VAE原理基本的自编码器本质上是学习输入 x\boldsymbol xx和隐藏变量 z\boldsymbol zz之间映射关系,它是一个判别模型(Di ...
深度学习之自编码器（5）VAE图片生成实战
深度学习之自编码器(5)VAE图片生成实战 1. VAE模型 2. Reparameterization技巧 3. 网络训练 4. 图片生成 VAE图片生成实战完整代码本节我们基于VAE模型实战F ...
深度学习之自编码器AutoEncoder
深度学习之自编码器AutoEncoder 原文:http://blog.csdn.net/marsjhao/article/details/73480859 一.什么是自编码器(Autoencoder ...
深度学习之自编码器（3）自编码器变种
深度学习之自编码器(3)自编码器变种 1. Denoising Auto-Encoder 2. Dropout Auto-Encoder 3. Adversarial Auto-Encoder 一般 ...
深度学习之自编码器（2）Fashion MNIST图片重建实战
深度学习之自编码器(2)Fashion MNIST图片重建实战 1. Fashion MNIST数据集 2. 编码器 3. 解码器 4. 自编码器 5. 网络训练 6. 图片重建完整代码自编码器 ...
深度学习之自编码器（1）自编码器原理
深度学习之自编码器(1)自编码器原理自编码器原理前面我们介绍了在给出样本及其标签的情况下,神经网络如何学习的算法,这类算法需要学习的是在给定样本 x\boldsymbol xx下的条件概率 P( ...
【深度学习】自编码器（AutoEncoder）
目录 RDAE稳健深度自编码自编码器(Auto-Encoder) DAE 深度自编码器 RDAE稳健深度自编码自编码器(Auto-Encoder) AE算法的原理 Auto-Encoder,中文称 ...
深入理解深度学习——Transformer：编码器（Encoder）部分
分类目录:<深入理解深度学习>总目录相关文章: ·注意力机制(AttentionMechanism):基础知识 ·注意力机制(AttentionMechanism):注意力汇聚与Nada ...
深度学习之自编码器实现——实现图像去噪
大家好,我是带我去滑雪! 自编码器是一种无监督学习的神经网络,是一种数据压缩算法,主要用于数据降维和特征提取.它的基本思想是将输入数据经过一个编码器映射到隐藏层,再通过一个解码器映射到输出层,使得输出 ...
深度学习：自编码器、深度信念网络和深度玻尔兹曼机
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客,以及我的github. 本文主要讲解有关自编码器.深度信念网络和深度玻尔兹曼机的相关知识. 一.自编码器 1. ...

深度学习《残差网络简单学习》

深度学习《残差网络简单学习》相关推荐

最新文章

热门文章