深度学习《CNN架构续篇 - 学习率衰减》

截图来自于吴恩达的深度学习视频。

我们在参数更新的时候，存在一个步长α，这个参数代表了我们每一轮迭代在梯度方向上要进步的步伐长度，以前呢骂我们都是设置成规定值，那么有什么影响呢？首先简单不用说了，在某个梯度下降的过程中，在谷底（梯度最低值）的时候，可能出现始终徘徊到达不了最低点，甚至反而出现越来越大不收敛的情况，原因就是步长一致导致的，因此有个优化方式就是，将固定的步长α改成变化的值，怎么变呢？
如下图，在固定步长下，在最优值附近会产生剧烈抖动，可能无法达到最优解。

1）随着迭代次数的增长逐渐减少，使用反函数形式衰减。
a)

2）随着梯度的值减少，梯度越大，说明坡度越大，那就采取大一些的值，越接近谷底，坡度越缓，就越要变化为小步伐前进。（不详细讲解）
3）梯度衰减（不详细讲解）
4）余弦衰减（不详细讲解）
5）多项式衰减（不详细讲解）
6）指数衰减
a)

使用学习率衰减后，得到的效果就是绿色线条表示，越接近最优值步长越小，越容易接近最优值：

深度学习《CNN架构续篇 - 学习率衰减》相关推荐

深度学习之自编码器（4）变分自编码器
深度学习之自编码器(4)变分自编码器 1. VAE原理基本的自编码器本质上是学习输入 x\boldsymbol xx和隐藏变量 z\boldsymbol zz之间映射关系,它是一个判别模型(Di ...
深度学习之自编码器（5）VAE图片生成实战
深度学习之自编码器(5)VAE图片生成实战 1. VAE模型 2. Reparameterization技巧 3. 网络训练 4. 图片生成 VAE图片生成实战完整代码本节我们基于VAE模型实战F ...
深度学习之自编码器AutoEncoder
深度学习之自编码器AutoEncoder 原文:http://blog.csdn.net/marsjhao/article/details/73480859 一.什么是自编码器(Autoencoder ...
深度学习之自编码器（3）自编码器变种
深度学习之自编码器(3)自编码器变种 1. Denoising Auto-Encoder 2. Dropout Auto-Encoder 3. Adversarial Auto-Encoder 一般 ...
深度学习之自编码器（2）Fashion MNIST图片重建实战
深度学习之自编码器(2)Fashion MNIST图片重建实战 1. Fashion MNIST数据集 2. 编码器 3. 解码器 4. 自编码器 5. 网络训练 6. 图片重建完整代码自编码器 ...
深度学习之自编码器（1）自编码器原理
深度学习之自编码器(1)自编码器原理自编码器原理前面我们介绍了在给出样本及其标签的情况下,神经网络如何学习的算法,这类算法需要学习的是在给定样本 x\boldsymbol xx下的条件概率 P( ...
【深度学习】自编码器（AutoEncoder）
目录 RDAE稳健深度自编码自编码器(Auto-Encoder) DAE 深度自编码器 RDAE稳健深度自编码自编码器(Auto-Encoder) AE算法的原理 Auto-Encoder,中文称 ...
深入理解深度学习——Transformer：编码器（Encoder）部分
分类目录:<深入理解深度学习>总目录相关文章: ·注意力机制(AttentionMechanism):基础知识 ·注意力机制(AttentionMechanism):注意力汇聚与Nada ...
深度学习之自编码器实现——实现图像去噪
大家好,我是带我去滑雪! 自编码器是一种无监督学习的神经网络,是一种数据压缩算法,主要用于数据降维和特征提取.它的基本思想是将输入数据经过一个编码器映射到隐藏层,再通过一个解码器映射到输出层,使得输出 ...
深度学习：自编码器、深度信念网络和深度玻尔兹曼机
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客,以及我的github. 本文主要讲解有关自编码器.深度信念网络和深度玻尔兹曼机的相关知识. 一.自编码器 1. ...

深度学习《CNN架构续篇 - 学习率衰减》

深度学习《CNN架构续篇 - 学习率衰减》相关推荐

最新文章

热门文章