各种优化算法公式快速回忆优化器-深度学习

本文是Deep Learning 之最优化方法系列文章的RMSProp方法。主要参考Deep Learning 一书。

整个优化系列文章列表：

Deep Learning 之最优化方法

Deep Learning 最优化方法之SGD

Deep Learning 最优化方法之Momentum（动量）

Deep Learning 最优化方法之Nesterov(牛顿动量)

Deep Learning 最优化方法之AdaGrad

Deep Learning 最优化方法之RMSProp

Deep Learning 最优化方法之Adam

先上结论

1.AdaGrad算法的改进。鉴于神经网络都是非凸条件下的，RMSProp在非凸条件下结果更好，改变梯度累积为指数衰减的移动平均以丢弃遥远的过去历史。

2.经验上，RMSProp被证明有效且实用的深度学习网络优化算法。

相比于AdaGrad的历史梯度：

RMSProp增加了一个衰减系数来控制历史信息的获取多少：

再看原始的RMSProp算法:

再看看结合Nesterov动量的RMSProp，直观上理解就是：
RMSProp改变了学习率，Nesterov引入动量改变了梯度，从两方面改进更新方式。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200326164513687.jpg)

各种优化算法公式快速回忆优化器-深度学习相关推荐

TVM 优化 ARM GPU 上的移动深度学习
TVM 优化 ARM GPU 上的移动深度学习随着深度学习的巨大成功,将深度神经网络部署到移动设备的需求正在迅速增长.与桌面平台上所做的类似,在移动设备中使用 GPU 既有利于推理速度,也有利于能源 ...
优化你的CPU来做深度学习
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达导读对于想学习深度学习的同学们来说,学习资源网上有很多,但是计算 ...
组合求解器 + 深度学习 =？这篇ICLR 2020论文告诉你答案
2020-01-26 20:17:46 选自TowadsDataScience 作者:Marin Vlastelica Pogančić 机器之心编译参与:郭元晨.魔王如何将组合求解器无缝融入深度 ...
靠谱的快速入门机器学习和深度学习路线
『运筹OR帷幄』原创作者:霍华德编者按: 入门机器学习和深度学习并不是一件容易的事情.需要学习大量的知识,初学者常常会迷茫不知所措.现在我们给你带来一篇纯干货,帮助你入门机器学习和深度学习. 什么 ...
Linux上快速搭建自己的深度学习虚拟环境
一.服务器未连外网下如何搭建找一台具有Linux操作系统的电脑,进行新的虚拟环境的搭建,然后将整个文件夹拷贝到服务器上,即可直接使用. 1.Windows系统上虚拟机的下载及安装首先进入官网,下载 ...
计算机辅助药物设计系列专题（蛋白结构分析、虚拟筛选、分子对接、能量优化、结合自由能计算、深度学习药物发现）
近年来,利用高性能计算机来进行药物虚拟筛选已经被广泛应用,计算机辅助药物设计可以提高药物研发的成功率,降低研发成本,缩短研发周期,是目前创新药物研究的核心技术之一.随着医药大数据的积累和人工智能技术的 ...
矩阵的卷积核运算（一个简单小例子的讲解）深度学习
卷积运算:假设有一个卷积核h,就一般为3*3的矩阵: 有一个待处理矩阵A: h*A的计算过程分为三步第一步,将卷积核翻转180°,也就是成为了第二步,将卷积核h的中心对准x的第一个元素,然后对应元 ...
使用什么优化器_新的深度学习优化器Ranger：RAdam + LookAhead强强结合
[导读]给大家介绍一个新的深度学习优化器,Ranger,同时具备RAdam和LookAhead的优点,一行代码提升你的模型能力. Ranger 优化器结合了两个非常新的发展(RAdam + Looka ...
(十) 深度学习笔记｜关于优化器Adam
一.关于优化器深度学习的目标是通过不断改变网络参数,使得参数能够对输入做各种非线性变换拟合输出,本质上就是一个函数去寻找最优解,所以如何去更新参数是深度学习研究的重点. 通常将更新参数的算法称为优化 ...

各种优化算法公式快速回忆优化器-深度学习

各种优化算法公式快速回忆优化器-深度学习相关推荐

最新文章

热门文章