RMSProp优化算法--学习笔记

RMSProp优化算法是AdaGrad算法的一种改进。

AdaGrad算法：

    要求的超参数：r(全局学习率)，θ（初始参数），σ（小常数，为数值稳定大约设为10^-7）初始化梯度累计变量d=0where 没有达到停止条件：从训练集中选择m个样本的小批量以及其label计算梯度△d（损失函数链式法则回传梯度求和）累计平方梯度d=d+△d*△d计算更新：△θ=r/（(σ)+开根（d）） * △d（逐元素应用除和求平方根）应用更新：θ=θ+△θ

原始的RMSProp优化算法和AdaGrad算法唯一的不同，就在于累积平方梯度的求法不同：
```
d=ρ（衰减速率）d+(1-ρ）△d*△d 
```
，即RMSProp算法不是像AdaGrad算法那样暴力直接的累加平方梯度，而是加了一个衰减系数来控制历史信息的获取多少。
鉴于神经网络都是非凸条件下的，RMSProp在非凸条件下结果更好，改变梯度累积为指数衰减的移动平均以丢弃遥远的过去历史。
设置全局学习率之后，每次通过，全局学习率逐参数的除以经过衰减系数控制的历史梯度平方和的平方根，使得每个参数的学习率不同
起到的效果是在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小），并且能够使得陡峭的方向变得平缓，从而加快训练速度。

RMSProp优化算法--学习笔记相关推荐

白鲸优化算法学习笔记
白鲸优化算法学习笔记 1. 引言白鲸优化算法(Whale Optimization Algorithm,简称WOA)是一种基于自然界中的白鲸行为而发展起来的启发式优化算法.该算法模拟了白鲸群体的寻食 ...
哈里斯鹰优化算法学习笔记2
哈里斯鹰是一种著名的猛禽,其独特之处在于它与生活在同一稳定群体中的其他家庭成员一起进行独特的合作觅食活动,而其他猛禽通常独自攻击,发现和捕获猎物.哈里斯鹰捕捉猎物的主要策略是"突袭" ...
粒子群PSO优化算法学习笔记及其python实现（附讲解如何使用python语言sko.PSO工具包）
算法描述粒子群算法思想来源于实际生活中鸟捕食的过程.假设在一个n维的空间中,有一群鸟(m只)在捕食,食物位于n维空间的某个点上,对于第i只鸟某一时刻来说,有两个向量描述,一个是鸟的位置向量,第二个是 ...
多目标优化算法学习笔记（一）
MOSMA: Multi-objective Slime Mould Algorithm Based on Elitist Non-dominated Sorting 多目标优化问题的算法及其求解(转 ...
多目标优化算法学习笔记
MOEA 分类按机制分配基于分解将子目标聚合成单目标基于支配基于Pareto的适应度分配基于指标基于指标评价候选解的性能按决策分类前决策搜索前输入决策信息,产生一个解后决策提供 ...
两个字符串的最长公共子序列长度_算法学习笔记(58): 最长公共子序列
(为什么都更了这么多篇笔记了,这时候才讲这么基础的内容呢?因为我本来以为LCS这种简单的DP不用讲的,结果CF不久前考了LCS的变式,然后我发现由于自己对LCS一点都不熟,居然写不出来 ,于是决定还是 ...
Python最优化算法学习笔记（Gurobi）
微信公众号:数学建模与人工智能 github地址:https://github.com/QInzhengk/Math-Model-and-Machine-Learning Python最优化算法学习笔 ...
数据结构与算法学习笔记4：递归+分治法
数据结构与算法学习笔记4 递归斐波那契数列青蛙跳台阶问题链表倒序打印分治法二分查找/折半查找 Binary Search 题目1:快速幂题目2:如何判断一个数是否为2的次幂递归指在函数 ...
基于MVS的三维重建算法学习笔记（一）— MVS三维重建概述与OpenMVS开源框架配置
基于MVS的三维重建算法学习笔记(一)- MVS三维重建概述与OpenMVS开源框架配置声明 1. MVS(Multi-view stereo)概述稀疏重建与稠密重建的区别稀疏重建--SFM(S ...

RMSProp优化算法--学习笔记

RMSProp优化算法--学习笔记相关推荐

最新文章

热门文章