机器学习中的数学—

分类目录：《机器学习中的数学》总目录
相关文章：
· 梯度下降法（Gradient Descent）
· 随机梯度下降（Stochastic Gradient Descent, SGD）
· 牛顿迭代法（Newton‘s Method）
· 拟牛顿法（Quasi-Newton Methods）
· Momentum（Gradient Descent with Momentum, GDM）
· Nesterov Momentum
· AdaGrad
· RMSProp
· Adam（Adaptive Moments）
· 共轭梯度法（Conjugate Gradient）
· 遗传算法（Genetic Algorithm）
· 粒子群算法
\qquad· 基础知识
\qquad· 带惯性权重的粒子群算法
\qquad· 改进的粒子群算法
· 模拟退火算法（Simulated Annealing，SA）

RMSProp算法修改AdaGrad以在非凸设定下效果更好，改变梯度积累为指数加权的移动平均。AdaGrad旨在应用于凸问题时快速收敛。当应用于非凸函数训练神经网络时，学习轨迹可能穿过了很多不同的结构，最终到达一个局部凸的区域。AdaGrad根据平方梯度的整个历史收缩学习率，可能使得学习率在达到这样的凸结构前就变得太小了。RMSProp使用指数衰减平均以丢弃遥远过去的历史，使其能够在找到凸碗状结构后快速收敛，它就像一个初始化于该碗状结构的AdaGrad算法实例。相比于AdaGrad，使用移动平均引入了一个新的超参数ρ\rhoρ，用来控制移动平均的长度范围。

RMSProp算法
输入：全局学习率ϵ\epsilonϵ；衰减速率ρ\rhoρ；初始参数θ\thetaθ；小常数δ\deltaδ(为了数值稳定大约设为10−610^{-6}10−6；
输出：神经网络参数θ\thetaθ
(1) 初始化梯度累积变量r=0r=0r=0
(2) while停止准则未满足\quad\text{停止准则未满足}停止准则未满足
(1) \quad从训练集中采包含mmm个样本{x(1),x(2),⋯,x(m)}\{x^{(1)}, x^{(2)}, \cdots, x^{(m)}\}{x(1),x(2),⋯,x(m)}的小批量，其中x(i)x^{(i)}x(i)对应目标为y(i)y^{(i)}y(i)
(2) \quad计算梯度估计：g=1m∇θ∑iL(f(x(i);θ),y(i))g = \frac{1}{m}\nabla_\theta\sum_iL(f(x^{(i)}; \theta), y^{(i)})g=m1∇θ∑iL(f(x(i);θ),y(i))
(3) \quad累积平方梯度：r=ρr+(1−ρ)g⊙gr=\rho r+(1-\rho)g\odot gr=ρr+(1−ρ)g⊙g
(4) \quad更新参数：θ=θ−ϵδ+t⊙g\theta=\theta-\frac{\epsilon}{\delta+t}\odot gθ=θ−δ+tϵ⊙g
(5) return θ\thetaθ

以及使用Nesterov Momentum的RMSProp算法：

使用Nesterov Momentum的RMSProp算法
输入：全局学习率ϵ\epsilonϵ；衰减速率ρ\rhoρ；初始参数θ\thetaθ；小常数δ\deltaδ(为了数值稳定大约设为10−610^{-6}10−6；动量系数α\alphaα；vvv
输出：神经网络参数θ\thetaθ
(1) 初始化梯度累积变量r=0r=0r=0
(2) while停止准则未满足\quad\text{停止准则未满足}停止准则未满足
(1) \quad从训练集中采包含mmm个样本{x(1),x(2),⋯,x(m)}\{x^{(1)}, x^{(2)}, \cdots, x^{(m)}\}{x(1),x(2),⋯,x(m)}的小批量，其中x(i)x^{(i)}x(i)对应目标为y(i)y^{(i)}y(i)
(2) \quad计算梯度估计：gk=1m∇θ+αv∑iL(f(x(i);θ+αv),y(i))g_k = \frac{1}{m}\nabla_{\theta+\alpha v}\sum_iL(f(x^{(i)}; \theta+\alpha v), y^{(i)})gk=m1∇θ+αv∑iL(f(x(i);θ+αv),y(i))
(3) \quad累积平方梯度：r=ρr+(1−ρ)g⊙gr=\rho r+(1-\rho)g\odot gr=ρr+(1−ρ)g⊙g
(4) \quad计算速度更新：v=αv−ϵr⊙gv=\alpha v-\frac{\epsilon}{\sqrt{r}}\odot gv=αv−rϵ⊙g
(4) \quad更新参数：θ=θ−ϵδ+t⊙g\theta=\theta-\frac{\epsilon}{\delta+t}\odot gθ=θ−δ+tϵ⊙g
(5) return θ\thetaθ

经验上，RMSProp已被证明是一种有效且实用的深度神经网络优化算法。目前它是深度学习从业者经常采用的优化方法之一。

机器学习中的数学——RMSProp相关推荐

机器学习中的数学——拟牛顿法（Quasi-Newton Methods）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习中的数学——Adam（Adaptive Moments）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习中的数学——粒子群算法（Particle Swarm Optimization, PSO）（三）：改进的粒子群算法
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习中的数学——牛顿迭代法（Newton‘s Method）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习中的数学——模拟退火算法（Simulated Annealing，SA）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习中的数学——遗传算法（Genetic Algorithm）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习中的数学——共轭梯度法（Conjugate Gradient）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习中的数学人工智能深度学习技术丛书
作者:孙博著出版社:中国水利水电出版社品牌:智博尚书出版时间:2019-11-01 机器学习中的数学人工智能深度学习技术丛书 ISBN:9787517077190
机器学习中的数学：一份新鲜出炉的热门草稿
来源:机器之心本文约1500字,建议阅读5分钟. 本文为你分享近日<Mathematics for Machine Learning>的全部草稿已放出,我们整理了这本书的简要概述. 近日 ...

机器学习中的数学——RMSProp

机器学习中的数学——RMSProp相关推荐

最新文章

热门文章