深度学习经典优化算法-公式汇总

—————整理自DeepLearning chapter8，主要是方便做算法的对比。

1.基础算法

1.1 随机梯度下降（SGD，Stochastic Gradient Descent）

随机梯度下降可以通过从数据生成分布中独立地抽取的m个样本组成的minibatch的平均梯度来无偏地估计梯度。
还有很多其他的点，比如SGD的收敛条件等，详情请参考原书。

1.2 动量SGD（SGD with momentum）

动量方法的提出至少在1964年，与原SGD相比，主要区别在于添加了速度v。

1.3 Nesterov动量SGD（SGD with Nesterov momentum）

Nesterov Momentum是2013年提出来的。

2.自适应学习率算法（Algorithms with Adaptive Learning Rates）

2.1.AdaGrad

2011年提出的，控制梯度方便有所创新。

2.2.RMSProp

RMSProp算法（Hinton，2012）通过将梯度累积更改为指数加权移动平均值，改进AdaGrad以使它在0非凸设置中表现更好。
还有添加动量因素的RMSP算法：

2.3.Adam

2014年提出，“Adam”源自“adaptive moments”。

3.二阶优化算法

3.1 牛顿法（Newton’s Method）

牛顿法是最常用的二阶优化算法。

3.2 共轭梯度法（Conjugate Gradients）

深度学习经典优化算法-公式汇总相关推荐

深度学习的优化算法——梯度下降和随机梯度下降
深度学习的优化算法--梯度下降和随机梯度下降优化算法在深度学习中存在的问题优化在深度学习中有很多挑战,下面描述其中两个,局部最小值和鞍点. 1.局部最小值深度学习模型的目标函数可能存在若干极点- ...
深度学习(五)优化算法--提高神经网络的训练速度和精度
转自:https://blog.csdn.net/red_stone1/article/details/78348753 上节课我们主要介绍了如何建立一个实用的深度学习神经网络.包括Train/Dev ...
深度学习常见优化算法，图解AdaGrad、RMSProp，Adam
1. AdaGrad AdaGrad算法是梯度下降法的改进算法,其优点是可以自适应学习率.该优化算法在较为平缓处学习速率大,有比较高的学习效率,在陡峭处学习率小,在一定程度上可以避免越过极小值点.在S ...
收藏 | 从SGD到NadaMax，深度学习十种优化算法原理及实现
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者丨永远在你身后@知乎来源丨https://zhuanl ...
动手学深度学习——基础优化算法梯度下降，小批量随机梯度下降
一.梯度下降算法挑选一个初始值w0: 重复迭代参数t=1,2,3: 在接下来不断的更新w0,使它接近最优解: 具体来说,法则如下: wt等于wt的上一时刻减去η乘以损失函数关于wt的上一时刻的梯度. ...
「深度学习之优化算法」（六）人工蜂群算法
1. 人工蜂群算法简介 (以下描述,均不是学术用语,仅供大家快乐的阅读) 工蜂群算法(Artificial Bee Colony Algorithm,ABC)是一种模仿蜜蜂采蜜机理而产生的群智能优化算 ...
图像处理深度学习经典基础算法
目录前言一.算法实现效果二.相关算法的一个个人理解 1.LeNet-5体系结构构: 2.AlexNet网络结构: 3.GoogLeNet网络结构: 4.VGG网络结构(VGG16.VGG19) ...
【深度学习】优化算法-Ftrl
脑图代码实现 '''DO WHAT THE FUCK YOU WANT TO PUBLIC LICENSEVersion 2, December 2004Copyright (C) 2004 Sam ...
深度学习加速：算法、编译器、体系结构与硬件设计
2020-03-28 10:38:33 概述 NeurlPS2019 大会的「Efficient Processing of Deep Neural Network: from Algorithms ...