理解mini-batch、Momentum、RMSpror、Admin优化算法

批量梯度下降（mini-batch）算法
优点
（1）可以批量计算梯度，不会像随机梯度下降那样，持续靠近最小值的方向而不收敛，也不会像梯度下降那样一次性计算所有样本的梯度，导致耗时过长；
（2）梯度下降时，Y轴上的摆动会减小，能够快速收敛

缺点：
（1）梯度下降时，会持续靠近最小值方向，也不一定在最小值的范围内收敛或波动，此时，需要调整学习率，才能收敛
（2）总样本数较小的时候，不太适用
（3）每一次Step，都是独立计算梯度的
动量梯度下降（Momentum）算法
v(t) = beta * v(t-1) + (1-beta)*dw
w = w - v(t) * a
注：a是学习率
优点：
（1）比随机梯度下降算法更高效
（2）采用指数加权移动平均算法计算梯度，从而考虑了前面Step的梯度变化
（3）计算梯度时，Y轴的摆动减少，X轴的移动速度加快，使得模型快速的收敛

缺点：
（1）收敛速度还不够快
（2）还不能保证让Y轴上摆动缓慢减少，同时X轴快速移动，从而使得收敛速度更快
（3）不适用于所有网络结构

3.均方根（RMSporp ）梯度下降算法
S(t) = beta * S(t-1) + (1-beta)*(dw)^2
w = w - a/sqrt(S(t) + e)
注：a是学习率， e是很小的一个数，目的是防止S(t)=0
优点：
（1）收敛的速度比Momentum更快
（2）能保证让Y轴上摆动缓慢减少，同时X轴快速移动，使得收敛速度加快
（3）适用于所有网络结构

缺点：
（1）收敛速度还不够快

4.Adam梯度下降算法
优点：
（1）结合动量梯度下降算法和RMSprop均方根算法，使得模型收敛速度更快了
（2）适用于所有网络结构

缺点：
（1）可解释性较弱

理解mini-batch、Momentum、RMSpror、Admin优化算法相关推荐

聚类分析（三）Mini Batch KMeans算法
在当前大数据的背景下,工程师们往往为了追求更短的计算时间,不得不在一定程度上减少算法本身的计算精度,我说的是在一定程度上,所以肯定不能只追求速度而不顾其它.在KMeans聚类中,为了降低计算时间,KM ...
鲸鱼优化算法及其实现
鲸鱼优化算法(whaleoptimization algorithm, WOA)是群智能算法类型中的一种,通过模拟鲸鱼的行为方式,从而解决优化问题.本章将深入讨论鲸鱼优化算法的实现原理以及如何将算法应 ...
各种优化算法总结（区别及联系）SGD Momentum NAG Aadagrad RMSprop AadaDelta Adam Nadam
文章是最近整理的一些深度学习优化算法总结,具体参考文献见文章末尾: 刚刚开始接触优化算法,林林总总,认识总是很浅薄,但是当你拿过来看的时候,发现从刚刚开始的SGD到现在的adam.Nadam等,原理上 ...
k中心点聚类算法伪代码_聚类算法之——K-Means、Canopy、Mini Batch K-Means
K-Means||算法 K-Means||算法是为了解决K-Means++算法缺点而产生的一种算法: 主要思路是改变每次遍历时候的取样规则,并非按照K-Means++算法每次遍历只获取一个样本,而是每 ...
【深度学习】——梯度下降优化算法（批量梯度下降、随机梯度下降、小批量梯度下降、Momentum、Adam）
目录梯度梯度下降常用的梯度下降算法(BGD,SGD,MBGD) 梯度下降的详细算法算法过程批量梯度下降法(Batch Gradient Descent) 随机梯度下降法(Stochastic ...
scikit-learn学习之K-means聚类算法与 Mini Batch K-Means算法
====================================================================== 本系列博客主要参考 Scikit-Learn 官方网站上的 ...
机器学习算法之聚类算法拓展：Mini Batch K-Means算法
言归正传,先介绍一下 Mini Batch K-Means算法 Mini Batch K-Means算法是K-Means算法的一种优化变种,采用小规模的数据子集(每次训练使用的数据集是在训练算法的时 ...
深度学习中的优化算法之带Momentum的SGD
之前在https://blog.csdn.net/fengbingchun/article/details/123955067介绍过SGD(Mini-Batch Gradient Descent(MB ...
机器学习：优化算法Optimizer比较和总结(SGD/BGD/MBGD/Momentum/Adadelta/Adam/RMSprop）
文章目录梯度下降法(Gradient Descent) 批量梯度下降法BGD 随机梯度下降法SGD 小批量梯度下降法动量优化法 Momentum NAG(Nesterov accelerated ...

理解mini-batch、Momentum、RMSpror、Admin优化算法

理解mini-batch、Momentum、RMSpror、Admin优化算法相关推荐

最新文章

热门文章