1 为什么要引入Momentum

上图代表了一个函数的等高线

使用梯度下降的话，红色的方向是我们要走的方向。蓝色和绿色分别是两个坐标轴上对应的变化方向。

这会存在一个问题，就是学习率不能太大，不然就会出现“overshoot”的问题

于是我们的梯度下降路线是一个像九曲桥一样的路径

不难发现，这样会导致收敛的速度很慢

其中，我们要优化的这个函数f，对应的hessian矩阵的最大和最小特征值的比值（我们称为condition number）越大（也就是等高线“越扁”），梯度下降收敛得越慢

2 Momentum

由于这里的截图同时采用了李宏毅教授和NTU课程的ppt，所以λ和α表示的是一个东西

给梯度下降一个动量

移动方向为之前的移动方向和当下梯度反方向的矢量和

每一步梯度对于当前梯度下降的方向都有贡献，只是它的贡献值指数级减少——EMA（exponential moving average）

通过momentum，大的方向会抵消掉一部分，小的方向会累加——加快收敛的速度

抵消的部分——>指向的方向不同

加强的方向——>指向的方向相同

3 数据白化

除了momentum之外，数据白化操作（将数据变成N(0,1)的分布）也可以减少condition number。这也可以加快收敛。

机器学习笔记：Momentum相关推荐

李弘毅机器学习笔记：第十二章—Recipe of Deep Learning
李弘毅机器学习笔记:第十二章-Recipe of Deep Learning 神经网络的表现如何改进神经网络? 新的激活函数梯度消失怎么样去解决梯度消失? Adaptive Learning R ...
迷人的神经网络——机器学习笔记1
目录迷人的神经网络--机器学习笔记1 第1章神经元模型及网络结构 1.1 神经元模型 1.1.1 单输入神经元 1.1.2 激活函数 1.1.3 多输入神经元 1.2 网络结构 1.2.1 单层神 ...
李宏毅机器学习笔记-2022spring
机器学习笔记文章目录机器学习笔记 Lecture 1 Colab的使用机器学习的基本概念一个简单的例子 1.方程的设立 2.定义损失函数 3.优化参数(Loss最小) 对上例的改进 Hard ...
机器学习笔记：神经网络层的各种normalization
1 Normalization的引入 1.1 独立同分布机器学习,尤其是深度学习的模型,如果它的数据集时独立同分布的(i.i.d. independent and identically dist ...
一份520页的机器学习笔记！附下载链接
点击上方"视学算法",选择"星标"公众号第一时间获取价值内容近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 52 ...
700 页的机器学习笔记火了！完整版开放下载
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散作者梁劲(Jim Liang),来自SAP(全球第一大商业软件公司). 书籍特点条理清晰 ...
机器学习笔记十四：随机森林
在上一篇机器学习笔记十三:Ensemble思想(上)中,简要的提了一下集成学习的原理和两种主要的集成学习形式. 而在这部分要讲的随机森林,就算是其中属于bagging思路的一种学习方法.为了篇幅,b ...
机器学习笔记七：损失函数与风险函数
一.损失函数回顾之前讲过的线性回归模型,我们为了要学习参数使得得到的直线更好的拟合数据,我们使用了一个函数这个函数就是比较模型得到的结果和"真实值"之间的"差距&qu ...
吴恩达机器学习笔记55-异常检测算法的特征选择（Choosing What Features to Use of Anomaly Detection）
吴恩达机器学习笔记55-异常检测算法的特征选择(Choosing What Features to Use of Anomaly Detection) 对于异常检测算法,使用特征是至关重要的,下面谈谈 ...
Python机器学习笔记：sklearn库的学习
自2007年发布以来,scikit-learn已经成为Python重要的机器学习库了,scikit-learn简称sklearn,支持包括分类,回归,降维和聚类四大机器学习算法.还包括了特征提取,数据 ...

机器学习笔记：Momentum

1 为什么要引入Momentum

2 Momentum

3 数据白化

机器学习笔记：Momentum相关推荐

最新文章

热门文章