深度学习学习笔记 --- 动量momentum

一、动量momentum的由来

训练网络时，通常先对网络的初始值按照某种分布进行初始化，如：高斯分布。初始化权值操作对最终的网络性能影响比较大，合适的网络初始权值操作能够使损失函数在训练过程中收敛速度快，从而获得更好的优化结果。但是按照分布随机初始化网络权值时，存在一些不确定的因素，并不能保证每一次初始化操作都能使得网络的初始值处在一个合理的状态。不恰当的初始权值可能使网络的损失函数在训练过程中先去局部最小值，达不到全局最优的状态。因此，如何消除这种不确定性，是训练神经网络必须解决的一个问题。

二、什么是动量momentum

动量momentum动量能够在一定的程度上解决这个问题。动量momentum是依据物理学的势能与动能之间能量转换原理提出来的。当动量momentum越大时，其转换为势能的能量也就越大，就越有可能摆脱局部凹域的束缚，进去全局凹域。动量momentum主要用在权值更新的时候。

三、工作原理

一般我们使用神经网络更新权值时，采用如下公式：

w = w - learning_rate * dw

引入动量momentum后，采用如下公式：

v = mu * v - learning_rate * dw

W = w + v

其中，v初始化为0，mu是设定的一个超变量，最常见的设定值是 0.9。

可以这样理解上式：如果上次的动量momentum（v）与这次的负梯度方向是相同的，那这次下降的幅度会增加，从而增加

深度学习学习笔记 --- 动量momentum相关推荐

深度学习中的动量momentum
训练网络时,通常先对网络的初始权值按照某种分布进行初始化,如:高斯分布.初始化权值操作对最终网络的性能影响比较大,合适的网络初始权值能够使得损失函数在训练过程中的收敛速度更快,从而获得更好的优化结果. ...
torch的拼接函数_从零开始深度学习Pytorch笔记（13）—— torch.optim
前文传送门: 从零开始深度学习Pytorch笔记(1)--安装Pytorch 从零开始深度学习Pytorch笔记(2)--张量的创建(上) 从零开始深度学习Pytorch笔记(3)--张量的创建(下) ...
深度学习入门首推资料--吴恩达深度学习全程笔记分享
本文首发于微信公众号"StrongerTang",可打开微信搜一搜,或扫描文末二维码,关注查看更多文章. 原文链接:(https://mp.weixin.qq.com/s?__bi ...
深度学习入门笔记（七）：深层神经网络
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
吴恩达深度学习——读书笔记
神经网络和深度学习深度学习概述深度学习(Deep Learning)是更复杂的神经网络(Neural Network). 这是一个基本的神经网络模型结构.在训练的过程中,只要有足够的输入x和输出y ...
deeplearing.ai 深度学习课程笔记
deeplearing.ai 深度学习课程笔记一.神经网络与机器学习直观理解神经网络.随着神经网络层的加深,所提取的特征(函数)不断组合,最终得到更宏观.更复杂的所需要的特征.简单的例子比如房屋价 ...
Deeplearning.ai深度学习课程笔记-在线版
注意:请点击阅读原文课程概述课程视频离线版本可以到github:https://github.com/fengdu78/deeplearning_ai_books 查找下载. 课程地址:https ...
pytorch深度学习入门笔记
Pytorch 深度学习入门笔记作者:梅如你学习来源: 公众号: 阿力阿哩哩.土堆碎念 B站视频:https://www.bilibili.com/video/BV1hE411t7RN? 中国大学 ...
深度学习学习笔记总结
最近也不知道干啥了,索性把这个坑填完,也算是对自己研一的一些总结吧. 文章目录前言一.神经网络与深度学习二.神经网络的过拟合与正则化三.深度学习的优化算法四.卷积神经网络五.循环神经网络 ...

深度学习学习笔记 --- 动量momentum

深度学习学习笔记 --- 动量momentum相关推荐

最新文章

热门文章