如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题

如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题？

1、首先介绍一下，矩阵的病态问题

矩阵病态主要是因为矩阵向量之间相关性太大，在二维上说就是矩阵向量之间的夹角太小，导致这两个相似的矩阵向量稍有改变，计算结果就会有很大的不同。

看一个例子更容易理解：

2、接着介绍下hessian矩阵，

hesiian矩阵很好理解，它就是是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

在神经网络的优化中，hesiian矩阵病态就表现在局部最小点和鞍点，因为在局部最小点和鞍点处四周的梯度变化率（梯度和二阶导都是相似的）都是相似的，但是往不同的梯度方向前进又会导致优化结果有较大的差异。

3、这样就容易理解了，Momentum有一定的摆脱局部最小点和鞍点的能力，所以也就可以说成能一定程度上缓解hessian矩阵病态的问题，其实这是同一个问题的不同表述。

如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题相关推荐

神经网络优化中的Weight Averaging
©PaperWeekly 原创 · 作者|张子逊研究方向|神经网络剪枝.NAS 在神经网络优化的研究中,有研究改进优化器本身的(例如学习率衰减策略.一系列 Adam 改进等等),也有不少是改进 no ...
中计算散度的函数_深度神经网络优化中的不可导函数如何计算梯度？
众所周知,神经网络仅能处理连续的浮点数,标准的输出也是连续型的数字.但实际问题中,我们很多时候都需要一个离散的结果,比如分类问题中我们希望输出正确的类别,"类别"是离散的,&quo ...
曹健老师 TensorFlow2.1 —— 第二章神经网络优化
第一章本章目的:学会神经网络优化过程,使用正则化减少过拟合,使用优化器更新网络参数. 2.1 预备知识 tf.where(条件语句, 真返回A, 假返回B) a = tf.constant([1,2 ...
Halide视觉神经网络优化
Halide视觉神经网络优化概述 Halide是用C++作为宿主语言的一个图像处理相关的DSL(Domain Specified Language)语言,全称领域专用语言.主要的作用为在软硬层面上( ...
各种神经网络优化算法：从梯度下降到Adam方法
在调整模型更新权重和偏差参数的方式时,你是否考虑过哪种优化算法能使模型产生更好且更快的效果?应该用梯度下降,随机梯度下降,还是Adam方法? 这篇文章介绍了不同优化算法之间的主要区别,以及如何选择最佳 ...
【深度学习】从梯度下降到 Adam！一文看懂各种神经网络优化算法
王小新编译自 Medium 量子位出品 | 公众号 QbitAI,编辑:AI有道在调整模型更新权重和偏差参数的方式时,你是否考虑过哪种优化算法能使模型产生更好且更快的效果?应该用梯度下降,随机梯 ...
深度学习教程(6) | 神经网络优化算法（吴恩达·完整版）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/35 本文地址:https://www.showmeai.tech/article-d ...
一文概览神经网络优化算法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达一.机器学习的优化机器学习的优化(目标),简单来说是:搜索模型的 ...
神经网络优化算法总结
Datawhale干货编译:王小新,来源:量子位在调整模型更新权重和偏差参数的方式时,你是否考虑过哪种优化算法能使模型产生更好且更快的效果?应该用梯度下降,随机梯度下降,还是Adam方法? 这篇文 ...