Jacobin和Hessian矩阵

参考 Jacobin和Hessian矩阵 - 云+社区 - 腾讯云

有时我们需要计算输入和输出都为向量和函数的所有偏导数。包含所有这样的偏导数的矩阵被称为Jacobian矩阵。具体来说，如果我们有一个函数 $f:R^m\rightarrow R^n$ , $f$ 的Jacobian矩阵 $J\in R^{n\times m}$ 定义为 $J_{i,j}=\frac{\partial }{\partial x_j} f(x)_i$ 。有时，我们也对导数的导数感兴趣，即二阶导数(second derivative)。例如，有一个函数 $f:R^m\rightarrow R$ ， $f$ 的一阶导数(关于 $x_j$ )关于 $x_i$ 的导数记为 $\frac{\partial^2 }{\partial x^2}f$ 为 $f'''(x)$ 。二阶导数告诉我们，一阶导数(关于 $x_j$ )关于 $x_i$ 的导数记为 $\frac{\partial^2 }{\partial x_i x_j}f$ 。在一维情况下，我们可以将 $\frac{\partial^2 }{\partial x^2}f$ 为 $f''(x)$ 。二阶导数告诉我们，一阶导数如何随着输入的变化而改变。它表示只基于梯度信息的梯度下降步骤是否会产生如我们预期那样大的改善，因此它是重要的，我们可以认为，二阶导数是对曲率的衡量。假设我们有一个二次函数(虽然实践中许多函数都是二次的，但至少在局部可以很好地用二次近似)，如果这样的函数具有零二阶导数，那就没有曲率，也就是一条完全平坦的线，仅用梯度就可以预测它的值。我们使用沿负梯度方向下降代销为 $\varepsilon$ 的下降步，当该梯度是1时，代价函数将下降 $\varepsilon$ 。如果二阶导数是正的，函数曲线是向上凹陷的(向下凸出的)，因此代价函数将下降得比 $\varepsilon$ 少。

当我们的函数具有多维输入时，二阶导数也有很多。我们可以将这些导数合并成一个矩阵，称为Hesian矩阵。Hessian矩阵 $H(f)(x)$ 定义为

$H(f)(x)_{i,j}=\frac{\partial^2 }{\partial x_i x_j}f(x)$

Hessian等价于梯度的Jacobian矩阵。

微分算子在任何二阶偏导连续的点处可交换，也就是它们的顺序可以互换：

$\frac{\partial^2 }{\partial x_i x_j}f(x)=\frac{\partial^2 }{\partial x_j x_i}f(x)$ $f''(x)>0$

这意味着 $H_{i,j}=H_{j,i}$ ，因此Hessian矩阵在这些点上是对称的。在深度学习背景下，我们遇到的大多数函数的Hessian矩阵几乎都是对称的。因为Hessian矩阵是实对称的，我们可以将其分解成一组实特征值和一组特征向量的正交阵。在特定方向d上的二阶导数可以写成 $d^T H d$ 。当d是H的一个特征向量时，这个方向的二阶导数就是对应的特征值。对于其他的方向d，方向二阶导数是所有特征值的加权平均，且与d夹角越小的特征向量的权重越大。最大特征值确定最大二阶导数，最小特征值确定最小二阶导数。我们可以通过(方向)二阶导数预期一个梯度下降步骤能表现得多好 $\epsilon$ 。我们在当前点 $x^{(0)}$ 处函数f(x)的近似二阶泰勒级数：

$f(x)\approx f(x^{(0)})+(x-x^{(0)})^T g + \frac{1}{2}(x-x^{(0)})^T H (x-x^{(0)})$

其中g是梯度，H是 $x^{(0)}$ 点的Hessian。如果我们使用学习率 $\varepsilon$ ，那么新的点x将会是 $x^{(0)}-\varepsilon g$ 。代入上述的近似，可得

$f(x^{(0)}-\varepsilon g)\approx f(x^{(0)})-\epsilon g^T g + \frac{1}{2}\epsilon ^2 g^T H g$

其中有3项：函数的原始值、函数息率导致的预期改善和函数曲率导致的校正。当最后一项太大时，梯度下降实际上是可能向上移动的。当 $g^T H g$ 为零或负时，近似的泰勒级数表明增加 $\epsilon$ 将永远使f下降。在实践中，泰勒级数不会在 $\epsilon$ 大的时候也保持准确，因此在这种情况下我们必须采取更具启发式的选择。当 $g^T H g$ 为正时，通过计算可得，使近似泰勒级数下降最多的最优步长为

$\epsilon ^ * = \frac{g^T g}{g^T H g}$

最坏的情况下，g与H最大特征值 $\lambda_{max}$ 对应的特征向量对齐，则最优步长是 $\frac{1}{\lambda_{max}}$ 。当我们要最小化的函数能用二次函数很好地近似的情况下，Hessian的特征值决定了学习率的量级。

二阶导数还可以用于确定一个临界点是否是局部极大值点、局部极小值点或鞍点。回想一下，在临界点处 $f'(x)=0$ 。而 $f''(x)=0$ 意味着 $f'(x)$ 会随着我们移向右边而增加，移向左边而减少，也就是 $f'(x-\epsilon )>0$ 对足够小的 $\epsilon$ 成立。换句话说，当我们移向右边，斜率开始指向右边的上坡；当我们移向左边，斜率开始指向左边的上坡。因此我们得出结论，当 $f'(x)=0$ 且 $f"(x)>0$ 时，x是一个局部极小点。同理，当 $f'(x)=0$ 且 $f''(x)<0$ 时，x是一个局部极大点。这就是所谓的二阶导数测试。不幸的是，当 $f''(x)=0$ 时，测试是不确定的。在这种情况下，x可以是一个鞍点或平坦区域的一部分。

在多维情况下，我们需要检测函数的所有二阶导数。利用Hessian的特征值分解，我们可以将二阶导数测试扩展到多维情况。在临界点处 $(\bigtriangledown _x f(x)=0)$ ，我们通过检测Hessian的特征值来判断该临界点是一个局部极大值、局部极小值还是鞍点。当Hessian是正定的(所有特征值都为正的)，则该临界点是局部极小值。因为方向二阶导数在任意方向都是正的，参考单位变量的二阶导数测试就能得出此结论。同样的，当Hessian是负定的(所有特征值都是负的)，这个点就是局部极大点。在多维情况下，实际上我们可以找到确定该点是否为鞍点的积极迹象(某些情况下)。如果Hessian的特征值中至少一个是正的且至少一个是负的，那么x是f某个横截面的局部极大点。最后多维二阶导数测试可能像单变量版本那样是不正确的。当所有非零特征值是同号的且至少有一个特征值是0时，这个检测就是不确定的。当所有非零特征值是同号的且至少有一个特征值是0时，这个检测就是不正确的。这是因为单变量的二阶导数测试在零特征值对应的横截面上是不确定的。

多维情况下，单个点处每个方向上的二阶导数是不同的。Hessian的条件数衡量这些二阶导数的变化范围。当Hessian的条件数很差时，梯度下降法也会表现得很差。这是因为一个方向上的导数增加得很快，而在另一个方向上增加得很慢。梯度下降不知道导数的这种变化必须足够小，以免冲过最小而向具有较强曲率的方向上升。这通常意味着步长太少，以至于在其他较小的曲率的方向上进展不明显。

我们可以使用Hessian矩阵的信息来指导搜索，以解决这个问题。其中最简单的方法是牛顿法(Nowton's method)。牛顿法基于一个二阶泰勒展开来近似 $x^{(0)}$ 附近的f(x)：

$f(x)\approx f(x^{(0)})+(x-x^{(0)})\bigtriangledown _x (x-x^{(0)})+\frac{1}{2}f(x^{(0)})+(x-x^{(0)})H(f) (x-x^{(0)})$

接着通过计算，我们可以得到这个函数的临界点：

$x^* = x^{(0)} -H(f)(x^{(0)}^{-1}\bigtriangledown _x f(x^{(0)}))$

如果f是一个正定二次函数，牛顿法只要应用一次就能直接跳到函数的最小点。如果f不是一个真正二次但能在局部近似为正定二次，牛顿法则需要更多次迭代。迭代地更新近似函数和跳到近似函数的最小点可以比梯度下降更快地到达临界点。这在接近局部极小点是一个特别有用的性质，但是在鞍点附近是有害的。当临界点是最小点(Hessian的所有特征值都是正的)时牛顿法才适用，而梯度下降不会被吸引到鞍点(除非梯度指向鞍点)。仅使用梯度信息的优化称为一阶优化算法，如梯度下降。使用Hessian矩阵的优化算法称为二阶优化算法，如牛顿法。

Jacobin和Hessian矩阵相关推荐

Hessian矩阵在XGBoost算法的应用小结
来源:机器学习算法那些事本文约1100字,建议阅读5分钟本文深入浅出的总结了Hessian矩阵在XGboost算法中的两种应用,即权重分位点算法和样本权重和算法 . 前言 Hessian矩阵最常见的 ...
神经网络---Hessian矩阵
2019独角兽企业重金招聘Python工程师标准>>> 对角近似外积近似 Hessian矩阵的逆矩阵有限差 Hessian矩阵的精确计算 Hessian矩阵的快速乘法转载于:h ...
Jacobian矩阵和Hessian矩阵的理解
深度学习中梯度向量的计算,Jacobian矩阵和Hessian矩阵是基础的知识点. 求微分其实就是线性化,导数其实就是线性空间之间的线性变换,Jaocibian矩阵本质上就是导数. 比如,映射在处的导 ...
如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题
如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题? 1.首先介绍一下,矩阵的病态问题矩阵病态主要是因为矩阵向量之间相关性太大,在二维上说就是矩阵向量之间的夹角太小,导致这两 ...
三维重建4：Jacobian矩阵和Hessian矩阵
在使用BA平差之前,对每一个观测方程,得到一个代价函数.对多个路标,会产生一个多个代价函数的和的形式,对这个和进行最小二乘法进行求解,使用优化方法.相当于同时对相机位姿和路标进行调整,这就是所谓的BA ...
牛顿法中为何出现hessian矩阵
牛顿法包含两种用途: 1.函数为0时的解 2.函数极值时的解对于1有: f′(x0)=f(x0)−0x−x0f'(x_0)=\frac{f(x_0)-0}{x-x_0}f′(x0)=x−x0f( ...
如何计算一个神经网络在使用momentum时的hessian矩阵（论文调研）
根据[4]中的说法,"Though results on the Hessian of individual layers were not included in this study&q ...
matlab计算hessian矩阵
根据评论区中的内容,我们回顾数学定义: hessian矩阵 = 梯度矩阵的雅可比矩阵代码如下: syms x y z; f1=(x^2-2*x)*exp(-x^2-y^2-x*y); % f = x ...
牛顿法， Jacobian矩阵和 Hessian矩阵
牛顿法主要有两方面的应用: 求方程的根: 求解最优化方法: 为什么要用牛顿法求方程的根? 问题很多,牛顿法是什么?目前还没有讲清楚,没关系,先直观理解为牛顿法是一种迭代求解方法(Newton童鞋 ...

Jacobin和Hessian矩阵

Jacobin和Hessian矩阵相关推荐

最新文章

热门文章