深度学习：鞍点与海森矩阵的问题

概述：在深度学习的过程当中，我们通常会碰到优化这个问题，但是优化结果往往不是最优解，这是因为你认为的梯度为0的点，不一定是全局最小值的点，还有可能是局部最小值的点，即鞍点。

首先来看看最优化的定义：对于目标函数f(x)，如果f(x)在x上的值比在x邻近的其他点的值更小，那么f(x)可能是一个局部最小值（local minimum）。如果f(x)在x上的值是目标函数在整个定义域上的最小值，那么f(x)是全局最小值（global minimum）。
比如在下面这张图中：

这张图中存在两个梯度为0的点，但是一个是全局最小值点，一个是局部最小值点。
如果扩展到三维图像上如下图所示：

当一个优化问题的数值解在局部最优解附近时，由于目标函数有关解的梯度接近或变成零，最终迭代求得的数值解可能只令目标函数局部最小化而非全局最小化。

鞍点

鞍点（saddle）是函数上的导数为零，但不是轴上局部极值的点。通常梯度为零的点是上图所示的鞍点，而非局部最小值。减少损失的难度也来自误差曲面中的鞍点，而不是局部最低点。
比如给定函数：

多原函数上显示如下：

上图中，目标函数在CD方向是一个局部最大值，但是在AB方向是一个局部最小值。所有当某个函数在梯度为0的位置上可能是局部最小之、局部最大值或者鞍点。
条件：
当海森矩阵在梯度为0的位置上特征值全为负时，该函数得到局部最小值。
当海森矩阵在梯度为0的位置上特征值全为正时，该函数得到局部最大值。
当海森矩阵在梯度为0的位置上特征值有正有负时，该函数得到鞍点。

海森矩阵：

海森矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。利用黑塞矩阵可判定多元函数的极值问题。
一个多元函数的二阶偏导数构成的方阵。
下面举个例子来说明：

求这个多元函数的极值：

1、首先对于某个变量（总共三个变量参数）的一阶导数为0，意味着在这个变量方向上是极小或者极大值

则三元函数的驻点是(-1, -2, 3)，表示在三个变量方向上都梯度都是为0的，但是这个点不知道是极小值或者极大值或者鞍点
2、求二阶导数

则表示成海森矩阵

A矩阵所有值为正（正定矩阵）故(-1, -2, 3)是极小值点，极小值为=-14

总结：海森矩阵可用于判断多元函数的极值点问题。

深度学习：鞍点与海森矩阵的问题相关推荐

局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) BATCH_SIZE大小设置对训练耗时的影响:1.如果当设置B ...
学习OpenCV：海森矩阵（Hessian Matrix）
https://blog.csdn.net/u013921430/article/details/79770458 https://www.cnblogs.com/jsxyhelu/p/1211498 ...
多元函数严格凹海塞矩阵正定_海森矩阵的应用：多元函数极值的判定
海森矩阵(Hessian Matrix),又译作黑塞矩阵.海瑟矩阵. 海塞矩阵等,是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率.黑塞矩阵最早于19世纪由德国数学家 Ludwig Ott ...
特征提取 - 海森矩阵（Hessian Matrix）及一个用例（图像增强）
转自:https://blog.csdn.net/u013921430/article/details/79770458 这个例子效果并没有给出的结果那么好,但是Hessian矩阵的生成可以参考前言 ...
matlab生成海森矩阵
在 Matlab 中,可以使用如下代码生成海森矩阵: n = 3; % 矩阵的大小 H = eye(n) - circshift(eye(n),1,2); 这里,n 表示生成的海森矩阵的大小,而 ey ...
雅可比矩阵和海森矩阵
雅可比矩阵假设F:Rn→Rm 是一个从欧式n维空间转换到欧式m维空间的函数.这个函数由m个实函数组成: y1(x1,...,xn), ..., ym(x1,...,xn). 这些函数的偏导数(如果存 ...
梯度、雅克比矩阵、海森矩阵、多元泰勒公式
梯度向量的表达式为: [∂f∂x1∂f∂x2...∂f∂xn]=[∂f∂x1∂f∂x2..∂f∂xn]T\left[ \begin{array} { c c } {\frac {\partial{ ...
海森矩阵和雅克比矩阵的区别
海森矩阵是梯度矩阵的雅克比矩阵雅可比矩阵可以理解为: 若在n维欧式空间中的一个向量映射成m维欧式空间中的另一个向量的对应法则为F,F由m个实函数组成,即: 那么雅可比矩阵是一个m×n矩阵: 与海森矩 ...
牛顿法、雅克比矩阵、海森矩阵
转自:https://blog.csdn.net/Yan456jie/article/details/52332043 一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化. 1, ...
海森矩阵与多元多项式的结合与极值判定【浅显易懂版：欢迎补充】
1.海森矩阵 2.二元泰勒展开式 3.利用海森矩阵判定多元函数的极值

深度学习：鞍点与海森矩阵的问题

鞍点

海森矩阵：

深度学习：鞍点与海森矩阵的问题相关推荐

最新文章

热门文章