正定矩阵、正定矩阵与极值的关系、黑塞矩阵、牛顿法

2024-04-02 12:32:15

目录

正定矩阵

正定矩阵与极值的关系

黑塞矩阵（Hessian Matrix）

牛顿法

正定矩阵

（1）广义定义：设A是n阶方阵，如果对任何非零向量X，都有 $X^{T}AX> 0$ ，其中 $X^{T}$ 表示X的转置，就称A为正定矩阵。

正定矩阵有以下性质：

（1）正定矩阵的行列式恒为正；

（2）实对称矩阵A正定当且仅当A与单位矩阵合同；

（3）若A是正定矩阵，则A的逆矩阵也是正定矩阵；

（4）两个正定矩阵的和是正定矩阵；

（5）正实数与正定矩阵的乘积是正定矩阵。

充要条件：

正定矩阵与极值的关系

判断结论同上。

黑塞矩阵（Hessian Matrix）

黑塞矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵产生于多元函数极值问题的判定方法。

定义：

设n元函数f(x1，x2，…… xn)有连续一阶和二阶偏导数，且在点M(xi)(i=1,2,……n；xi为已知）处梯度等于0，即 grad f(M)=0，M为驻点，由f(x1，x2，…… xn)在此点的偏导数所组成的n阶矩阵(方阵)称为黑塞矩阵(Hessian Matrix)，记为H(M)。

，其中 $D_{i}$ i表示微分算子。

性质：

牛顿法

牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(y)=0的根

牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化。

(原文很清晰直接拿过来了：https://blog.csdn.net/batuwuhanpei/article/details/51979831)

1、求函数的根

2、最优化问题

对于最优化问题，其极值点处有一个特性就是在极值点处函数的一阶导数为0。因此我们可以在一阶导数处利用牛顿法通过迭代的方式来求得最优解，即相当于求一阶导数对应函数的根。

这样我们就得到了一个不断更新 $x$ 迭代求得最优解的方法。这个也很好理解，假设我们上面的第一张图的曲线表示的是函数 $f(x)$ 一阶导数的曲线，那么其二阶导数就是一阶导数对应函数在某点的斜率，也就是那条切线的斜率，那么该公式就和上面求根的公式本质是一样的。我们这里讨论的都是在低维度的情形下，那么对于高维函数，其二阶导数就变为了一个黑塞矩阵，记为 $H(x)=[\frac{\delta ^{2}f}{\delta x_{i}\delta x_{j}}]$ ，那么迭代公式就变为了

这里的推导过程很直观，看看多理解：

https://blog.csdn.net/wenzishou/article/details/73350591

https://blog.csdn.net/zhangbo_0323/article/details/77779198

正定矩阵、正定矩阵与极值的关系、黑塞矩阵、牛顿法相关推荐

数学之美：导数和极值的关系
预备知识导数图1:导数为零的三种点如图 1 , 若一个一元函数在某区间内处处可导(即对区间内的任何导数都存在),若区间内存在某些能使 ( 即在这些点处函数曲线的斜率为零), 这 ...
半正定矩阵的判定方法_线性代数30——正定矩阵和最小值
我们经常在判定一个函数是否有最小值时使用正定矩阵,正定矩阵和最小值有什么关系呢? 1 判断正定矩阵给出一个矩阵: 有4个途径可以判定该矩阵是否是正定矩阵(注意这个矩阵的4个元素中有2个b,这是因为正 ...
线性代数学习笔记8-2：对称矩阵和Hermitian矩阵、共轭转置、正定矩阵
对称矩阵特征值为实数并且拥有一套正交特征向量,正定矩阵的性质则更好. 对称矩阵 Symmetric matrices 对称矩阵: 实矩阵 A \mathbf A A满足 A = A T \mathbf ...
python多元函数求解_一元和多元函数求极值(Python)-牛顿法
1. 引言我们在中学的时候学过一元二次函数,求解时引入一个求根公式,代入公式就可以得到不同的根,假如想计算一个高次方程的解,我们还能推导出求根公式吗? 伽罗瓦在群论中证实,五次及以上多项式方程没有显 ...
对称矩阵、Hermite矩阵、正交矩阵、酉矩阵、奇异矩阵、正规矩阵、幂等矩阵、合同矩阵、正定矩阵...
http://blog.csdn.net/jbb0523/article/details/50596604 看文献的时候,经常见到各种各样矩阵,本篇总结了常见的对称矩阵.Hermite矩阵.正交矩阵. ...
统计学习方法--牛顿法和拟牛顿法
与公众号同步更新,详细内容及相关ipynb文件在公众号中,公众号:AI入门小白文章目录牛顿法拟牛顿法的思路 DFP (Davidon-Fletcher- Powell) 算法(DFP algor ...
收藏的博客 -- 深度学习AI框架与数学基础
需要的数学基础: 数学课本有了基础的<概率/统计>.<线性代数>.<微积分>知识,就可以上手深度学习的算法和实践了.但经过一段时间的工程实践,慢慢觉得大多数时间都 ...
梯度下降法、最速下降法
梯度下降法最优化问题是求解函数极值的问题,包括极大值和极小值.相信所有的读者对这个问题都不陌生,在初中时我们就学会了求解二次函数的极值(抛物线的顶点),高中时学习了幂函数,指数函数,对数函数,三角函 ...
机器学习中的数学——牛顿迭代法（Newton‘s Method）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习数学基础总结
目录线性代数一.基本知识二.向量操作三.矩阵运算概率论与随机过程一.概率与分布 1.1 条件概率与独立事件 1.2 联合概率分布二.期望三.方差 3.1 方差 3.2 协方差与相关系数 ...

最新文章

热门文章