牛顿法、雅克比矩阵、海森矩阵

转自：https://blog.csdn.net/Yan456jie/article/details/52332043

一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化。

1，求方程的根

其原理便是使用泰勒展开，然后去线性部分，即：

(1) (得到的是x在x0附近的一阶线性方程，即下图中那条切线)

然后令上式等于0，则有： (令其为0即切线与x轴交点)

(2)

经过不断迭代：

(3)

当精度达到要求的时候停止迭代。

迭代示意图如上所示。

2，最优化

最优化一般是求极大或极小问题，这可以转变为求导数零点，然后转变为1的情形。

即f' = 0;

把f(x)用泰勒公式展开到二阶，即：

(4)

等号左边和f(x)近似相等，抵消。然后对求导，得到：

(5)

更进一步：

(6)

然后得到迭代式子：

(7)

以上只针对单变量进行讨论，如果对多变量就要引入雅克比矩阵和海森矩阵

简单介绍一下二者，雅克比矩阵为函数对各自变量的一阶导数，海森矩阵为函数对自变量的二次微分。形式分别如下：

把两个矩阵代入(7)中

参考文献：

Newton's method -- wikipedia

Jacobian矩阵和Hessian矩阵

牛顿法、雅克比矩阵、海森矩阵相关推荐

Hessian矩阵\海塞矩阵\海森矩阵
梯度、雅克比矩阵、海森矩阵、多元泰勒公式
梯度向量的表达式为: [∂f∂x1∂f∂x2...∂f∂xn]=[∂f∂x1∂f∂x2..∂f∂xn]T\left[ \begin{array} { c c } {\frac {\partial{ ...
海森矩阵和雅克比矩阵的区别
海森矩阵是梯度矩阵的雅克比矩阵雅可比矩阵可以理解为: 若在n维欧式空间中的一个向量映射成m维欧式空间中的另一个向量的对应法则为F,F由m个实函数组成,即: 那么雅可比矩阵是一个m×n矩阵: 与海森矩 ...
雅克比矩阵和海森矩阵 Jacobian and Hessian Matrix
转:http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/ 1. Jacobian 在向量分析中 ...
多元函数严格凹海塞矩阵正定_海森矩阵的应用：多元函数极值的判定
海森矩阵(Hessian Matrix),又译作黑塞矩阵.海瑟矩阵. 海塞矩阵等,是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率.黑塞矩阵最早于19世纪由德国数学家 Ludwig Ott ...
特征提取 - 海森矩阵（Hessian Matrix）及一个用例（图像增强）
转自:https://blog.csdn.net/u013921430/article/details/79770458 这个例子效果并没有给出的结果那么好,但是Hessian矩阵的生成可以参考前言 ...
matlab生成海森矩阵
在 Matlab 中,可以使用如下代码生成海森矩阵: n = 3; % 矩阵的大小 H = eye(n) - circshift(eye(n),1,2); 这里,n 表示生成的海森矩阵的大小,而 ey ...
雅可比矩阵和海森矩阵
雅可比矩阵假设F:Rn→Rm 是一个从欧式n维空间转换到欧式m维空间的函数.这个函数由m个实函数组成: y1(x1,...,xn), ..., ym(x1,...,xn). 这些函数的偏导数(如果存 ...
海森矩阵与多元多项式的结合与极值判定【浅显易懂版：欢迎补充】
1.海森矩阵 2.二元泰勒展开式 3.利用海森矩阵判定多元函数的极值

牛顿法、雅克比矩阵、海森矩阵

牛顿法、雅克比矩阵、海森矩阵相关推荐

最新文章

热门文章