黑塞矩阵和雅可比矩阵理解

文章目录

1：一元泰勒展开公式
2：二元泰勒展开公式
3：二元函数的黑塞矩阵
4：多元函数的黑塞矩阵
5：多元函数的雅可比矩阵（Jacobian矩阵）
- 参考文献

个人笔记：

1：一元泰勒展开公式

举例：f(x) = 3x² + 2x + 5 在x=0或x=1处的泰勒展开

当x=0时：

当x=1时：

不论Xk等于多少，最后展开得公式相加都是等于f(x) = 3x² + 2x + 5

2：二元泰勒展开公式

x 和 y在k处的泰勒展开：

简化：

简化：
①
fxx′′f''_{xx}fxx′′是对 x 求两次导。

②
fxy′′f''_{xy}fxy′′是先对x求一次导，然后再对y求一次导。

③
fyx′′f''_{yx}fyx′′是先对y求一次导，然后再对x求一次导。
（其中③ = ②）

④
fyy′′f''_{yy}fyy′′是对 y 求两次导。

3：二元函数的黑塞矩阵

二元函数点 f(x1,x2)f(x_1,x_2)f(x1,x2) 在 X(k)(x1(k),x2(k))X^{(k)}(x_1^{(k)},x_2^{(k)})X(k)(x1(k),x2(k))处的泰勒展开式为：

其中Δx1Δ x_1Δx1 = x1x_1x1 − x1(k)x_1^{(k)}x1(k) , Δx2Δ x_2Δx2 = x2x_2x2 − x2(k)x_2^{(k)}x2(k)

即：

（1）：其中

它是f(X)f(X)f(X)在X(k)X^{(k)}X(k)点处的梯度。

（2）：G(X(k))G(X^{(k)})G(X(k))是f(x1,x2)f(x_1,x_2)f(x1,x2)在X(k)X^{(k)}X(k)处的黑塞矩阵。它是由函数f(x1,x2)f(x_1,x_2)f(x1,x2)在X(k)X^{(k)}X(k)处的二阶偏导数所组成的方阵。

4：多元函数的黑塞矩阵

1：多元函数f(x1,x2,...,xn)f(x_1,x_2,...,x_n)f(x1,x2,...,xn)在点 x(k)x^{(k)}x(k)处的泰勒展开式为：
把泰勒（Taylor）展开式写成矩阵的形式：
其中：

它是f(X)f(X)f(X)在X(k)X^{(k)}X(k)点处的梯度。
（2）：G(X(k))G(X^{(k)})G(X(k))是f(x1,x2,...,xn)f(x_1,x_2,...,x_n)f(x1,x2,...,xn)在X(k)X^{(k)}X(k)处的黑塞矩阵。它是由函数f(x1,x2,...,xn)f(x_1,x_2,...,x_n)f(x1,x2,...,xn)在X(k)X^{(k)}X(k)处的二阶偏导数所组成 n∗nn*nn∗n阶方阵。

2：

举例：

5：多元函数的雅可比矩阵（Jacobian矩阵）

1.概述
设fff: RnR^nRn → RmR^mRm是一个函数，它的输入是向量x∈Rnx ∈ R^nx∈Rn，输出是向量 y=f(x)∈Rmy = f(x)∈ R^my=f(x)∈Rm，并且m≥nm≥nm≥n是一个从欧式nnn维空间转换到欧式mmm维空间的函数，这个函数由mmm个实函数组成: f1(x1,…,xn)f_1(x_1,…,x_n)f1(x1,…,xn),…,fm(x1,…,xn)f_m(x_1,…,x_n)fm(x1,…,xn)这些函数的偏导数(如果存在)可以组成一个m∗nm∗nm∗n的矩阵, 这就是所谓的Jacobian矩阵：

那么雅可比矩阵是一个 m×nm×nm×n 矩阵，通常被定义为

2:举例
来看一个实际的数据拟合过程，输入：
自变量：x=x =x={ 1,2,4,5,81,2,4,5,81,2,4,5,8 }
因变量：y=y =y={ 3.2939,4.2699,7.1749,9.3008,20.2593.2939,4.2699,7.1749,9.3008,20.2593.2939,4.2699,7.1749,9.3008,20.259 }

目标：用函数 f=p1∗ep2∗x−yf=p_1 ∗ e^{p_2∗x}−yf=p1∗ep2∗x−y 进行拟合，这里自变量xxx，因变量yyy，参数p1p_1p1和p2p_2p2，对参数p1p_1p1和p2p_2p2进行求导：

ep∗xe^{p*x}ep∗x对ppp进行求导得：x∗ep∗xx*e^{p*x}x∗ep∗x

雅可比矩阵描述：

Jacobian矩阵 =[   exp(p2),     p1*exp(p2)]
[ exp(2*p2), 2*p1*exp(2*p2)]
[ exp(4*p2), 4*p1*exp(4*p2)]
[ exp(5*p2), 5*p1*exp(5*p2)]
[ exp(8*p2), 8*p1*exp(8*p2)]

即：

参考文献

黑森矩阵

黑塞矩阵和雅克比矩阵

雅克比矩阵1

雅克比矩阵2
雅可比矩阵直观图像理解