黑塞矩阵-二阶偏导矩阵

黑塞矩阵

泰勒展开公式

设n是一个正整数。如果定义一个包含aaa的区间上的函数fff在aaa点处n+1n+1n+1次可导，那么对于这个区间上的任意xxx，都有：
f(x)=f(a)+f′(a)1!(x−a)+f(2)(a)2!(x−a)2+⋯+f(n)(a)n!(x−a)n+Rn(x)f(x)=f(a)+\cfrac{f'(a)}{1!}(x-a)+\cfrac{f^{(2)}(a)}{2!}(x-a)^2+\cdots+\cfrac{f^{(n)}(a)}{n!}(x-a)^n+R_n(x) f(x)=f(a)+1!f′(a)(x−a)+2!f(2)(a)(x−a)2+⋯+n!f(n)(a)(x−a)n+Rn(x)
其中的多项式称为函数在aaa处的泰勒展开式，剩余的Rn(x)R_{n}(x)Rn(x)是泰勒公式的余项，是(x−a)n(x-a)^n(x−a)n的高阶无穷小。

泰勒二阶展开

同理，二元函数f(x1,x2)f(x_1,x_2)f(x1,x2)在x0(x10,x20)x_0(x_{10},x_{20})x0(x10,x20)处的泰勒展开式为
f(x1,x2)=f(x10,x20)+fx1(x10,x20)Δx1+fx2(x10,x20)Δx2+12[fx1x1(x10,x20)Δx12+2fx1x2(x10,x20)Δx1Δx2+fx2x2(x10,x20)Δx22]f(x_1,x_2)=f(x_{10},x_{20})+f_{x_1}(x_{10},x_{20})\Delta{x_1}+f_{x_2}(x_{10},x_{20})\Delta x_2+\cfrac{1}{2}[f_{x_1x_1}(x_{10},x_{20})\Delta x_1^2+2f_{x_1x_2}(x_{10},x_{20})\Delta x_1\Delta x_2+f_{x_2x_2}(x_{10},x_{20})\Delta x_2^2] f(x1,x2)=f(x10,x20)+fx1(x10,x20)Δx1+fx2(x10,x20)Δx2+21[fx1x1(x10,x20)Δx12+2fx1x2(x10,x20)Δx1Δx2+fx2x2(x10,x20)Δx22]
其中Δx1=x1−x10,Δx2=x2−x20,fx1=∂f∂x1,fx2=∂f∂x2,fx1x1=∂2f∂x12,fx2x2=∂2f∂x22,fx1x2=∂2f∂x1∂x2\Delta x_1=x_1-x_{10}, \Delta x_2=x_2-x_{20}, f_{x_1}=\cfrac{\partial f}{\partial x_1}, f_{x_2}=\cfrac{\partial f}{\partial x_2}, f_{x_1x_1}=\cfrac{\partial^2f}{\partial x_1^2}, f_{x_2x_2}=\cfrac{\partial^2f}{\partial x_2^2}, f_{x_1x_2}=\cfrac{\partial^2f}{\partial x_1\partial x_2}Δx1=x1−x10,Δx2=x2−x20,fx1=∂x1∂f,fx2=∂x2∂f,fx1x1=∂x12∂2f,fx2x2=∂x22∂2f,fx1x2=∂x1∂x2∂2f

矩阵形式：
f(X)=f(X0)+(fx1,fx2)X0(Δx1Δx2)+12(Δx1,Δx2)(fx1x1,fx1x2fx2x1,fx2x2)X0(Δx1Δx2)+⋯=f(X0)+∇f(X0)TΔX+12ΔXTG(X0)ΔX+⋯\begin{aligned} f(X)&=f(X_0)+\left(f_{x_1},f_{x_2}\right)_{X_0}\binom{\Delta x_1}{\Delta x_2}+\cfrac{1}{2}\left(\Delta x_1,\Delta x_2\right)\binom{f_{x_1 x_1},f_{x_1 x_2}}{f_{x_2 x_1},f_{x_2 x_2}}_{X_0}\binom{\Delta x_1}{\Delta x_2} + \cdots\\ &=f(X_0)+\nabla f(X_0)^T\Delta X+\cfrac{1}{2}\Delta X^TG(X_0)\Delta X+\cdots \end{aligned} f(X)=f(X0)+(fx1,fx2)X0(Δx2Δx1)+21(Δx1,Δx2)(fx2x1,fx2x2fx1x1,fx1x2)X0(Δx2Δx1)+⋯=f(X0)+∇f(X0)TΔX+21ΔXTG(X0)ΔX+⋯
G(X0)G(X_0)G(X0)是f(x1,x2)f(x_1,x_2)f(x1,x2)在X0X_0X0点处的黑塞矩阵。它是函数f(x1,x2)f(x_1,x_2)f(x1,x2)在X0X_0X0点处的二阶偏导所组成的方阵。

多元函数的黑塞矩阵

将二元函数的泰勒展开式推广到多元函数，则f(x1,x2,⋯,xn)f(x_1,x_2,\cdots,x_n)f(x1,x2,⋯,xn)在X0X_0X0处的泰勒展开式的矩阵形式为：
f(X)=f(X0)+∇f(X0)TΔX+12ΔXTG(X0)ΔX+⋯f(X)=f(X_0)+\nabla f(X_0)^T\Delta X+\cfrac{1}{2}\Delta X^TG(X_0)\Delta X+\cdots f(X)=f(X0)+∇f(X0)TΔX+21ΔXTG(X0)ΔX+⋯
其中：
∇f(X0)=[fx1,fx2,…,fxn]X0T\nabla f(X_0)=\left[f_{x_1},f_{x_2},\dots,f_{x_n}\right]^T_{X_0}∇f(X0)=[fx1,fx2,…,fxn]X0T，是fff在X0X_0X0的梯度

G(X0)=[fx1x1,fx1x2,…,fx1xnfx2x1,fx2x2,…,fx2xn⋮fxnx1,fxnx2,…,fxnxn]G(X_0)= \left[\begin{array}{cccc}{f_{x_1x_1},f_{x_1x_2},\dots,f_{x_1x_n}} \\ {f_{x_2x_1},f_{x_2x_2},\dots,f_{x_2x_n}} \\ {\vdots} \\ {f_{x_nx_1},f_{x_nx_2},\dots,f_{x_nx_n}}\end{array}\right] G(X0)=⎣⎢⎢⎢⎡fx1x1,fx1x2,…,fx1xnfx2x1,fx2x2,…,fx2xn⋮fxnx1,fxnx2,…,fxnxn⎦⎥⎥⎥⎤为函数f(X0)f(X_0)f(X0)在X0X_0X0处的黑塞矩阵。黑塞矩阵是由目标函数f(X0)f(X_0)f(X0)在点XXX处的二阶偏导数组成的n×nn \times nn×n阶对称矩阵。

百度百科-黑塞矩阵