正定矩阵和半正定矩阵

文章目录

正定矩阵
- 定义
- 直观解释
- 协方差矩阵是半正定矩阵

正定矩阵

定义

所有的二次齐次都唯一对应一个对称矩阵A，所有的齐次二次式都可以表示为矩阵的形式。

例如：f=x12+2x1x2+4x22+6x2x3+4x32f=x_1^2+2x_1x_2+4x_2^2+6x_2x_3+4x_3^2f=x12+2x1x2+4x22+6x2x3+4x32
[x1x2x3][110143034][x1x2x3]=XTAX\begin{bmatrix} x_1 & x_2 & x_3 \\ \end{bmatrix} \begin{bmatrix} 1 & 1 & 0 \\ 1 & 4 & 3 \\ 0 & 3 & 4 \end{bmatrix} \begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix} =X^TAX [x1x2x3]⎣⎡110143034⎦⎤⎣⎡x1x2x3⎦⎤=XTAX
上式可化为 f=(x1+x2)2+3(x2+x2)2+x32=y12+y22+y32≥0y1,y2,y3∈Rf=(x_1+x_2)^2+3(x_2+x_2)^2+x_3^2=y_1^2+y_2^2+y_3^2\geq0\quad y_1,y_2,y_3\in \mathbb{R}f=(x1+x2)2+3(x2+x2)2+x32=y12+y22+y32≥0y1,y2,y3∈R
当y1,y2,y3y_1,y_2,y_3y1,y2,y3不全为0，二次型严格大于0

正定矩阵：当XXX不是零向量，f=XTAX>0f=X^TAX\gt0f=XTAX>0，这样的二次型称为正定，对称矩阵AAA称为正定矩阵。

特别地，欧式度量的平方就是最简单的正定二次型，其正定矩阵是单位矩阵。

半正定矩阵：当XXX不是零向量，f=XTAX≥0f=X^TAX\ge0f=XTAX≥0，这样的二次型称为半正定，对称矩阵AAA称为半正定矩阵。

直观解释

若给定一个正定矩阵A∈Rn×nA\in \mathbb{R}^{n\times n}A∈Rn×n和一个非零向量x∈Rnx\in \mathbb{R}^nx∈Rn，则两者相乘得到的向量y=Axy=Axy=Ax与向量xxx的夹角小于π2\cfrac{\pi}{2}2π。（等价于xTAx≥0x^TAx\geq0xTAx≥0）

例如，给定向量x=[121]∈R3x=\begin{bmatrix} 1\\ 2\\ 1\end{bmatrix} \in \mathbb{R}^3x=⎣⎡121⎦⎤∈R3，对于实对称矩阵A=[2−10−12−10−12]∈R3×3A=\begin{bmatrix} 2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{bmatrix} \in \mathbb{R}^{3\times3}A=⎣⎡2−10−12−10−12⎦⎤∈R3×3，则y=Ax=[020]∈R3y=Ax=\begin{bmatrix} 0\\ 2\\ 0\end{bmatrix} \in \mathbb{R}^3y=Ax=⎣⎡020⎦⎤∈R3。
向量x,y∈R3x,y\in \mathbb{R}^3x,y∈R3之间的夹角为cos⁡⟨x,y⟩=xTy∥x∥⋅∥y∥=63\cos{\langle x,y\rangle}=\cfrac{x^Ty}{\lVert x\rVert \cdot \lVert y\rVert}=\frac{\sqrt{6}}{3}cos⟨x,y⟩=∥x∥⋅∥y∥xTy=36
即两个向量的夹角小于 π2\cfrac{\pi}{2}2π

协方差矩阵是半正定矩阵

协方差矩阵的定义为

对于任意多元随机向量ttt，协方差矩阵为 C=E[(t−tˉ)(t−tˉ)T]C=\mathbb{E}[(t-\bar{t})(t-\bar{t})^T]C=E[(t−tˉ)(t−tˉ)T]

对于∀x\forall x∀x，有
xTCx=xTE[(t−tˉ)(t−tˉ)T]x=E[xT(t−tˉ)(t−tˉ)Tx]=E(s2)=σs2\begin{aligned} x^TCx&=x^T\mathbb{E}[(t-\bar{t})(t-\bar{t})^T]x\\ &=\mathbb{E}[x^T(t-\bar{t})(t-\bar{t})^Tx]\\ &=\mathbb{E}(s^2)\\ &=\sigma_s^2\\ \end{aligned} xTCx=xTE[(t−tˉ)(t−tˉ)T]x=E[xT(t−tˉ)(t−tˉ)Tx]=E(s2)=σs2
其中σs=xT(t−tˉ)=(t−tˉ)x\sigma_s=x^T(t-\bar{t})=(t-\bar{t})xσs=xT(t−tˉ)=(t−tˉ)x
由于σs2≥0\sigma_s^2\ge0σs2≥0，所以 xTCx≥0x^TCx\ge0xTCx≥0，协方差矩阵CCC是半正定的。

The Matrix Calculus You Need For Deep Learning
正定矩阵
浅谈「正定矩阵」和「半正定矩阵」