1 前言

内容为自己的学习总结，其中多有借鉴他人的地方，最后一并给出链接。

2 定义

在机器学习和谱图理论的学习中，总会用到正定矩阵半正定矩阵概念，了解它们的概念是十分必要的。
定义：正定矩阵（positive definite, PD）
给定一个大小为n×nn×nn×n的实对称矩阵AAA，若对于任意长度为nnn的非零向量 XXX，有XTAX>0X^TAX>0XTAX>0恒成立，则矩阵AAA是一个正定矩阵。

定义：半正定矩阵（positive semi-definite, PSD）
给定一个大小为n×nn×nn×n的实对称矩阵AAA，若对于任意长度为nnn的非零向量 XXX，有XTAX≥0X^TAX \ge 0XTAX≥0恒成立，则矩阵AAA是一个正定矩阵。
看个一个例子（来源参考文献【3】）：

（1）单位矩阵I∈R2×2I \in \mathbb{R}^{2 \times 2}I∈R2×2是不是正定矩阵？
设向量x=[x1x2]∈R2\boldsymbol{x}=\left[\begin{array}{l} x_{1} \\ x_{2} \end{array}\right] \in \mathbb{R}^{2}x=[x1x2]∈R2为非000向量，则

xTIx=xTx=x12+x22\boldsymbol{x}^{T} I \boldsymbol{x}=\boldsymbol{x}^{T} \boldsymbol{x}=x_{1}^{2}+x_{2}^{2}xTIx=xTx=x12+x22

由于x≠0\boldsymbol{x} \neq \mathbf{0}x=0，故而xTIx>0\boldsymbol{x}^{T} I \boldsymbol{x}>0xTIx>0恒成立，所以单位矩阵是正定矩阵。

从上面的例子看正定矩阵半正定矩阵和二次函数有些相似。以二次函数y=ax2y=ax^2y=ax2为例，该函数的曲线会经过坐标原点，当参数a>0a>0a>0时，曲线的“开口”向上，参数a<0a<0a<0时，曲线的“开口”向下。
实际上可以把二次函数和y=ax2y=ax^2y=ax2和y=xTAxy=x^TAxy=xTAx对比看。

在y=ax2y=ax^2y=ax2中，若a>0a>0a>0，则对于任意x≠0x\neq0x=0，则有y>0y>0y>0恒成立。
对应于y=xTAxy=x^TAxy=xTAx，若AAA为正定矩阵，则对于任意x≠0x\neq0x=0，则有y>0y>0y>0恒成立。
在y=ax2y=ax^2y=ax2中，若a≥0a\geq0a≥0，则对于任意x≠0x\neq0x=0，则有y≥0y\geq0y≥0恒成立。
对应于y=xTAxy=x^TAxy=xTAx，若AAA为半正定矩阵，则对于任意x≠0x\neq0x=0，则有y≥0y\geq0y≥0恒成立。

3 从几何的角度理解

若给定任意一个正定矩阵A∈Rn×nA\in R^{n\times n}A∈Rn×n和一个非000向量x∈Rnx\in R^nx∈Rn，则两者相乘得到的向量y=Ax∈Rny=Ax\in R^ny=Ax∈Rn与向量xxx的夹角恒小于90。90^。90。等价于xTAx>0x^TAx>0xTAx>0。
从矩阵的本质讲矩阵相乘实际上是向量xxx安装矩阵AAA指定的方式进行变换（矩阵的理解系列（一）（二）（三））。那么对于正定矩阵xTAx=xTM>0x^TAx=x^TM>0xTAx=xTM>0，记M=AxM=AxM=Ax。有没有想起CosCosCos公式
cos⁡⟨x,y⟩=xTy∥x∥⋅∥y∥\cos \langle\boldsymbol{x}, \boldsymbol{y}\rangle=\frac{\boldsymbol{x}^{T} \boldsymbol{y}}{\|\boldsymbol{x}\| \cdot\|\boldsymbol{y}\|} cos⟨x,y⟩=∥x∥⋅∥y∥xTy
到这里我们就可以理解正定矩阵的函数为：一个向量xxx经过正定矩阵AAA变换之后与原向量xxx的夹角小于90。90^。90。。

再看个例子：给定向量x=[21]x=\left[\begin{array}{l}2 \\1\end{array}\right]x=[21]，对于单位矩阵I=[1001]I=\left[\begin{array}{ll}1 & 0 \\0 & 1\end{array}\right]I=[1001]，则
y=Ix=x=[21]\boldsymbol{y}=I \boldsymbol{x}=\boldsymbol{x}=\left[\begin{array}{l} 2 \\1\end{array}\right]y=Ix=x=[21]则向量y和xy和xy和x的夹角为0。

cos⁡⟨x,y⟩=xTy∥x∥⋅∥y∥=2×2+1×122+12⋅22+12=1\begin{array}{l} \cos \langle\boldsymbol{x}, \boldsymbol{y}\rangle=\frac{\boldsymbol{x}^{T} \boldsymbol{y}}{\|\boldsymbol{x}\| \cdot\|\boldsymbol{y}\|} \\[6mm] =\frac{2 \times 2+1 \times 1}{\sqrt{2^{2}+1^{2}} \cdot \sqrt{2^{2}+1^{2}}} \\[6mm] =1 \end{array}cos⟨x,y⟩=∥x∥⋅∥y∥xTy=22+12⋅22+122×2+1×1=1

结合上面的例子和矩阵的运动我们可以理解正定矩阵：

对于一个向量xxx,我们希望xxx在经过有一个矩阵AAA的变化后得到的新的向量MMM和它本身的夹角小于909090度。
而小于909090度背后的含义是变换后的向量MMM是沿着原向量xxx的正方向进行缩放的（即MMM投影回原向量时方向不变）

那么如何理解要求正定矩阵的特征值大于0？
首先一个矩阵AAA的特征向量xxx就是表示某个向量会沿着特征向量的方向进行变换（缩放），缩放比例由特征值 λ\lambdaλ决定。（特征值和特征向量的理解）。举个例子【参考文献【1】】：
A1=[[0.5,0]T,[0,2]T]A_1=[[0.5, 0]^T,[0, 2]^T]A1=[[0.5,0]T,[0,2]T]很简单地可以计算得到A的特征值分别是0.50.50.5和222，而它们对应的特征向量分别是[1,0]T[1,0]^T[1,0]T和[0,1]T[0,1]^T[0,1]T 。所以如果一个向量bbb左乘一个矩阵AAA，其本质就是将向量bbb沿着[1,0]T[1,0]^T[1,0]T和[0,1]T[0,1]^T[0,1]T方向分别放大0.50.50.5和222倍。我们假设b=[2,2]Tb=[2,2]^Tb=[2,2]T，那么AbAbAb最终得到的向量为[1,4]T[1, 4]^T[1,4]T，结合下图看更加直观：

图片来着参考文献【1】
我们看上图，如果其中一个特征值小于000，比如λ1<0\lambda_1<0λ1<0那么最终得到的向量AbAbAb投射到方向的向量与bbb反向。综上，要使得变换后的向量MMM与原向量xxx夹角小于909090度，即映射回原来的向量时保持方向不变，那么就需要特征值大于000，所以这也是为什么正定矩阵的特征值都大于000.
Ax=λx→xTAx=λxTx=λ∥x∥2>0\begin{array}{c} A x=\lambda x \\ \rightarrow x^{T} A x=\lambda x^{T} x=\lambda\|x\|^{2}>0 \end{array} Ax=λx→xTAx=λxTx=λ∥x∥2>0
故λ必须大于0，即特征值必须大于0。
正定矩阵跟优化的关系用到了在补充。

4 参考文献

[1]如何理解正定矩阵和半正定矩阵
[2]MIT线性代数笔记3.3(正定矩阵，最小值)
[3]浅谈「正定矩阵」和「半正定矩阵」
[4]MIT线性代数笔记3.1(对称矩阵，正定矩阵

【线性代数】理解正定矩阵和半正定矩阵相关推荐

ker矩阵是什么意思_如何理解正定矩阵和半正定矩阵
乍看正定和半正定会被吓得虎躯一震,因为名字取得不知所以,所以老是很排斥去理解这个东西是干嘛用的,下面根据自己和结合别人的观点解释一下什么是正定矩阵(positive definite, PD) 和半正 ...
半正定矩阵的判定方法_线性代数30——正定矩阵和最小值
我们经常在判定一个函数是否有最小值时使用正定矩阵,正定矩阵和最小值有什么关系呢? 1 判断正定矩阵给出一个矩阵: 有4个途径可以判定该矩阵是否是正定矩阵(注意这个矩阵的4个元素中有2个b,这是因为正 ...
r语言中正定矩阵由于误差不正定_浅谈「正定矩阵」和「半正定矩阵」
在众多的机器学习模型中,线性代数的身影无处不在,当然,我们也会时常碰到线性代数中的正定矩阵和半正定矩阵.例如,多元正态分布的协方差矩阵要求是半正定的. --------------×--------- ...
「正定矩阵」和「半正定矩阵」
在众多的机器学习模型中,线性代数的身影无处不在,当然,我们也会时常碰到线性代数中的正定矩阵和半正定矩阵.例如,多元正态分布的协方差矩阵要求是半正定的. --------------×--------- ...
正定矩阵、负定矩阵、半正定矩阵、半负定矩阵
正定矩阵.负定矩阵.半正定矩阵.半负定矩阵载▼ 1.正定矩阵一个n×n的实对称矩阵M是正定的,当且仅当对于所有的非零实系数向量z,都有zTMz > 0.其中zT表示z的转置. 2.负 ...
关于正定矩阵和非正定矩阵
整理在网上找的各种对这个概念的理解- 1.首先半正定矩阵定义为: 其中X 是向量,M 是变换矩阵我们换一个思路看这个问题,矩阵变换中,代表对向量 X进行变换,我们假设变换后的向量为Y,记做.于是半 ...
线性代数学习笔记8-4：正定矩阵、二次型的几何意义、配方法与消元法的联系、最小二乘法与半正定矩阵A^T A
正定矩阵Positive definite matrice 之前说过,正定矩阵是一类特殊的对称矩阵: 正定矩阵满足对称矩阵的特性(特征值为实数并且拥有一套正交特征向量.正 / 负主元的数目等于正 / ...
线性代数基础12--对称矩阵,正定矩阵与快速傅里叶变换
1,对称矩阵与正定矩阵对于实对称矩阵,其特征值都是实数,其不同特征值对应的特征向量相互正交. 所以对于是对称矩阵,其特征矩阵可以用正交矩阵代替,也就是常说的对称矩阵可以用正交矩阵进行相似对角化, 并 ...
判定(半)正定矩阵的特殊大于(等于)简写符号
判定(半)正定矩阵的特殊大于(等于)简写符号这些符号的意义是: (1)特殊的大于号: M 特殊大于 0 (2)特殊的大于等于号:以此类推按照半正定矩阵的意义理解特殊符号的含义 posted on ...
线性代数——理解向(3)
麻省理工学院 - MIT - 线性代数(我愿称之为线性代数教程天花板)_哔哩哔哩_bilibili MIT-线性代数笔记00 - 知乎 (zhihu.com) 一.子空间投影投影(射影) 投影问题 ...

【线性代数】理解正定矩阵和半正定矩阵

目录

1 前言

2 定义

3 从几何的角度理解

4 参考文献

【线性代数】理解正定矩阵和半正定矩阵相关推荐

最新文章

热门文章