矩阵分析与应用（四）——逆矩阵、广义逆矩阵和Moore-Penrose逆矩阵

逆矩阵

逆矩阵的定义：如果对于一个方阵AA，存在一个方阵BB，使得AB=BA=IAB=BA=I，那么我们称BB为AA的逆矩阵，记做：A−1=B=1|A|A∗A^{-1}=B=\frac{1}{\vert A\vert}A^*，这里A∗A^*代表伴随矩阵。
一个n∗nn*n的方阵存在逆矩阵的充要条件等价于：

AA为非奇异矩阵
rank(A)=nrank(A)=n
AA的行向量线性无关
AA的列向量线性无关
det(A)≠0det(A)\ne0，即行列式不为0
Ax=0Ax=0只有唯一平凡解x=0x=0
Ax=bAx=b为一致方程，且有唯一解
AA的零空间的维度为0

如果对于方程Ax=bAx=b，当其中的某些线性约束成立的情况下，其他的线性约束不可能成立，则称该方程为非一致方程。
矩阵的零空间是指线性方程组Ax=0Ax=0的解向量张成的空间的。

一些基本的性质这里不赘述，值得一提的是两个矩阵之和的求逆运算，它不同于转置等运算（(A+B)T=AT+BT(A+B)^T = A^T+B^T）。

Sherman-Morrison公式：

(A+xyT)−1=A−1+A−1xyHA−11+yHA−1x

(A+xy^T)^{-1}=A^{-1}+\frac{A^{-1}xy^HA^{-1}}{1+y^HA^{-1}x} 这个公式还有很多形式的变体。

分块矩阵的求逆公式：

当A可逆时，[AVUD]−1=[A−1+A−1U(D−VA−1U)−1VA−1)−(D−VA−1U)−1VA−1−A−1U(D−VA−1U)−1(D−VA−1U)−1]−1

当A可逆时，\begin{bmatrix}A&U\\V&D\end{bmatrix}^{-1}=\begin{bmatrix}A^{-1}+A^{-1}U(D-VA^{-1}U)^{-1}VA^{-1})&-A^{-1}U(D-VA^{-1}U)^{-1}\\-(D-VA^{-1}U)^{-1}VA^{-1}&(D-VA^{-1}U)^{-1} \end{bmatrix}^{-1}

当A，D可逆时，[AVUD]−1化简为：[(A−UD−1V)−1−D−1V(A−UD−1V)−1−A−1U(D−VA−1U)−1(D−VA−1U)−1]−1

当A，D可逆时，\begin{bmatrix}A&U\\V&D\end{bmatrix}^{-1}化简为：\begin{bmatrix}(A-UD^{-1V})^{-1}&-A^{-1}U(D-VA^{-1}U)^{-1}\\-D^{-1}V(A-UD^{-1}V)^{-1}&(D-VA^{-1}U)^{-1}\end{bmatrix}^{-1}

广义逆矩阵

我们看到，逆矩阵的定义仅仅针对方阵而言，但是实际应用中，我们遇到的很多问题并不满足这个条件，将矩阵的逆的定义扩展到任意矩阵，得到我们的广义逆矩阵：
如果一个矩阵LL满足LA=I，A∈Rm∗nLA=I，A\in R^{m*n}，则我们称LL为A的广义逆矩阵，特别地，对于LA=ILA=I，我们称为左逆矩阵，只有当m≥nm\ge n时，AA才可能有左逆矩阵；对于AL=IAL=I，我们称为右逆矩阵，只有当m≤nm\le n时，AA才可能有右逆矩阵。
证明如下，考虑m≥nm\ge n：

A=[BC]，其中B∈Rn∗n，令L=[X,Y]满足LA=I，

A=\begin{bmatrix}B\\C\end{bmatrix}，其中B\in R^{n*n}，令L=[X,Y]满足LA=I，

我们有XB+YC=I，如B非奇异（这是可能的），只需要令X=B−1，Y=O即可

我们有XB+YC=I，如B非奇异（这是可能的），只需要令X=B^{-1}，Y=O即可
一个矩阵的广义逆矩阵往往不是唯一的，特别地，有以下形式的广义逆矩阵：

左逆：L=(AHA)−1AH唯一，且称为左伪逆矩阵

左逆：L=(A^HA)^{-1}A^H唯一，且称为左伪逆矩阵

右逆：L=AH(AAH)−1唯一，且称为右伪逆矩阵

右逆：L=A^H(AA^H)^{-1}唯一，且称为右伪逆矩阵
是不是很眼熟？对了，这就是和最小二乘密切相关的两个广义逆矩阵！，左逆对应于超定问题（非一致方程）的最小二乘解，右逆对应于欠定问题（一致方程）的最小范数解。

现在，我们将左逆和右逆统一起来，用线性方程组的解的形式来描述：

对于A∈Rm∗n，秩任意，则A的广义逆矩阵是一个n∗m矩阵G

对于A\in R^{m*n}，秩任意，则A的广义逆矩阵是一个n*m矩阵G

并使得当Ax=y(y≠0)为一致方程时，有解x=Gy，当且仅当G满足AGA=A

并使得当Ax=y(y \ne 0)为一致方程时，有解x=Gy，当且仅当G满足AGA=A
最后一个等式也是广义逆的定义式：A−存在↔AA−A=AA^-存在\leftrightarrow AA^-A=A

定理：

A−存在↔A−A和AA−皆为幂等矩阵，即(AA−)2=AA−,(A−A)2=A−AA^-存在\leftrightarrow A^-A和AA^-皆为幂等矩阵，即(AA^-)^2=AA^-,(A^-A)^2=A^-A
A−存在↔rank(A)=rank(AA−)或rank(A)=rank(A−A)A^-存在\leftrightarrow rank(A)=rank(AA^-)或rank(A)=rank(A^-A)

广义逆矩阵的计算

定理：对于任意的秩为rr的矩阵AA，都可以分解为：

A=Fm∗rGr∗n,F和G分别为列满秩和行满秩

A=F_{m*r}G_{r*n},F和G分别为列满秩和行满秩
称为矩阵的满秩分解，求解步骤如下

将AA通过行初等变换化为阶梯矩阵，得到A=[GO]A=\begin{bmatrix}G\\O\end{bmatrix}
对单位矩阵执行上述变换的逆变换，得到I→P−1I\to P^{-1}
A=FGA=FG，其中FF为P−1P^{-1}前rr列组成的子矩阵

则AA的广义逆矩阵可以用以下公式求解：

A−=GT(FTAGT)−1FT

A^-=G^T(F^TAG^T)^{-1}F^T
容易验证，它满足广义逆矩阵的定义式AA−A=A AA^-A=A
且F和G分别为列满秩和行满秩，所以(FTAGT)−1=(FTFGGT)−1=(FTF)−1(GGT)−1(F^TAG^T)^{-1}=(F^TFGG^T)^{-1}=(F^TF)^{-1}(GG^T)^{-1}一定存在。

回过头来，我们看看用广义逆矩阵来定义线性方程的解会有什么结论：

定理1：齐次方程Ax=0Ax=0的一个通解为x=(I−A−A)zx=(I-A^-A)z，其中zz为任意的n*1向量。
定理2：非齐次方程Ax=yAx=y为一致方程的充要条件为：AA−y=yAA^-y=y。
定理3：非齐次方程Ax=yAx=y的一个通解为x=A−y+(I−A−A)zx=A^-y+(I-A^-A)z，其中zz为任意的n*1向量。
上述三个定理可以通过直接验证广义逆矩阵的定义式得证。

Moore-Penrose逆矩阵

由前面定义的逆矩阵求解超定问题（非一致方程）的最小二乘解和欠定问题（一致方程）的最小范数解时，解是不唯一的。因此将广义逆矩阵做进一步的约束，便得到Moore-Penrose逆矩阵（平时说的伪逆就是它），它能保证解的唯一性。

定义满足下列性质的矩阵GG为矩阵AA的Moore-Penrose逆矩阵，记做A+A^+：

AGA=AAGA=A
GAG=GGAG=G
(AG)H=AG(AG)^H=AG
(GA)H=GA(GA)^H=GA

Moore-Penrose逆矩阵是由Moore在1935年提出的，由于原始定义十分晦涩，于是Penrose于1955年提出了上述的四个条件，因此名为Moore-Penrose逆矩阵。

Moore-Penrose逆矩阵又根据满足上述条件的个数，分为以下几种：
①只满足条件1,2，称为自反广义逆矩阵
②只满足条件1,2,3，称为正则化广义逆矩阵
③只满足条件1,2,4，称为弱广义逆矩阵

注意，对于只满足某些条件的逆矩阵，它的秩总是大于等于原矩阵的秩。即：

rank(Ag)≥rank(A)=rank(AAg)=rank(AgA)，当Ag为自反逆矩阵时取等。

rank(A^g)\ge rank(A)=rank(AA^g)=rank(A^gA)，当A^g为自反逆矩阵时取等。
我们前面提到的左伪逆矩阵和右伪逆矩阵都是Moore-Penrose矩阵，满足四个条件。

Moore-Penrose逆矩阵的计算

1.方程求解法：

2.KL分解法：

即通过矩阵的满秩分解求解，求解方式同上述的广义逆矩阵，只不过将转置运算换成共轭转置，容易验证，该法求解得到的结果满足上述四个条件。

PS:当使用Moore-Penrose逆矩阵求解超定问题（非一致方程）的最小二乘解时，不仅解唯一，且是最小二乘最小范数解