矩阵论（一）：广义逆矩阵（上）
矩阵论专栏：专栏（文章按照顺序排序）
本文以线性代数知识为基础。关于线代知识，如一些基本的秩（不）等式、零矩阵的判定条件等，可参考下面几篇博客。
矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、初等变换、满秩分解
矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换
矩阵论（零）：线性代数基础知识整理（5）——特征值与相似
广义逆矩阵的部分主要包括以下内容：
- 左逆与右逆
- 定义
- 左逆、右逆存在的条件
- {1}逆
- 从Ax=yAx=yAx=y的求解引入{1}逆
- {1}逆的通式
- 用{1}逆讨论Ax=yAx=yAx=y以及AXB=DAXB=DAXB=D的求解
- PM逆
- 定义
- PM逆的性质（存在性、唯一性、秩、计算性质、列空间、零空间）
- 用PM逆讨论Ax=yAx=yAx=y以及AXB=DAXB=DAXB=D的解的存在唯一性
- PM逆的计算方法
- {1,4}逆
- 从极小范数解问题引入{1,4}逆
- A{1,4}={M∣MAAH=AH}={M∣MA=A+A}A\{1,4\}=\{M|MAA^H=A^H\}=\{M|MA=A^+A\}A{1,4}={M∣MAAH=AH}={M∣MA=A+A}
- 利用{1,4}逆解决极小范数解的存在唯一性
- {1,3}逆
- 从最小二乘问题引入{1,3}逆
- A{1,3}={M∣AHAM=AH}={M∣AM=AA+}A\{1,3\}=\{M|A^HAM=A^H\}=\{M|AM=AA^+\}A{1,3}={M∣AHAM=AH}={M∣AM=AA+}
- 利用{1,4}逆解决最小二乘问题以及最小二乘解与正规方程组的联系
- 极小范数最小二乘解问题
- 总结
- 线性回归问题介绍
因为内容比较多，目录中的内容分为上、下两篇博客来写。其中，上（本篇）介绍左逆右逆、{1}逆以及PM逆，下篇介绍{1,4}逆、{1,3}逆及其之后的内容。定理1-20在本文中，定理21-31在下篇博客中。
下篇博客链接：链接
【符号说明】
文中所用向量范数均指Frobenius范数/l2l_2l2范数。
FFF表示数域，Fm×nF^{m\times n}Fm×n是指元素在数域FFF内的m×nm\times nm×n矩阵的集合，Frm×nF^{m\times n}_rFrm×n是指Fm×nF^{m\times n}Fm×n中所有秩为rrr的矩阵。QQQ、RRR和CCC分别表示有理数域、实数域和复数域，本文所讨论的数域仅限于这三种数域。单位矩阵用III表示，nnn阶单位矩阵用InI_nIn表示。
AHA^HAH是指AAA的共轭转置。注意∀A∈Fm×n\forall A\in F^{m\times n}∀A∈Fm×n，有AH∈Fn×mA^H\in F^{n\times m}AH∈Fn×m，这是因为域FFF（F=Q或R或CF=Q或R或CF=Q或R或C）中的数取共轭后肯定还在FFF中，例如实数的共轭是其自身。
我们用iii表示虚数单位，用Re{}Re\{\}Re{}表示复数的实部，Im{}Im\{\}Im{}表示复数的虚部。
对矩阵AAA，R(A)R(A)R(A)和N(A)N(A)N(A)分别表示AAA的列空间和零空间。
左逆矩阵与右逆矩阵
我们知道，只有方阵才有逆矩阵，且可逆方阵对方阵是有限制条件的，只有行列式不为零的方阵才可逆。可逆方阵给我们解线性方程组带来了很大的方便：设Ax=yAx=yAx=y是关于x的方程，若系数矩阵A是可逆方阵，则有唯一解x=A−1yx=A^{-1}yx=A−1y，解的形式非常简单。然而对于一般的m×nm\times{n}m×n系数矩阵A，有没有简洁的办法来求解这样的线性方程组呢？按照一般解方程的思路，如果有一个矩阵L，当我们用L左乘Ax=yAx=yAx=y的两端时（将得到LAx=LyLAx=LyLAx=Ly），能够恰好抵消掉A（也就是说LAx=xLAx=xLAx=x），得到x=Lyx=Lyx=Ly，那么就“似乎”找到了解（为什么是似乎呢？这个后面再说）。什么时候LAx=xLAx=xLAx=x成立呢？考虑一种最简单的情形：LA=ILA=ILA=I，这就引出了左逆矩阵的概念：
- 定义：设A∈Fm×nA\in F^{m\times n}A∈Fm×n，若存在L∈Fn×mL\in F^{n\times m}L∈Fn×m，满足LA=InLA=I_nLA=In，则称LLL是AAA的一个左逆矩阵
自然先看一下左逆矩阵存在的条件是什么：
- 定理1：设A∈Fm×nA\in F^{m\times n}A∈Fm×n，则AAA的左逆矩阵存在的充要条件为AAA列满秩
证明：
必要性：若存在L∈Fn×mL\in F^{n\times m}L∈Fn×m，满足LA=InLA=I_nLA=In，根据秩不等式有n=r(In)=r(LA)⩽r(A)n=r(I_n)=r(LA)\leqslant{r(A)}n=r(In)=r(LA)⩽r(A)，又r(A)⩽nr(A)\leqslant nr(A)⩽n，故r(A)=nr(A)=nr(A)=n，即AAA是列满秩的。
充分性：若AAA是列满秩的，根据秩等式r(AHA)=r(A)=nr(A^HA)=r(A)=nr(AHA)=r(A)=n知，AHAA^HAAHA是满秩方阵，即AHAA^HAAHA可逆。设L=(AHA)−1AHL=(A^HA)^{-1}A^HL=(AHA)−1AH，验证LA=(AHA)−1AHA=ILA=(A^HA)^{-1}A^HA=ILA=(AHA)−1AHA=I，即LLL是AAA的一个左逆矩阵，因此A的左逆矩阵存在。
【注】(AHA)−1AH(A^HA)^{-1}A^H(AHA)−1AH称为列满秩矩阵AAA的左伪逆矩阵
这说明并非所有矩阵都有左逆矩阵，只有列满秩矩阵才可左逆。类比左逆矩阵，我们有右逆矩阵的概念：
- 定义：设A∈Fm×nA\in F^{m\times n}A∈Fm×n，若存在R∈Fn×mR\in F^{n\times m}R∈Fn×m，满足AR=ImAR=I_mAR=Im，则称RRR是AAA的一个右逆矩阵
- 定理2：设A∈Fm×nA\in F^{m\times n}A∈Fm×n，则AAA的右逆矩阵存在的充要条件为AAA行满秩
右逆矩阵的分析跟左逆矩阵是类似的。AH(AAH)−1A^H(AA^H)^{-1}AH(AAH)−1称为行满秩矩阵AAA的右伪逆矩阵。
现在回到线性方程组的解的问题上来。虽然列满秩矩阵AAA必有左逆LLL，但是这意味着Ax=yAx=yAx=y的解就是x=Lyx=Lyx=Ly吗？实际上，x=Lyx=Lyx=Ly是Ax=yAx=yAx=y的解还应该满足一个条件：将x=Lyx=Lyx=Ly代入Ax=yAx=yAx=y，等式依然成立，也就是说应有ALy=yALy=yALy=y。不幸的是，左逆矩阵并不能满足这个条件，请看如下反例：
设A=[110100]A=\begin{bmatrix}1&1\\0&1\\0&0\end{bmatrix}A=⎣⎡100110⎦⎤，则可计算出A的左伪逆L=[1−10010]L=\begin{bmatrix}1&-1&0\\0&1&0\end{bmatrix}L=[10−1100]，AL=[100010000]AL=\begin{bmatrix}1&0&0\\0&1&0\\0&0&0\end{bmatrix}AL=⎣⎡100010000⎦⎤，对于y=[001]y=\begin{bmatrix}0\\0\\1\end{bmatrix}y=⎣⎡001⎦⎤，ALy=0≠yALy=0\neq yALy=0=y。
这说明左逆、右逆并不能用来表示一般线性方程组的解，虽然刚开始它们看上去是可行的。
将左（右）逆矩阵的定义和逆矩阵的定义进行对比可以发现，前者的限制不如后者的限制严格，因此它们是一类伪逆。
{1}逆
我们讨论了左逆、右逆的概念及其存在的条件，它们并不是求解线性方程组的有力工具。现在我们从一般的线性方程组出发，探究什么样的矩阵（或者说什么样的伪逆）可以用来表达线性方程组的解。
对于一般的线性方程组Ax=yAx=yAx=y，如果它有解，按照奥卡姆剃刀原理，我们假定它一定有x=Byx=Byx=By这种形式的解。现在我们来探究一下这样的矩阵BBB是什么：
- 定理3：设A∈Fm×nA\in{F^{m\times{n}}}A∈Fm×n，B∈Fn×mB\in{F^{n\times{m}}}B∈Fn×m，则如下两命题等价：
（1）∀y∈Fm\forall{y}\in{F^m}∀y∈Fm，若关于xxx的线性方程组Ax=yAx=yAx=y有解，则x=Byx=Byx=By是它的一个解
（2）ABA=AABA=AABA=A
证明：
（1）⇒\Rightarrow⇒（2）：任取z∈Fmz\in{F^m}z∈Fm，令y=Azy=Azy=Az，线性方程组Ax=yAx=yAx=y必有解（显然zzz就是它的一个解）。根据命题（1），x=By=BAzx=By=BAzx=By=BAz也是它的一个解。把这个解代入原方程，得到ABAz=AzABAz=AzABAz=Az。注意，任取z∈Fmz\in{F^m}z∈Fm，我们都得到了ABAz=AzABAz=AzABAz=Az，也就是(ABA−A)z=0(ABA-A)z=0(ABA−A)z=0。那么就能判定ABA−A=OABA-A=OABA−A=O，即ABA=AABA=AABA=A。
（1）⇐\Leftarrow⇐（2）：∀y∈Fm\forall{y}\in{F^m}∀y∈Fm，若线性方程组Ax=yAx=yAx=y有解，设x0x_0x0是它的一个解，则有y=Ax0y=Ax_0y=Ax0。若ABA=AABA=AABA=A，则ABy=ABAx0=Ax0=yABy=ABAx_0=Ax_0=yABy=ABAx0=Ax0=y，所以x=Byx=Byx=By也是它的一个解。于是命题（1）成立。
上述定理说明，我们期望找到的矩阵BBB其实就是满足ABA=AABA=AABA=A的矩阵BBB，我们把满足该条件的矩阵B称为A的一个广义逆矩阵，更确切地，B称为A的一个{1}逆（还有其他类型的广义逆矩阵，见后文）：
- 定义：设A∈Fm×nA\in F^{m\times n}A∈Fm×n，若存在B∈Fn×mB\in F^{n\times m}B∈Fn×m，满足ABA=AABA=AABA=A，则称BBB是AAA的一个{1}逆，记作B=A(1)B=A^{(1)}B=A(1)。通常，将A的全体{1}逆的集合写作A{1}A\{1\}A{1}。
定理3只是告诉我们BBB应该满足什么条件，没告诉我们BBB是否存在。下面的定理对此作出了肯定的回答：
- 定理4：设A∈Frm×nA\in{}F^{m\times{n}}_rA∈Frm×n。若r=0r=0r=0，则A{1}=Fn×mA\{1\}=F^{n\times{m}}A{1}=Fn×m；若r>0r\gt{0}r>0，根据秩标准形定理知存在可逆矩阵PPP、QQQ使得PAQ=[IrOOO]PAQ=\begin{bmatrix}I_r&O\\O&O\end{bmatrix}PAQ=[IrOOO]，此时我们断言
A{1}={Q[IrL12L21L22]P|L12∈Fr×(m−r),L21∈F(n−r)×r,L22∈F(n−r)×(m−r)}A\{1\}=\left\{Q\begin{bmatrix}I_r&L_{12}\\L_{21}&L_{22}\end{bmatrix}P\middle|L_{12}\in{F^{r\times{(m-r)}}},L_{21}\in{F^{(n-r)\times{r}}},L_{22}\in{F^{(n-r)\times{}(m-r)}}\right\}A{1}={Q[IrL21L12L22]P∣∣∣∣L12∈Fr×(m−r),L21∈F(n−r)×r,L22∈F(n−r)×(m−r)}
证明：只证r>0r\gt{0}r>0的情况。由于A=P−1[IrOOO]Q−1A=P^{-1}\begin{bmatrix}I_r&O\\O&O\end{bmatrix}Q^{-1}A=P−1[IrOOO]Q−1，任取X=Q[IrL12L21L22]PX=Q\begin{bmatrix}I_r&L_{12}\\L_{21}&L_{22}\end{bmatrix}PX=Q[IrL21L12L22]P，计算可得AXA=AAXA=AAXA=A，故X∈A{1}X\in{A\{1\}}X∈A{1}。任取A(1)∈A{1}A^{(1)}\in{A\{1\}}A(1)∈A{1}，设Q−1A(1)P−1=[L11L12L21L22]Q^{-1}A^{(1)}P^{-1}=\begin{bmatrix}L_{11}&L_{12}\\L_{21}&L_{22}\end{bmatrix}Q−1A(1)P−1=[L11L21L12L22]，则A(1)=Q[L11L12L21L22]PA^{(1)}=Q\begin{bmatrix}L_{11}&L_{12}\\L_{21}&L_{22}\end{bmatrix}PA(1)=Q[L11L21L12L22]P，由AA(1)A=AAA^{(1)}A=AAA(1)A=A可得[IrOOO][L11L12L21L22][IrOOO]=[IrOOO]\begin{bmatrix}I_r&O\\O&O\end{bmatrix}\begin{bmatrix}L_{11}&L_{12}\\L_{21}&L_{22}\end{bmatrix}\begin{bmatrix}I_r&O\\O&O\end{bmatrix}=\begin{bmatrix}I_r&O\\O&O\end{bmatrix}[IrOOO][L11L21L12L22][IrOOO]=[IrOOO]，进一步计算有L11=IrL_{11}=I_rL11=Ir，即A(1)=Q[IrL12L21L22]PA^{(1)}=Q\begin{bmatrix}I_r&L_{12}\\L_{21}&L_{22}\end{bmatrix}PA(1)=Q[IrL21L12L22]P。得证。
上述定理不仅证明了任意矩阵都有{1}逆，还给出了{1}逆的求法。对A进行初等变换化为等价标准形（秩标准形），求出变换对应的可逆矩阵P、Q，就可以得到A{1}A\{1\}A{1}。
- 推论：设A∈Frm×nA\in{}F^{m\times{n}}_rA∈Frm×n，则A的{1}逆唯一的充要条件为r=m=nr=m=nr=m=n
证：
定理4告诉我们AAA的{1}逆都具有Q[IrL12L21L22]PQ\begin{bmatrix}I_r&L_{12}\\L_{21}&L_{22}\end{bmatrix}PQ[IrL21L12L22]P这种形式，其中PPP、QQQ可逆。要使AAA的{1}逆唯一，必须使自由变量L12、L21、L22L_{12}、L_{21}、L_{22}L12、L21、L22消失，显然只有r=m=nr=m=nr=m=n才能做到这一点。
【注】当A的{1}逆唯一时，A的{1}逆为QPQPQP。根据式PAQ=IPAQ=IPAQ=I可得A−1=(P−1Q−1)−1=QPA^{-1}=(P^{-1}Q^{-1})^{-1}=QPA−1=(P−1Q−1)−1=QP，因此A的{1}逆就是A−1A^{-1}A−1。
回到求解线性方程组的问题上来。我们已经知道任取A的一个{1}逆A(1)A^{(1)}A(1)， 若Ax=yAx=yAx=y有解，则x=A(1)yx=A^{(1)}yx=A(1)y一定是它的一个解（定理3）。那什么条件下Ax=yAx=yAx=y才有解？它的通解又是什么？（这里“通解”是指要能够表达出Ax=yAx=yAx=y的所有解）
如果我们将x=A(1)yx=A^{(1)}yx=A(1)y代入原方程，就得到AA(1)y=yAA^{(1)}y=yAA(1)y=y，这是在原方程有解的条件下得到的结论。然而，如果AA(1)y=yAA^{(1)}y=yAA(1)y=y，这不就说明x=A(1)yx=A^{(1)}yx=A(1)y是原方程的一个解吗？这就得到了线性方程组有解的充要条件。
- 定理5：线性方程组Ax=yAx=yAx=y有解的充要条件是存在A的一个{1}逆A(1)A^{(1)}A(1)使得AA(1)y=yAA^{(1)}y=yAA(1)y=y
证明：
必要性：若Ax=yAx=yAx=y有解，则y=Ax=AA(1)Ax=AA(1)yy=Ax=AA^{(1)}Ax=AA^{(1)}yy=Ax=AA(1)Ax=AA(1)y。
充分性：若AA(1)y=yAA^{(1)}y=yAA(1)y=y，则x=A(1)yx=A^{(1)}yx=A(1)y是原方程的一个解，故原方程有解。 - 定理6：线性方程组Ax=yAx=yAx=y有解的充要条件是任意A的一个{1}逆A(1)A^{(1)}A(1)都有AA(1)y=yAA^{(1)}y=yAA(1)y=y
证明：同上。
关于Ax=yAx=yAx=y的通解，有以下结论。（这里“通解”是指要能够表达出Ax=yAx=yAx=y的所有解）
- 定理7：若Ax=yAx=yAx=y有解，则任取A的一个{1}逆A(1)A^{(1)}A(1)，x=A(1)y+(I−A(1)A)z,z∈Fnx=A^{(1)}y+(I-A^{(1)}A)z,z\in{F^n}x=A(1)y+(I−A(1)A)z,z∈Fn都是Ax=yAx=yAx=y的通解
证明：
将x=A(1)y+(I−A(1)A)z,z∈Fnx=A^{(1)}y+(I-A^{(1)}A)z,z\in{F^n}x=A(1)y+(I−A(1)A)z,z∈Fn代入原方程，可得Ax=AA(1)y+A(I−A(1)A)z=y+(A−AA(1)A)z=yAx=AA^{(1)}y+A(I-A^{(1)}A)z=y+(A-AA^{(1)}A)z=yAx=AA(1)y+A(I−A(1)A)z=y+(A−AA(1)A)z=y，可见x=A(1)y+(I−A(1)A)z,z∈Fnx=A^{(1)}y+(I-A^{(1)}A)z,z\in{F^n}x=A(1)y+(I−A(1)A)z,z∈Fn都是原方程的解。
任取原方程的一个解x0x_0x0，有Ax0=yAx_0=yAx0=y成立。令z=x0z=x_0z=x0，则x=A(1)y+(I−A(1)A)z=A(1)y+(I−A(1)A)x0=x0+A(1)y−A(1)y=x0\begin{aligned}x&=A^{(1)}y+(I-A^{(1)}A)z\\&=A^{(1)}y+(I-A^{(1)}A)x_0\\&=x_0+A^{(1)}y-A^{(1)}y\\&=x_0\end{aligned}x=A(1)y+(I−A(1)A)z=A(1)y+(I−A(1)A)x0=x0+A(1)y−A(1)y=x0可见x=A(1)y+(I−A(1)A)z,z∈Fnx=A^{(1)}y+(I-A^{(1)}A)z,z\in{F^n}x=A(1)y+(I−A(1)A)z,z∈Fn还包含了原方程的所有解。得证。
上述定理说明，A的任意一个{1}逆都能完整表达出Ax=yAx=yAx=y的所有解，这意味着{1}逆是解线性方程组的一个完备的工具。通解的形式x=A(1)y+(I−A(1)A)z,z∈Fnx=A^{(1)}y+(I-A^{(1)}A)z,z\in{F^n}x=A(1)y+(I−A(1)A)z,z∈Fn不光可以用来求出方程组的解（只要按照定理4的方法求出一个AAA的一个{1}\{1\}{1}逆即可），还说明了Ax=yAx=yAx=y的解的结构是什么样子的。通解中的第一项A(1)yA^{(1)}yA(1)y，是Ax=yAx=yAx=y的一个特解。第二项(I−A(1)A)z(I-A^{(1)}A)z(I−A(1)A)z，z∈Fnz\in{F^n}z∈Fn，实际上是齐次线性方程组Ax=0Ax=0Ax=0的通解（对Ax=0Ax=0Ax=0应用一下定理7即知）。这就回到了我们学习线性代数时熟悉的结论：非齐次方程的通解=非齐次方程的特解+对应齐次方程的通解。此外，根据列空间和零空间的定义，(I−A(1)A)z(I-A^{(1)}A)z(I−A(1)A)z是Ax=0Ax=0Ax=0的通解这一事实也说明了R(I−A(1)A)=N(A)R(I-A^{(1)}A)=N(A)R(I−A(1)A)=N(A)成立。
原本到这里问题就已经结束了，但其实还有个疑问，细心的朋友可能已经发现，既然A的任意一个（而不仅仅是某一个）{1}逆都能表达出Ax=yAx=yAx=y的所有解，那么这里必然蕴含着某些等量关系在里面。例如，如果我们取AAA的两个不同的{1}逆A1A_1A1和A2A_2A2，并且取一z0∈Fnz_0\in F^nz0∈Fn，那么我们知道x0=A1y+(I−A1A)z0x_0=A_1y+(I-A_1A)z_0x0=A1y+(I−A1A)z0是Ax=yAx=yAx=y的一个解（如果这个方程组有解的话），而且我们可以断定A2A_2A2也能表达出这个解，即一定存在某个z1∈Fnz_1\in F^nz1∈Fn使得x0=A2y+(I−A2A)z1x_0=A_2y+(I-A_2A)z_1x0=A2y+(I−A2A)z1。这就有A1y+(I−A1A)z0=A2y+(I−A2A)z1A_1y+(I-A_1A)z_0=A_2y+(I-A_2A)z_1A1y+(I−A1A)z0=A2y+(I−A2A)z1成立了。如果我们取的z0z_0z0恰好是零向量，那么就有A1y=A2y+(I−A2A)z1A_1y=A_2y+(I-A_2A)z_1A1y=A2y+(I−A2A)z1。如果我们把A1A_1A1换成别的{1}逆，那么我们也能得到类似这样的关系。
我们发现，给定AAA的一个{1}逆GGG，集合S={A(1)y∣A(1)∈A{1}}S=\{A^{(1)}y|A^{(1)}\in A\{1\}\}S={A(1)y∣A(1)∈A{1}}中的任一向量都可以被GGG表达出来，即存在z∈Fnz\in F^nz∈Fn使A(1)y=Gy+(I−GA)zA^{(1)}y=Gy+(I-GA)zA(1)y=Gy+(I−GA)z成立，而SSS中的向量不是别的，就是Ax=yAx=yAx=y的解。如果可以被GGG表达出来的向量都在SSS里面呢？那不就意味着SSS就是Ax=yAx=yAx=y的解集，x=A(1)y,A(1)∈A{1}x=A^{(1)}y,A^{(1)}\in A\{1\}x=A(1)y,A(1)∈A{1}是Ax=yAx=yAx=y的通解吗？
当y=0y=0y=0时，S={0}S=\{0\}S={0}，此时只有当A列满秩（即Ax=0Ax=0Ax=0只有零解时），SSS才包含Ax=yAx=yAx=y的所有解。那么当y≠0y\neq0y=0时呢？在解决这个问题之前，我们先将{1}逆这个工具运用到更一般的矩阵方程上。
- 定理8：关于Xm×nX_{m\times{n}}Xm×n的矩阵方程AXB=DAXB=DAXB=D有解的充要条件为，存在（或任意）A的一个{1}逆A(1)A^{(1)}A(1)和B的一个{1}逆B(1)B^{(1)}B(1)满足D=AA(1)DB(1)BD=AA^{(1)}DB^{(1)}BD=AA(1)DB(1)B；任意给定A的一个{1}逆A(1)A^{(1)}A(1)和B的一个{1}逆B(1)B^{(1)}B(1)，若AXB=DAXB=DAXB=D有解，则其通解为X=A(1)DB(1)+Y−A(1)AYBB(1),Y∈Fm×nX=A^{(1)}DB^{(1)}+Y-A^{(1)}AYBB^{(1)},Y\in{F^{m\times{n}}}X=A(1)DB(1)+Y−A(1)AYBB(1),Y∈Fm×n
证明：
若AXB=DAXB=DAXB=D有解，则D=AXB=AA(1)AXBB(1)B=AA(1)DB(1)BD=AXB=AA^{(1)}AXBB^{(1)}B=AA^{(1)}DB^{(1)}BD=AXB=AA(1)AXBB(1)B=AA(1)DB(1)B若D=AA(1)DB(1)BD=AA^{(1)}DB^{(1)}BD=AA(1)DB(1)B，则X=A(1)DB(1)X=A^{(1)}DB^{(1)}X=A(1)DB(1)是原方程的一个解。
将X=A(1)DB(1)+Y−A(1)AYBB(1)X=A^{(1)}DB^{(1)}+Y-A^{(1)}AYBB^{(1)}X=A(1)DB(1)+Y−A(1)AYBB(1)代入原方程得AXB=AA(1)DB(1)B+AYB−AA(1)AYBB(1)B=D+AYB−AYB=D\begin{aligned}AXB&=AA^{(1)}DB^{(1)}B+AYB-AA^{(1)}AYBB^{(1)}B\\&=D+AYB-AYB\\&=D\end{aligned}AXB=AA(1)DB(1)B+AYB−AA(1)AYBB(1)B=D+AYB−AYB=D故X=A(1)DB(1)+Y−A(1)AYBB(1)X=A^{(1)}DB^{(1)}+Y-A^{(1)}AYBB^{(1)}X=A(1)DB(1)+Y−A(1)AYBB(1)都是原方程的解。
任取原方程的一个解X0X_0X0，则AX0B=DAX_0B=DAX0B=D，令Y=X0Y=X_0Y=X0，则X=A(1)DB(1)+Y−A(1)AYBB(1)=A(1)DB(1)+X0−A(1)AX0BB(1)=X0+A(1)DB{1}−A(1)DB(1)=X0\begin{aligned}X&=A^{(1)}DB^{(1)}+Y-A^{(1)}AYBB^{(1)}\\&=A^{(1)}DB^{(1)}+X_0-A^{(1)}AX_0BB^{(1)}\\&=X_0+A^{(1)}DB^{\{1\}}-A^{(1)}DB^{(1)}\\&=X_0\end{aligned}X=A(1)DB(1)+Y−A(1)AYBB(1)=A(1)DB(1)+X0−A(1)AX0BB(1)=X0+A(1)DB{1}−A(1)DB(1)=X0故X=A(1)DB(1)+Y−A(1)AYBB(1)X=A^{(1)}DB^{(1)}+Y-A^{(1)}AYBB^{(1)}X=A(1)DB(1)+Y−A(1)AYBB(1)还包含了原方程的所有解。得证。
现在，我们考虑关于M的矩阵方程AMA=AAMA=AAMA=A，解该方程，得到如下结论：
- 定理9：给定Am×nA_{m\times{n}}Am×n的一个{1}逆GGG，则式M=G+Y−GAYAG,Y∈Fm×nM=G+Y-GAYAG,Y\in{F^{m\times{n}}}M=G+Y−GAYAG,Y∈Fm×n给出了A的全部{1}逆
证明：解方程AMA=AAMA=AAMA=A，可得通解M=GAG+Z−GAZAG,Z∈Fm×nM=GAG+Z-GAZAG,Z\in{F^{m\times{n}}}M=GAG+Z−GAZAG,Z∈Fm×n作变量代换Y=Z−GY=Z-GY=Z−G，得M=GAG+Y+G−GAYAG−GAGAG=G+Y+GAG−GAG−GAYAG=G+Y−GAYAG,Y∈Fm×n\begin{aligned}M&=GAG+Y+G-GAYAG-GAGAG\\&=G+Y+GAG-GAG-GAYAG\\&=G+Y-GAYAG,Y\in{F^{m\times{n}}}\end{aligned}M=GAG+Y+G−GAYAG−GAGAG=G+Y+GAG−GAG−GAYAG=G+Y−GAYAG,Y∈Fm×n得证。
这说明A的所有{1}逆都可以用A的某个给定的{1}逆表达出来。现在回到问题：集合{My∣M∈A{1}}\{My|M\in{A\{1\}}\}{My∣M∈A{1}}是否包含了Ax=yAx=yAx=y的所有解？有了上面的结论的铺垫，我们现在可以解决这个问题：
- 定理10：若Ax=y,y≠0Ax=y,y\neq0Ax=y,y=0有解，则其通解是x=My,M∈A{1}x=My,M\in{A\{1\}}x=My,M∈A{1}
证明：
设G是A的一个{1}逆，则由Ax=yAx=yAx=y有解知AGy=yAGy=yAGy=y，且原方程的通解是x=Gy+(I−GA)zx=Gy+(I-GA)zx=Gy+(I−GA)z。设M是A的任意一个{1}逆，则存在矩阵Y，使得M=G+Y−GAYAGM=G+Y-GAYAGM=G+Y−GAYAG。问题转化为，对任意z∈Fnz\in{F^n}z∈Fn，能否找到Y，使得Gy+(I−GA)z=My=Gy+Yy−GAYAGy=Gy+(I−GA)Yy\begin{aligned}Gy+(I-GA)z&=My\\&=Gy+Yy-GAYAGy\\&=Gy+(I-GA)Yy\end{aligned}Gy+(I−GA)z=My=Gy+Yy−GAYAGy=Gy+(I−GA)Yy成立。即是否存在Y使得(I−GA)(Yy−z)=0(I-GA)(Yy-z)=0(I−GA)(Yy−z)=0。显然，只要找到Y满足Yy=zYy=zYy=z即可。因为y≠0y\neq0y=0，故容易验证y(1)=(yHy)−1yHy^{(1)}=(y^Hy)^{-1}y^Hy(1)=(yHy)−1yH是y的一个{1}逆，且满足y(1)y=1y^{(1)}y=1y(1)y=1。因为zy(1)y=zzy^{(1)}y=zzy(1)y=z，故关于Y的矩阵方程Yy=zYy=zYy=z有解，且Y=zy(1)Y=zy^{(1)}Y=zy(1)就是它的一个解。综上，找到了Y，即找到了M使得My=Gy+(I−GA)zMy=Gy+(I-GA)zMy=Gy+(I−GA)z，得证。
实际上，证明可以大大简化：设x0x_0x0是Ax=y,y≠0Ax=y,y\neq 0Ax=y,y=0的一个解，G是A的一个{1}逆，则有x0=Gy+(I−GA)x0=Gy+(I−GA)x0y(1)y=(G+(I−GA)x0y(1))y\begin{aligned}x_0&=Gy+(I-GA)x_0\\&=Gy+(I-GA)x_0y^{(1)}y\\&=(G+(I-GA)x_0y^{(1)})y\end{aligned}x0=Gy+(I−GA)x0=Gy+(I−GA)x0y(1)y=(G+(I−GA)x0y(1))y其中，y(1)=(yHy)−1yHy^{(1)}=(y^Hy)^{-1}y^Hy(1)=(yHy)−1yH。根据{1}逆的定义可以验证G+(I−GA)x0y(1)G+(I-GA)x_0y^{(1)}G+(I−GA)x0y(1)是A的一个{1}逆，这就说明Ax=yAx=yAx=y的解都具备x=My,M∈A{1}x=My,M\in{A\{1\}}x=My,M∈A{1}这种形式。而将x=My,M∈A{1}x=My,M\in{A\{1\}}x=My,M∈A{1}代入Ax=yAx=yAx=y发现等式依然成立。故定理得证。
在机器学习中，线性回归模型是最基础也最简单的模型之一，在对实际数据进行拟合时，往往是不可能做到完全拟合的。故对于一般的线性回归问题，我们往往考虑其最小二乘解（或者完全等价地，最小化线性回归的代价函数，即均方误差函数）。而且我们通常不希望解的范数太大，故还需考虑其极小范数解（注意，解的范数可以直接约束解向量的每个分量的取值范围，例如从Frobenius范数的角度考虑，∀x∈Cn,∣xi∣⩽∣∣x∣∣2\forall x\in C^n,|x_i|\leqslant ||x||_2∀x∈Cn,∣xi∣⩽∣∣x∣∣2）。有了定理10的结论，我们在寻找这些特殊解时，就可以把目标定在寻找特殊的{1}逆上。那么都有哪些特殊的{1}逆呢？当然要先揪出{1}逆中的“老大”——PM逆，这样我们后面的问题就好解决了。
Penrose-Moore广义逆
Penrose于1955年提出了Penrose-Moore条件，满足这些条件中的任何一个的矩阵G都可以称为A的一个广义逆矩阵，它们分别是：
- AGA=A
- GAG=G
- AG是共轭对称的
- GA是共轭对称的
{1}逆是满足条件1的广义逆矩阵，这也是{1}逆的记法的来源。如果某一类广义逆满足上述的某些条件，那么就把这一类广义逆称作“{满足的条件的标号}\{满足的条件的标号\}{满足的条件的标号}逆”。例如满足条件1、2的叫做{1,2}逆，满足条件1、3、4的叫做{1,3,4}逆等等。共有24−1=152^4-1=1524−1=15类广义逆矩阵，其中得到重要应用的有{1,2}逆（自反广义逆矩阵）、{1,2,3}逆（正规化广义逆矩阵）、{1,2,4}逆（弱广义逆矩阵）、{1,2,3,4}逆（Penrose-Moore广义逆）等，当然还有后文会用到的{1,3}逆和{1,4}逆。
定义：设A∈Fm×nA\in{F^{m\times{n}}}A∈Fm×n，G∈Fn×mG\in{F^{n\times{m}}}G∈Fn×m，若G满足如下四个条件，则称G是A的Penrose-Moore广义逆矩阵，简称PM逆，记为G=A+G=A^+G=A+：
- AGA=AAGA=AAGA=A
- GAG=GGAG=GGAG=G
- (AG)H=AG(AG)^H=AG(AG)H=AG
- (GA)H=GA(GA)^H=GA(GA)H=GA
PM逆不仅在数学规划中有着重要的应用，还在概率统计、数值分析、系统控制、博弈论、信号处理和网络理论等领域有着广泛的应用。这是因为PM逆具有着非常优良的数学性质，使得其在各个领域的理论分析中占有着重要的地位。现在，我们就来看看PM逆都有哪些优良的性质。
PM逆的存在性与唯一性：
- 定理11：任意A∈Frm×nA\in{F^{m\times{n}}_r}A∈Frm×n，AAA的PM逆是存在且唯一的
证明：
存在性：当r=0r=0r=0时，易验证On×mO_{n\times{m}}On×m是A的一个PM逆。
当r>0r\gt{0}r>0时，存在A的满秩分解A=KLA=KLA=KL，其中K∈Fm×rK\in{F^{m\times{r}}}K∈Fm×r是列满秩矩阵，L∈Fr×nL\in{F^{r\times{n}}}L∈Fr×n是行满秩矩阵。由于r(KHK)=r(K)=rr(K^HK)=r(K)=rr(KHK)=r(K)=r以及r(LLH)=r(L)=rr(LL^H)=r(L)=rr(LLH)=r(L)=r，故KHKK^HKKHK和LLHLL^HLLH是满秩方阵。故KHKLLHK^HKLL^HKHKLLH是可逆方阵。设G=LH(KHKLLH)−1KHG=L^H(K^HKLL^H)^{-1}K^HG=LH(KHKLLH)−1KH，现在证明G是A的一个PM逆：
AGA=KLLH(KHKLLH)−1KHKL=K(LLH)(LLH)−1(KHK)−1(KHK)L=KL=A\begin{aligned}AGA&=KLL^H(K^HKLL^H)^{-1}K^HKL\\&=K(LL^H)(LL^H)^{-1}(K^HK)^{-1}(K^HK)L\\&=KL\\&=A\end{aligned}AGA=KLLH(KHKLLH)−1KHKL=K(LLH)(LLH)−1(KHK)−1(KHK)L=KL=AGAG=LH(KHKLLH)−1KHKLLH(KHKLLH)−1KH=LH(LLH)−1(KHK)−1(KHK)(LLH)(LLH)−1(KHK)−1KH=LH(KHKLLH)−1KH=G\begin{aligned}GAG&=L^H(K^HKLL^H)^{-1}K^HKLL^H(K^HKLL^H)^{-1}K^H\\&=L^H(LL^H)^{-1}(K^HK)^{-1}(K^HK)(LL^H)(LL^H)^{-1}(K^HK)^{-1}K^H\\&=L^H(K^HKLL^H)^{-1}K^H\\&=G\end{aligned}GAG=LH(KHKLLH)−1KHKLLH(KHKLLH)−1KH=LH(LLH)−1(KHK)−1(KHK)(LLH)(LLH)−1(KHK)−1KH=LH(KHKLLH)−1KH=GGA=LH(KHKLLH)−1KHKL=LH(LLH)−1(KHK)−1(KHK)L=LH(LLH)−1L\begin{aligned}GA&=L^H(K^HKLL^H)^{-1}K^HKL\\&=L^H(LL^H)^{-1}(K^HK)^{-1}(K^HK)L\\&=L^H(LL^H)^{-1}L\end{aligned}GA=LH(KHKLLH)−1KHKL=LH(LLH)−1(KHK)−1(KHK)L=LH(LLH)−1L(GA)H=LH((LLH)−1)HL=LH(LLH)−1L=GA(GA)^H=L^H((LL^H)^{-1})^HL=L^H(LL^H)^{-1}L=GA(GA)H=LH((LLH)−1)HL=LH(LLH)−1L=GAAG=KLLH(KHKLLH)−1KH=K(LLH)(LLH)−1(KHK)−1KH=K(KHK)−1KH\begin{aligned}AG&=KLL^H(K^HKLL^H)^{-1}K^H\\&=K(LL^H)(LL^H)^{-1}(K^HK)^{-1}K^H\\&=K(K^HK)^{-1}K^H\end{aligned}AG=KLLH(KHKLLH)−1KH=K(LLH)(LLH)−1(KHK)−1KH=K(KHK)−1KH(AG)H=K((KHK)−1)HKH=K(KHK)−1KH=AG(AG)^H=K((K^HK)^{-1})^HK^H=K(K^HK)^{-1}K^H=AG(AG)H=K((KHK)−1)HKH=K(KHK)−1KH=AG这就证明了A的PM逆的存在性。
唯一性：设X,YX,YX,Y分别是A的一个PM逆，则X=XAX=(XA)HX=AHXHX=(AYA)HXHX=AHYHAHXHX=(YA)H(XA)HX=YAXAX=YAX=Y(AX)H=YXHAH=YXH(AYA)H=YXHAHYHAH=Y(AX)H(AY)H=YAXAY=YAY=YX=XAX=(XA)^HX=A^HX^HX=(AYA)^HX^HX\\=A^HY^HA^HX^HX=(YA)^H(XA)^HX=YAXAX\\=YAX=Y(AX)^H=YX^HA^H\\=YX^H(AYA)^H=YX^HA^HY^HA^H\\=Y(AX)^H(AY)^H=YAXAY=YAY=YX=XAX=(XA)HX=AHXHX=(AYA)HXHX=AHYHAHXHX=(YA)H(XA)HX=YAXAX=YAX=Y(AX)H=YXHAH=YXH(AYA)H=YXHAHYHAH=Y(AX)H(AY)H=YAXAY=YAY=Y这就证明了PM逆的唯一性。得证。
【注】唯一性的证明可以说比较“辣眼睛”，但证明过程实际上是灵活地运用Penrose的四个条件，证明X=YX=YX=Y的关键步骤是先得到X=YAXX=YAXX=YAX，再证明YAX=YYAX=YYAX=Y。建议读者自己推导，便于理解。
该定理不仅证明了PM逆的存在性和唯一性，还给出了求PM逆的一种求法：满秩分解法。
PM逆的秩的性质：
- 定理12：r(A)=r(A+)=r(AA+)=r(A+A)=r(AA+A)=r(A+AA+)r(A)=r(A^+)=r(AA^+)=r(A^+A)=r(AA^+A)=r(A^+AA^+)r(A)=r(A+)=r(AA+)=r(A+A)=r(AA+A)=r(A+AA+)
证明：（不断利用秩不等式r(AB)⩽min{r(A),r(B)}r(AB)\leqslant \min\{r(A),r(B)\}r(AB)⩽min{r(A),r(B)}）
因为r(A)=r(AA+A)⩽r(AA+)⩽r(A+)r(A)=r(AA^+A)\leqslant{}r(AA^+)\leqslant{r(A^+)}r(A)=r(AA+A)⩽r(AA+)⩽r(A+)r(A+)=r(A+AA+)⩽r(A+A)⩽r(A)r(A^+)=r(A^+AA^+)\leqslant{}r(A^+A)\leqslant{}r(A)r(A+)=r(A+AA+)⩽r(A+A)⩽r(A)r(AA+)⩽r(A)r(AA^+)\leqslant{}r(A)r(AA+)⩽r(A)r(A+A)⩽r(A+)r(A^+A)\leqslant{}r(A^+)r(A+A)⩽r(A+)所以r(A)=r(A+)=r(AA+)=r(A+A)=r(AA+A)=r(A+AA+)r(A)=r(A^+)=r(AA^+)=r(A^+A)=r(AA^+A)=r(A^+AA^+)r(A)=r(A+)=r(AA+)=r(A+A)=r(AA+A)=r(A+AA+)得证。
【推论】
根据列空间的定义，有R(AA+)⊆R(A)R(AA^+)\subseteq R(A)R(AA+)⊆R(A)，而r(A)=r(AA+)r(A)=r(AA^+)r(A)=r(AA+)告诉我们dimR(A)=dimR(AA+)\dim R(A)=\dim R(AA^+)dimR(A)=dimR(AA+)，因此我们有R(AA+)=R(A)R(AA^+)=R(A)R(AA+)=R(A)。同理分析，根据r(A+)=r(A+A)r(A^+)=r(A^+A)r(A+)=r(A+A)可以得到R(A+A)=R(A+)R(A^+A)=R(A^+)R(A+A)=R(A+)。
PM逆有以下列出的一些计算性质（用PM的定义容易验证）：
- (A+)+=A(A^+)^+=A(A+)+=A
- (AT)+=(A+)T(A^T)^+=(A^+)^T(AT)+=(A+)T
- (AH)+=(A+)H(A^H)^+=(A^+)^H(AH)+=(A+)H
- (kA)+=1kA+,k∈F,k≠0(kA)^+=\frac{1}{k}A^+,k\in{F},k\neq0(kA)+=k1A+,k∈F,k=0
- 若A是n阶(n⩾2)(n\geqslant{2})(n⩾2)方阵，则(A∗)+=(A+)∗(A^*)^+=(A^+)^*(A∗)+=(A+)∗，其中A∗A^*A∗是A的伴随矩阵
- 一般(AB)+≠B+A+(AB)^+\neq{}B^+A^+(AB)+=B+A+，但是(AHA)+=A+(AH)+(A^HA)^+=A^+(A^H)^+(AHA)+=A+(AH)+且(AAH)+=(AH)+A+(AA^H)^+=(A^H)^+A^+(AAH)+=(AH)+A+
- (A+A)+=A+A(A^+A)^+=A^+A(A+A)+=A+A，(AA+)+=AA+(AA^+)^+=AA^+(AA+)+=AA+
- (I−A+A)+=I−A+A(I-A^+A)^+=I-A^+A(I−A+A)+=I−A+A，(I−AA+)+=I−AA+(I-AA^+)^+=I-AA^+(I−AA+)+=I−AA+
- 若U、V为酋矩阵，则(UAV)+=VHA+UH(UAV)^+=V^HA^+U^H(UAV)+=VHA+UH
从PM逆的特性上看，PM逆可能是最接近逆矩阵的广义逆了（唯一性、秩的关系、计算性质等）。当方阵A可逆时，容易验证A+A^+A+就是A的逆矩阵。此外，如果对矩阵AAA作一些限定，会发现A+A^+A+有个性质比较接近逆矩阵的定义：
（注意，AAA不一定是方阵）
- 定理13：设A∈Fm×nA\in F^{m\times n}A∈Fm×n，则A+A=InA^+A=I_nA+A=In的充要条件为AAA列满秩
证明：（利用定理12的结论）
必要性：若A+A=IA^+A=IA+A=I，则由r(A)=r(A+A)=nr(A)=r(A^+A)=nr(A)=r(A+A)=n知A是列满秩矩阵
充分性：若A是列满秩矩阵，则由r(A+A)=r(A)=nr(A^+A)=r(A)=nr(A+A)=r(A)=n知A+AA^+AA+A是满秩方阵，用(A+A)−1(A^+A)^{-1}(A+A)−1左乘A+AA+A=A+AA^+AA^+A=A^+AA+AA+A=A+A，即得A+A=IA^+A=IA+A=I
【注】前面提到过，当A列满秩时，A的左逆矩阵存在，左伪逆L=(AHA)−1AHL=(A^HA)^{-1}A^HL=(AHA)−1AH是A的一个左逆矩阵。容易验证LLL就是AAA的PM逆。 - 定理14：AA+=ImAA^+=I_mAA+=Im的充要条件为Am×nA_{m\times{n}}Am×n是行满秩矩阵
证明：与上同理。
【注】前面提到过，当A行满秩时，A的右逆矩阵存在，右伪逆R=AH(AAH)−1R=A^H(AA^H)^{-1}R=AH(AAH)−1是A的一个右逆矩阵。容易验证RRR就是AAA的PM逆。
PM逆作为一种特殊的{1}逆，当然可以像{1}逆那样表达线性方程组的解的结构：
- 定理15：线性方程Am×nx=yA_{m\times{n}}x=yAm×nx=y有解的充要条件为y=AA+yy=AA^+yy=AA+y，若它有解，则通解为x=A+y+(I−A+A)z,z∈Fnx=A^+y+(I-A^+A)z,z\in{F^n}x=A+y+(I−A+A)z,z∈Fn
证明：
若y=AA+yy=AA^+yy=AA+y，即存在A的一个{1}\{1\}{1}逆使得y=AA(1)yy=AA^{(1)}yy=AA(1)y，则由定理5知原方程有解；若原方程有解，由定理6知对A的任意一个{1}\{1\}{1}逆都有y=AA(1)yy=AA^{(1)}yy=AA(1)y成立，自然y=AA+yy=AA^+yy=AA+y也是成立的。通解式由定理7得到。
【推论】
对齐次线性方程组Ax=0Ax=0Ax=0应用定理15，就有(I−A+A)z,z∈Fn(I-A^+A)z,z\in F^n(I−A+A)z,z∈Fn是Ax=0Ax=0Ax=0的通解，这意味着R(I−A+A)=N(A)R(I-A^+A)=N(A)R(I−A+A)=N(A)。
对齐次线性方程组(I−AA+)x=0(I-AA^+)x=0(I−AA+)x=0应用定理15，有AA+z,z∈FmAA^+z,z\in F^mAA+z,z∈Fm是(I−AA+)x=0(I-AA^+)x=0(I−AA+)x=0的通解，因此R(AA+)=N(I−AA+)R(AA^+)=N(I-AA^+)R(AA+)=N(I−AA+)。 - 定理16：关于Xm×nX_{m\times{n}}Xm×n的矩阵方程AXB=DAXB=DAXB=D有解的充要条件为D=AA+DB+BD=AA^+DB^+BD=AA+DB+B，若它有解，则通解为X=A+DB++Y−A+AYBB+,Y∈Fm×nX=A^+DB^++Y-A^+AYBB^+,Y\in{F^{m\times{n}}}X=A+DB++Y−A+AYBB+,Y∈Fm×n
借助PM逆，我们还能解决方程解的唯一性问题：
线性方程组的解的唯一性：
- 定理17：设A∈Fm×nA\in F^{m\times n}A∈Fm×n，且线性方程组Ax=yAx=yAx=y有解，则解唯一的充要条件为A列满秩
证明：
必要性：考虑方程的通解x=A+y+(I−A+A)z,z∈Fnx=A^+y+(I-A^+A)z,z\in{F^n}x=A+y+(I−A+A)z,z∈Fn，显然若方程的解唯一，则必有∀z∈Fn,(I−A+A)z=0\forall{z}\in{F^n},(I-A^+A)z=0∀z∈Fn,(I−A+A)z=0。故由零矩阵的判定条件知A+A=IA^+A=IA+A=I，根据定理13知A列满秩。
充分性：若A列满秩，则根据定理13有A+A=IA^+A=IA+A=I，故方程的通解x=A+y+(I−A+A)z=A+yx=A^+y+(I-A^+A)z=A^+yx=A+y+(I−A+A)z=A+y，可见方程的解是唯一的。
【注】根据这个结论，当Ax=yAx=yAx=y的解存在且唯一时，A列满秩。结合前面的讨论知道，此时A+=(AHA)−1AHA^+=(A^HA)^{-1}A^HA+=(AHA)−1AH，因此Ax=yAx=yAx=y的唯一解是x=A+y=(AHA)−1AHyx=A^+y=(A^HA)^{-1}A^Hyx=A+y=(AHA)−1AHy。
矩阵方程的解的唯一性：
- 定理18：设关于Xm×nX_{m\times{n}}Xm×n的矩阵方程AXB=DAXB=DAXB=D有解，则解唯一的充要条件为A列满秩且B行满秩
证明：
必要性：考虑通解X=A+DB++Y−A+AYBB+,Y∈Fm×nX=A^+DB^++Y-A^+AYBB^+,Y\in{F^{m\times{n}}}X=A+DB++Y−A+AYBB+,Y∈Fm×n，若解唯一，则∀Y∈Fm×n,Y=A+AYBB+\forall{Y}\in{F^{m\times{n}}},Y=A^+AYBB^+∀Y∈Fm×n,Y=A+AYBB+。下面分情况讨论：
若m⩾nm\geqslant{n}m⩾n，则可取到列满秩的YYY。由r(Y)=r(A+AYBB+)⩽r(B)r(Y)=r(A^+AYBB^+)\leqslant{r(B)}r(Y)=r(A+AYBB+)⩽r(B)知，BBB是行满秩的。故BB+=IBB^+=IBB+=I，进一步∀Y∈Fm×n,Y=A+AY\forall{Y}\in{F^{m\times{n}}},Y=A^+AY∀Y∈Fm×n,Y=A+AY即(I−A+A)Y=O(I-A^+A)Y=O(I−A+A)Y=O。那么∀z∈Fm,(I−A+A)z=0\forall{z}\in{F^m},(I-A^+A)z=0∀z∈Fm,(I−A+A)z=0。由零矩阵的判定条件得，A+A=IA^+A=IA+A=I，故AAA列满秩。
若m⩽nm\leqslant{n}m⩽n，则可取到行满秩的Y，由r(Y)=r(A+AYBB+)⩽r(A)r(Y)=r(A^+AYBB^+)\leqslant{r(A)}r(Y)=r(A+AYBB+)⩽r(A)得，A列满秩。故A+A=IA^+A=IA+A=I，进一步∀Y∈Fm×n,Y=YBB+\forall{Y}\in{F^{m\times{n}}},Y=YBB^+∀Y∈Fm×n,Y=YBB+即Y(I−BB+)=OY(I-BB^+)=OY(I−BB+)=O。则∀z∈Fn,zT(I−BB+)=0\forall{z}\in{F^n},z^T(I-BB^+)=0∀z∈Fn,zT(I−BB+)=0。由零矩阵的判定条件得，BB+=IBB^+=IBB+=I，故BBB行满秩。
综上，无论何种情况，若方程的解唯一，则AAA列满秩且BBB行满秩。
充分性：若AAA列满秩且BBB行满秩，则A+A=IA^+A=IA+A=I且BB+=IBB^+=IBB+=I。故方程的通解X=A+DB++Y−A+AYBB+=A+DB++Y−Y=A+DB+X=A^+DB^++Y-A^+AYBB^+=A^+DB^++Y-Y=A^+DB^+X=A+DB++Y−A+AYBB+=A+DB++Y−Y=A+DB+，可见方程的解是唯一的。得证。
【注】根据这个结论，当AXB=DAXB=DAXB=D的解存在且唯一时，有A列满秩且B行满秩。结合前面的讨论知道，此时A+=(AHA)−1AHA^+=(A^HA)^{-1}A^HA+=(AHA)−1AH，B+=BH(BBH)−1B^+=B^H(BB^H)^{-1}B+=BH(BBH)−1，因此AXB=DAXB=DAXB=D的唯一解是x=A+DB+=(AHA)−1AHDBH(BBH)−1x=A^+DB^+=(A^HA)^{-1}A^HDB^H(BB^H)^{-1}x=A+DB+=(AHA)−1AHDBH(BBH)−1。
PM逆的列空间与零空间：
- 定理19：N(A+)=N(AH)N(A^+)=N(A^H)N(A+)=N(AH)，R((AH)+)=R(A)R((A^H)^+)=R(A)R((AH)+)=R(A)
证明：
只需证明A+x=0A^+x=0A+x=0和AHx=0A^Hx=0AHx=0是同解方程组即可。前者的通解为x=(I−(A+)+A+)z=(I−AA+)zx=(I-(A^+)^+A^+)z=(I-AA^+)zx=(I−(A+)+A+)z=(I−AA+)z，后者的通解为x=(I−(AH)+AH)z=(I−(AA+)H)z=(I−AA+)zx=(I-(A^H)^+A^H)z=(I-(AA^+)^H)z=(I-AA^+)zx=(I−(AH)+AH)z=(I−(AA+)H)z=(I−AA+)z，可见它们是同解方程组，所以N(A+)=N(AH)N(A^+)=N(A^H)N(A+)=N(AH)。进而N(A+)⊥=N(AH)⊥N(A^+)^\bot=N(A^H)^\botN(A+)⊥=N(AH)⊥，即R((AH)+)=R(A)R((A^H)^+)=R(A)R((AH)+)=R(A)。 - 定理20：N((AH)+)=N(A)N((A^H)^+)=N(A)N((AH)+)=N(A)，R(A+)=R(AH)R(A^+)=R(A^H)R(A+)=R(AH)
证明：与上同理。
我们把定理12的推论、定理15的推论和定理19、定理20放在一起做个总结就是：R(A)=R((AH)+)=R(AA+)=N(I−AA+)R(A+)=R(AH)=R(A+A)=N(I−A+A)N(AH)=N(A+)=N(AA+)=R(I−AA+)N((AH)+)=N(A)=N(A+A)=R(I−A+A)R(A)=R((A^H)^+)=R(AA^+)=N(I-AA^+)\\R(A^+)=R(A^H)=R(A^+A)=N(I-A^+A)\\N(A^H)=N(A^+)=N(AA^+)=R(I-AA^+)\\N((A^H)^+)=N(A)=N(A^+A)=R(I-A^+A)R(A)=R((AH)+)=R(AA+)=N(I−AA+)R(A+)=R(AH)=R(A+A)=N(I−A+A)N(AH)=N(A+)=N(AA+)=R(I−AA+)N((AH)+)=N(A)=N(A+A)=R(I−A+A)其中，后面两个式子是前面两个式子取正交补的结果。第二个式子还可以看做是第一个式子将AAA代之以A+A^+A+得到的结果。
至此，关于PM逆如何计算的问题，我们只提到了一种方法：满秩分解法。实际上，求解PM逆还有很多行之有效的方法。这里介绍两例：
奇异值分解法：设矩阵A∈Cm×nA\in{C^{m\times{n}}}A∈Cm×n，A的奇异值分解为A=UΣVHA=U\Sigma{V^H}A=UΣVH，其中U、V均为酋矩阵，Σ\SigmaΣ是广义对角矩阵。则用PM逆的定义验证可得A+=VΣ+UHA^+=V\Sigma{}^+U^HA+=VΣ+UH。
【注】由于奇异值分解已有成熟的数值稳定性较好的算法，使用计算机求解PM逆时往往就是用奇异值分解法。（奇异值分解可参考链接）Greville递推法
【注】若初始列向量a1=0a_1=0a1=0，图中公式不适用，此时这样计算：a1+=a1Ta_1^+=a_1^Ta1+=a1T
矩阵论（一）：广义逆矩阵（上）相关推荐
- 【矩阵论】广义逆矩阵与线性方程组求解思维导图
前言:为什么需要广义逆矩阵? 我们在书中所学的逆矩阵A−1A^{-1}A−1必须是非奇异矩阵才行,但现实生活中有大量矩阵不一定是方阵,而就算是方阵也可能是奇异的(detA=0)(\det A=0)( ...
- 有用的网址集合, IT杂谈
http://antkillerfarm.github.io/ 有用的网址集合 教程类 http://packages.ubuntu.com/ 使用apt-get获取软件虽然方便,但是从ubuntu的 ...
- 如何理解矩阵相乘的几何意义或现实意义？
作者:deng will 链接:https://www.zhihu.com/question/28623194/answer/135658852 来源:知乎 著作权归作者所有.商业转载请联系作者获得授 ...
- 关于Mongodb的全面总结，学习mongodb的人，可以从这里开始！
转载地址:http://blog.csdn.net/he90227/article/details/45674513 原文地址:http://blog.csdn.NET/jakenson/articl ...
- 【数理知识】《矩阵论》方保镕老师-第6章-广义逆矩阵及其应用
上一章 回到目录 下一章 第6章-广义逆矩阵及其应用 6.1 矩阵的集中广义逆 6.1.1 广义逆矩阵的基本概念 定义 6.1.1 6.1.2 减号逆 A−A^-A− 6.1.3 自反减号逆 Ar−A ...
- 【矩阵论】1.准备知识——复数域上的内积域正交阵
矩阵论 1. 准备知识--复数域上的矩阵与换位公式) 1. 准备知识--复数域上的内积域正交阵 1. 准备知识--相似对角化与合同&正定阵 2. 矩阵分解-- SVD准备知识--奇异值 2. ...
- 【矩阵论】1. 准备知识——复数域上矩阵,Hermite变换
矩阵论 1. 准备知识--复数域上矩阵,Hermite变换 1.准备知识--复数域上的内积域正交阵 1.准备知识--Hermite阵,二次型,矩阵合同,正定阵,幂0阵,幂等阵,矩阵的秩 2. 矩阵分解 ...
- 【矩阵论】特征值的估计(上下界和盖尔圆)
前言:为什么不直接求特征值而是去估计特征值? 当我们遇到的不是书本上的3阶或4阶矩阵,而是高阶矩阵时(如图像中的256×256),我们再使用特征方程det(λI−A)=0\det(\lambda I ...
- 矩阵论笔记（十）——广义逆矩阵
当 AA 满秩时,方程 Ax=bAx = b 的解为 x=A−1bx = A^{-1}b.但当 AA 不满秩,甚至方程 Ax=bAx = b 无解时,我们也希望用某种逆 A†A^\dagger 的形式 ...
最新文章
- vim编辑器高级应用
- 一位大学教授学习数学的体会
- 【Linux系统编程】线程同步与互斥：互斥锁
- Hashtable排序
- 中石油训练赛 - Spiral Matrix(找规律)
- Windows 11 高门槛吓退用户，Linux 成香饽饽？
- 低耗时、高精度，微软提出基于半监督学习的神经网络结构搜索算法 SemiNAS
- CAN 总线嵌入式驱动编程
- 大工13秋 c/c++语言程序设计 在线作业3,大工19秋《JavaScript基础教程与应用》在线作业3【满分答案】...
- 摔了 计算机无法启动,电脑被摔后不能进系统，我说重装系统试试，客户：系统能被摔坏？...
- excel两列数据对比找不同_怎么在excel中对比两列数据并查找重复项？
- java.lang.IllegalArgumentException: Unable to create converter for class xxxx
- 消费者需求研究能够解决什么问题
- 数据结构＜1＞时空复杂度详解
- 这就是你日日夜夜想要的docker！！！---------三分钟带你玩转docker命令
- 【点宽专栏】模型投资的风险和矛盾
- 家里有宽带还能再装一条吗_家里一条宽带可以装两个无线路由器吗？要怎么安装？怎么设置？...
- 叶绿体基因做跨物种系统发育分析
- IMDB的数据库结构
- 信号量解决进程的同步和互斥