文章目录

前言
一、左逆矩阵与右逆矩阵
- 1. 左逆矩阵与右逆矩阵的存在性
- 2. 左逆矩阵与右逆矩阵的唯一解
二、广义逆矩阵的定义及性质
- 1. 一致性方程
- 2. 广义逆矩阵 GGG
- 3. 广义逆矩阵的其他两种定义
三、广义逆矩阵的计算
- 1. 满秩分解
- 2. 广义逆矩阵的计算
四、一致方程的最小范数解
- 1. 通解
- 2. 最小范数解
- 3. 伴随矩阵 (区别于常规的伴随矩阵)
- 4. 最小范数解的求取
- 5. 注释
- 6. 特别情况
五、非一致方程的最小二乘解
- 1. 最小二乘解的条件
- 2. 注释
- 3. 特别情况
- 4. 左伪逆矩阵满足最小二乘解

前言

本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.

之前说的逆矩阵都是在方阵的条件下进行讨论的, 然后这部分内容将方阵推广到一般矩阵.

一、左逆矩阵与右逆矩阵

1. 左逆矩阵与右逆矩阵的存在性

从广义角度来讲, 对于任意矩阵 AAA, 只要有一个矩阵 LLL 使得 LA=ILA=ILA=I, 那么矩阵 LLL 就是 AAA 的逆矩阵. 那么 LLL 存在着三种情况.

LLL 存在且唯一
LLL 存在但不唯一
LLL 不存在

定义 1: 满足 LA=ILA = ILA=I, 但不满足 AL=IAL=IAL=I 的矩阵 LLL 称为矩阵 AAA 的左逆矩阵. 同理, 满足 AR=IAR=IAR=I, 但不满足 RA=IRA=IRA=I 的矩阵称为矩阵 AAA 的右逆矩阵.

定理 1: 仅当 m≥nm \ge nm≥n 时, 矩阵 A∈Cm×nA \in C^{m \times n}A∈Cm×n 可能有左逆矩阵. (证明方法是把矩阵转换成分块矩阵)

定理 2: 仅当 m≤nm \le nm≤n 时, 矩阵 A∈Cm×nA \in C^{m \times n}A∈Cm×n 可能有右逆矩阵. (证明方法同定理 1 类似)

特别地, 方阵的左逆矩阵和右逆矩阵相等, 那么这个方阵就是非奇异的. 它的逆矩阵即使左逆矩阵, 又是右逆矩阵.

2. 左逆矩阵与右逆矩阵的唯一解

对给定的 m×nm \times nm×n 矩阵 AAA, 考察 m>nm > nm>n 且 AAA 具有满列秩 (rankA=n\mathrm{rank}A=nrankA=n) 的情况. 易得,

L=(AHA)−1AH(1)L=(A^{\mathrm{H}}A)^{-1}A^{\mathrm{H}} \tag{1} L=(AHA)−1AH(1)

满足左逆矩阵的定义 LA=ILA=ILA=I, 这种左逆矩阵是唯一的, 常称为左伪逆矩阵.

考察 m<nm < nm<n 且 AAA 具有满行秩 (rankA=m\mathrm{rank}A=mrankA=m) 的情况. 此时, m×mm \times mm×m 矩阵 AAHAA^{\mathrm{H}}AAH 是可逆的, 定义

R=AH(AAH)−1(2)R = A^{\mathrm{H}}(AA^{\mathrm{H}})^{-1} \tag{2} R=AH(AAH)−1(2)

满足右逆矩阵的定义 AR=IAR=IAR=I, 这种右逆矩阵是唯一的, 常称为右伪逆矩阵.

左伪逆矩阵与超定方程的最小二乘解密切相关, 而右伪逆矩阵则与欠定方程的最小二乘和最小范数解密切联系.

二、广义逆矩阵的定义及性质

1. 一致性方程

一致性方程：

定义 2: 若矩阵 AAA 行之间存在的线性关系同时也存在于向量 yyy 的对应元素之间, 则称 Am×nxn×1=ym×1A_{m \times n}x_{n \times 1}=y_{m \times 1}Am×nxn×1=ym×1 为一致性方程.

定理 3: 当且仅当方程为一致性方程时, 这线性方程组可以求解.

定理 4: 线性方程 Ax=yAx=yAx=y 是一致的, 当且仅当增广矩阵 [A,y][A,y][A,y] 的秩等于矩阵 A 的秩, 即：

rank([A,y])=rank(A)rank([A,y]) = rank(A) rank([A,y])=rank(A)

2. 广义逆矩阵 GGG

广义逆矩阵 GGG:

定义 3: 若 AAA 是一个 m×nm \times nm×n 矩阵, 且具有任意秩. 即矩阵 AAA 的广义逆矩阵是一个 n×mn \times mn×m 矩阵 GGG, 并且使得当 Ax=yAx = yAx=y 为一致性方程时, x=Gyx = Gyx=Gy 是线性方程 Ax=yAx=yAx=y 的解.

定理 5: 当且仅当 AGA=AAGA = AAGA=A时, 一致性方程 Ax=yAx = yAx=y 对于 y≠0y \neq 0y=0 有解 x=Gyx = Gyx=Gy.

命题 1: 方程 Ax=0Ax=0Ax=0 的解与矩阵A的任意行正交, 并且线性无关.

证明:

我们知道 Ax=0Ax=0Ax=0 是一个一致性方程, 即矩阵 AAA 之中行之间的关系存在于 0 向量中. 线性方程也一定是有解的. 用 aTa^TaT 表示矩阵中的任意一行, x~\tilde{x}x~ 表示方程的一个解,即有 aTx~=0a^T \tilde{x}=0aTx~=0, 即解与 AAA 中任意一行正交.

m×nm \times nm×n 矩阵 AAA 的广义逆矩阵 GGG 用符号 A−A^-A− 表示, 即 G=A−G = A^-G=A−

引理 1: A−A^-A− 存在 ⇔AA−A=A\Leftrightarrow AA^-A=A⇔AA−A=A

证明 :

⇒\Rightarrow⇒ 的证明

令 y=Azy = Azy=Az 且 zzz 是一个 n×1n \times 1n×1 的任意向量, 即有 Ax=yAx = yAx=y 是一致性方程.

在这里, 广义逆矩阵 A−A^-A− 存在的话, 就意味着:

A(A−Az)=A(A−y)=Az,∀z⇒AA−A=AA(A^-Az) = A(A^- y) = Az , \quad \forall z \quad \Rightarrow AA^-A=A A(A−Az)=A(A−y)=Az,∀z⇒AA−A=A

⇐\Leftarrow⇐ 的证明

若 AGA=AAGA = AAGA=A, 我们需要证明 GGG 就是矩阵 AAA 的广义逆矩阵 A−A^-A−

若 Ax=yAx = yAx=y 是一致性方程, 则 ∃\exists∃ 解向量 www 满足 Aw=yAw = yAw=y 。

由于 AGA=AAGA = AAGA=A, 即 AGAw=Aw⇒AGy=Aw=yAGAw = Aw \Rightarrow AGy = Aw = yAGAw=Aw⇒AGy=Aw=y. 即我们看到 GyGyGy 满足线性方程 Ax=yAx = yAx=y.

即 $ Gy $ 是 $ Ax = y $ 的一个解向量，即 $ G = A^- $

引理 2: 下面结论为真

A−A^-A− 存在 ⇔H=A−A\Leftrightarrow H=A^-A⇔H=A−A 为幂等矩阵 (即 H2=HH^2 = HH2=H) 和 rank(H)=rank(A)\mathrm{rank}(H)=\mathrm{rank}(A)rank(H)=rank(A).
A−A^-A− 存在 ⇔F=AA−\Leftrightarrow F=AA^-⇔F=AA− 为幂等矩阵 (即 F2=FF^2 = FF2=F) 和 rank(F)=rank(A)\mathrm{rank}(F)=\mathrm{rank}(A)rank(F)=rank(A).

而对于 ⇒\Rightarrow⇒ 的证明:

这个我们用上面的 AA−A=AAA^-A = AAA−A=A 同时左乘一个 A−A^-A− 即可证明 H2=HH^2 = HH2=H

而矩阵性质: rank(AB)≤rank(A)\mathrm{rank}(AB) \leq \mathrm{rank}(A)rank(AB)≤rank(A) 或者 rank(AB)≤rank(B)\mathrm{rank}(AB) \leq \mathrm{rank}(B)rank(AB)≤rank(B) ，

又有 H=A−AH = A^-AH=A−A 以及 AH=AA−A=AAH = AA^-A = AAH=AA−A=A

即我们有: rank(A)≥rank(H)≥rank(AH)≥rank(A)\mathrm{rank}(A) \geq \mathrm{rank}(H) \geq \mathrm{rank}(AH) \geq \mathrm{rank}(A)rank(A)≥rank(H)≥rank(AH)≥rank(A)

得证 rank(H)=rank(A)\mathrm{rank}(H) = \mathrm{rank}(A)rank(H)=rank(A)

而对于 ⇐\Leftarrow⇐ 的证明:

我们假定 H=A−AH = A^-AH=A−A 是幂等矩阵, 且 rank(H)=rank(A)\mathrm{rank}(H)=\mathrm{rank}(A)rank(H)=rank(A)

即我们有 H(I−H)=O⇒A−A(I−A−A)=O⇒A(I−A−A)=O⇒AA−A=AH(I-H) = O \Rightarrow A^- A(I-A^-A) = O \Rightarrow A(I-A^-A) = O \Rightarrow AA^-A = AH(I−H)=O⇒A−A(I−A−A)=O⇒A(I−A−A)=O⇒AA−A=A

类似可证明另一个结论.

3. 广义逆矩阵的其他两种定义

定义 4: m×nm \times nm×n 矩阵 AAA 的广义逆矩阵是一个满足

AA−A=AAA^-A = A AA−A=A

的 n×mn \times mn×m 矩阵 A−A^-A−.

定义 5: m×nm \times nm×n 矩阵 AAA 的广义逆矩阵是满足下列两个条件之一的 n×mn \times mn×m 的矩阵 A−A^-A−

A−AA^-AA−A 为幂等矩阵, 且 rank(A−A)=rank(A)\mathrm{rank}(A^-A) = \mathrm{rank}(A)rank(A−A)=rank(A)
AA−AA^-AA− 为幂等矩阵, 且 rank(AA−)=rank(A)\mathrm{rank}(AA^-) = \mathrm{rank}(A)rank(AA−)=rank(A)

验证:

若矩阵 Am×nA_{m \times n}Am×n 有一个主子矩阵 A11A_{11}A11 且其秩 r=rank(A)r = \mathrm{rank}(A)r=rank(A), 且 AAA 的分块形式为:

A=[A11A12A21A22],且A22=A21A11−1A12A = \begin{bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \\ \end{bmatrix} , \qquad 且 \ A_{22} = A_{21}A^{-1}_{11}A_{12} A=[A11A21A12A22],且 A22=A21A11−1A12

则其广义逆矩阵 A−A^{-}A− 为：

A−=[A11−1OOO]A^{-} = \begin{bmatrix} A_{11}^{-1} & O \\ O & O \\ \end{bmatrix} A−=[A11−1OOO]

三、广义逆矩阵的计算

1. 满秩分解

定义 6: 令 Am×nA_{m \times n}Am×n 具有秩 rrr. 将其分解为 A=FGA = FGA=FG, 其中 Fm×rF_{m \times r}Fm×r 和 Gr×nG_{r \times n}Gr×n 均具有秩 rrr, 则称这是矩阵的满秩分解.

我们可以通过矩阵的相似对角化去证明出来.

为此我们得到了满秩分解算法:

利用初等行变换将矩阵 AAA 化为阶梯形:

[Gr×nO(m−r)×n]\begin{bmatrix} G_{r \times n} \\ O_{(m-r) \times n} \\ \end{bmatrix} [Gr×nO(m−r)×n]

对单位矩阵 III 进行第一步的逆初等行变换得到 P−1P^{-1}P−1
利用 P−1P^{-1}P−1 的前 rrr 列构造矩阵 FFF
书写满秩分解结果 A=FGA = FGA=FG

引理 3: 若矩阵 Am×nA_{m \times n}Am×n 具有秩 rrr, 且其满秩分解为 A=Fm×rGr×nA = F_{m \times r}G_{r \times n}A=Fm×rGr×n, 则我们知道其广义逆矩阵为:

A−=GT(FTAGT)−1FT(3)A^- = G^T(F^TAG^T)^{-1}F^T \tag{3} A−=GT(FTAGT)−1FT(3)

证明也很简单, 带入 AA−A=AAA^-A = AAA−A=A 就能证明了.

2. 广义逆矩阵的计算

假设 Am×nA_{m \times n}Am×n, 且 um×1u_{m \times 1 }um×1 和 vn×1v_{n \times 1}vn×1 是两个一维向量, 则有:

(A+uvT)−=A−−(A−u)(uTA−)1+uTA−u(4)(A + uv^T)^- = A^- - \frac{(A^-u)(u^TA^-)}{1 + u^TA^-u} \tag{4} (A+uvT)−=A−−1+uTA−u(A−u)(uTA−)(4)

分块矩阵的广义逆矩阵计算公式:

若

M=[ACCHB](5)M = \begin{bmatrix} A & C \\ C^H & B \\ \end{bmatrix} \tag{5} M=[ACHCB](5)

其中 A=X1HX1A = X^H_1X_1A=X1HX1, B=X2HX2B = X^H_2X_2B=X2HX2, C=X1HX2C = X^H_1X_2C=X1HX2, 若设 D=B−CHA−CD = B - C^H A^-CD=B−CHA−C, 则我们有 M−M^-M−:

M−=[A−+A−CD−CHA−−A−CD−−D−CHA−D−](6)M^- = \begin{bmatrix} A^- + A^-CD^-C^HA^- & -A^-CD^- \\ -D^-C^HA^- & D^- \\ \end{bmatrix} \tag{6} M−=[A−+A−CD−CHA−−D−CHA−−A−CD−D−](6)
矩阵之和的广义逆矩阵的计算公式：

若 AA−UBV=UBVAA^-UBV = UBVAA−UBV=UBV (即 UBVUBVUBV 的列空间是 AAA 的列空间的子集) 与 UBVA−A=UBVUBVA^-A = UBVUBVA−A=UBV (即 UBVUBVUBV 的行空间是 AAA 的行空间的子集), 则我们有 G=A+UBVG = A + UBVG=A+UBV 的广义逆矩阵 G−G^-G− 存在几种求法:

G1−=A−−A−(A−+A−UBVA−)−A−UBVA−G2−=A−−A−U(U+UBVA−U)−UBVA−G3−=A−−A−UB(B+BVA−UB)−BVA−G4−=A−−A−UBV(V+VA−UBV)−VA−G5−=A−−A−UBVA−(A−+A−UBVA−)−A−\begin{aligned} G^-_1 &= A^- -A^-(A^- + A^-UBVA^-)^-A^-UBVA^- \\ G^-_2 &= A^- -A^-U(U + UBVA^-U)^-UBVA^- \\ G^-_3 &= A^- -A^-UB(B + BVA^-UB)^-BVA^- \\ G^-_4 &= A^- -A^-UBV(V + VA^-UBV)^-VA^- \\ G^-_5 &= A^- -A^-UBVA^-(A^- + A^-UBVA^-)^-A^- \\ \end{aligned} G1−G2−G3−G4−G5−=A−−A−(A−+A−UBVA−)−A−UBVA−=A−−A−U(U+UBVA−U)−UBVA−=A−−A−UB(B+BVA−UB)−BVA−=A−−A−UBV(V+VA−UBV)−VA−=A−−A−UBVA−(A−+A−UBVA−)−A−

四、一致方程的最小范数解

1. 通解

定理 6: 若 n×mn \times mn×m 矩阵 A−A^-A− 是　Am×nA_{m \times n}Am×n 的任意一个广义逆矩阵, 则有:

齐次方程 Ax=0Ax = 0Ax=0 的一个通解是 x=(I−A−A)zx = (I-A^-A)zx=(I−A−A)z, 其中 zzz 是任意的 n×1n \times 1n×1 的向量 (容易证明吧, 和上面引理 2 思想一样)
非齐次方程 Ax=yAx = yAx=y 为一致方程的充要条件为:

AA−y=y(7)AA^-y = y \tag{7} AA−y=y(7)

非齐次方程 $ Ax = y $ 的一个通解为：

x=A−y+(I−A−A)z(8)x = A^-y + (I-A^-A)z \tag{8} x=A−y+(I−A−A)z(8)

式中, zzz 为 n×1n \times 1n×1 任意向量.

2. 最小范数解

对一个一致方程 Ax=yAx=yAx=y

最小范数条件:

min⁡Ax=y∥x∥=∥Gy∥(9)\min_{Ax = y} \lVert x \rVert = \lVert Gy \rVert \tag{9} Ax=ymin∥x∥=∥Gy∥(9)

此时称矩阵 GGG 为最小范数广义逆矩阵

3. 伴随矩阵 (区别于常规的伴随矩阵)

为此我们定义 Am×nA_{m \times n}Am×n 伴随矩阵的符号为 An×m#A_{n \times m}^{\#}An×m# , 且有两向量 xn×1,ym×1x_{n \times 1},y_{m \times 1}xn×1,ym×1. ⟨Ax,y⟩\langle Ax,y \rangle⟨Ax,y⟩ 是 mmm 阶向量空间的内积, 记作 ⟨Ax,y⟩m\langle Ax,y \rangle_m⟨Ax,y⟩m . 而我们定义将 mmm 阶向量空间的内积等价变换为 nnn 阶向量的内积的一个映射:

⟨Ax,y⟩m=⟨x,A#y⟩n(10)\langle Ax,y \rangle _m = \langle x,A^{\#}y \rangle _n \tag{10} ⟨Ax,y⟩m=⟨x,A#y⟩n(10)

此外如果 A#=AA^{\#} = AA#=A , 我们称其为自伴随矩阵. (当然, 我们一般更熟悉他的另一个名字 Hermitian\mathrm{Hermitian}Hermitian)

这里的伴随矩阵和之前我们说的 (比如在逆矩阵一节里那个) adj\mathrm{adj}adj 定义有所不同.

在此，还有些性质:

(A#)#=A(A^{\#}) ^{\#} = A(A#)#=A
(AB)#=B#A#(AB)^{\#} = B^{\#} A^{\#}(AB)#=B#A#
⟨Ax,By⟩,∀x,y⇔A#B=0\langle Ax,By \rangle , \forall x,y \Leftrightarrow A^{\#}B = 0⟨Ax,By⟩,∀x,y⇔A#B=0
A#=ATA^{\#} = A^TA#=AT (AAA 为实矩阵) 或 A#=AHA^{\#} = A^HA#=AH (AAA 为复矩阵)

4. 最小范数解的求取

定理 7: 若 GyGyGy 是一致方程 Ax=yAx = yAx=y 的最小范数解, 当且仅当:

AGA=A,(GA)#=GA(11)AGA=A ,\quad (GA)^{\#} = GA \tag{11} AGA=A,(GA)#=GA(11)

前一个条件很容易就能看出来, 是定义所决定的.

至于第二个条件, 我们已经知道通解是 x=A−y+(I−A−A)zx = A^-y + (I-A^-A)zx=A−y+(I−A−A)z, 即 x=Gy+(I−GA)zx = Gy + (I-GA)zx=Gy+(I−GA)z ( 由定理 6 可得 ), 我们只需证明:

∥Gy∥≤∥Gy+(I−GA)z∥,∀z\lVert Gy \rVert \leq \lVert Gy + (I-GA)z \rVert , \quad \forall z ∥Gy∥≤∥Gy+(I−GA)z∥,∀z

或者：

∥GAb∥≤∥GAb+(I−GA)z∥,∀b,z⇔⟨GAb,(I−GA)z⟩=0,∀b,z⇔(GA)#(I−GA)=O⇔(GA)#=(GA)#GA\begin{aligned} & \lVert GAb \rVert \leq \lVert GAb + (I-GA)z \rVert , \quad \forall b,z \\ \Leftrightarrow & \langle GAb,(I-GA)z \rangle = 0 , \quad \forall b,z \\ \Leftrightarrow & (GA)^{\#}(I-GA) = O \\ \Leftrightarrow & (GA)^{\#} = (GA)^{\#}GA \\ \end{aligned} ⇔⇔⇔∥GAb∥≤∥GAb+(I−GA)z∥,∀b,z⟨GAb,(I−GA)z⟩=0,∀b,z(GA)#(I−GA)=O(GA)#=(GA)#GA

因为我们最后要得到 (GA)#=GA(GA)^{\#} = GA(GA)#=GA , 即我们易知:

(GA)#GA=GAGA=GA=(GA)#(GA)^{\#}GA = GAGA = GA = (GA)^{\#} (GA)#GA=GAGA=GA=(GA)#

使用 AGA=AAGA = AAGA=A, 易知

(GA)#GA=GA⇒GAGA≠GA⇒GA≠GA(GA)^{\#}GA=GA \Rightarrow GAGA \neq GA \Rightarrow GA \neq GA (GA)#GA=GA⇒GAGA=GA⇒GA=GA

这样就使用了反证法得出结果.

5. 注释

关于最小范数解还有两点需要强调的:

充要条件 AGA=A,(GA)#=GAAGA = A , \quad (GA)^{\#} = GAAGA=A,(GA)#=GA , 我们能够写成等价形式 GAA#=A#GAA^{\#} = A^{\#}GAA#=A#
令 G1,G2G_1,G_2G1,G2 是矩阵 AAA 的两个不同的广义逆矩阵, 由上得知 GiAA#=A#G_iAA^{\#} = A^{\#}GiAA#=A#, 即有:

(G1−G2)AA#=O⇔(G1−G2)AA#=O⇔G1A=G2A(G_1-G_2)AA^{\#} = O \Leftrightarrow (G_1-G_2)AA^{\#} = O \Leftrightarrow G_1A = G_2A (G1−G2)AA#=O⇔(G1−G2)AA#=O⇔G1A=G2A

由于 Ax=yAx = yAx=y 是一致方程, 即有 rank([A,y])=rank(A)\mathrm{rank}([A, y]) = \mathrm{rank}(A)rank([A,y])=rank(A) , 我们因此可以将 yyy 写作 AbAbAb , 其中 bbb 是一个非零向量 , 即有：

G1Ab=G2Ab⇒G1y=G2yG_1Ab=G_2Ab \Rightarrow G_1y = G_2y G1Ab=G2Ab⇒G1y=G2y

我们可以看到最小范数解是唯一的.

6. 特别情况

我们讨论 Am×nA_{m \times n}Am×n 具有满行秩 mmm 时, 线性方程 Ax=yAx = yAx=y 的最小范数解.

我们知道 AAA 满行秩, 即是有增广矩阵 rank([A,y])=rank(A)\mathrm{rank}([A, y]) = \mathrm{rank}(A)rank([A,y])=rank(A) , 即线性方程 Ax=yAx = yAx=y 是一致方程. 此外, 又因为矩阵乘积 AAHAA^HAAH 可逆, 故存在右伪逆矩阵 AH(AAH)−1A^H (A A^H) ^{-1}AH(AAH)−1

即我们与之对应的解为：

x∘=AH(AAH)−1y(12)x^{\circ} = A^H(AA^H)^{-1}y \tag{12} x∘=AH(AAH)−1y(12)

但它是否是最小范数解呢？

我们简单的证明一下：

假设 xxx 是不同的任意解，则有：

∥x∥2=∥x∘+x−x∘∥2=∥x∘∥2+∥x−x∘∥2+2(x∘)H(x−x∘)(13)\lVert x \rVert ^2 = \lVert x^{\circ} + x - x^{\circ} \rVert ^2 = \lVert x^{\circ} \rVert ^2 + \lVert x -x^{\circ} \rVert ^2 + 2(x^{\circ})^H(x-x^{\circ}) \tag{13} ∥x∥2=∥x∘+x−x∘∥2=∥x∘∥2+∥x−x∘∥2+2(x∘)H(x−x∘)(13)

带入 x∘=AH(AAH)−1y=AH(AAH)−1Axx^{\circ} = A^H(A A^H) ^{-1}y = A^H(A A^H) ^{-1}Axx∘=AH(AAH)−1y=AH(AAH)−1Ax 的值, 我们得到:

(x∘)H(x−x∘)=yH(AAH)−1A[I−AH(AAH)−1A]x=yH[(AAH)−1A−(AAH)−1A]x=0\begin{aligned} (x^{\circ})^H(x-x^{\circ}) &= y^H(AA^H)^{-1}A [I-A^H(AA^H)^{-1}A]x \\ &= y^H[(AA^H)^{-1}A-(AA^H)^{-1}A]x = 0 \end{aligned} (x∘)H(x−x∘)=yH(AAH)−1A[I−AH(AAH)−1A]x=yH[(AAH)−1A−(AAH)−1A]x=0

即, 我们可以化简得到：

∥x∥2=∥x∘∥2+∥x−x∘∥2\lVert x \rVert ^2 = \lVert x^{\circ} \rVert ^2 + \lVert x -x^{\circ} \rVert ^2 ∥x∥2=∥x∘∥2+∥x−x∘∥2

由于向量范数的非负性, 我们得到:

∥x∥2≥∥x∘∥2\lVert x \rVert ^2 \geq \lVert x^{\circ} \rVert ^2 ∥x∥2≥∥x∘∥2

即 x∘x^{\circ}x∘ 确实为最小范数解。

右伪逆矩阵满足最小范数解

右伪逆矩阵 G=AH(AAH)−1G = A^{H} (AA^H) ^{-1}G=AH(AAH)−1 满足最小范数解的条件 AGA=A,(GA)#=GAAGA = A, \quad (GA)^{\#} = GAAGA=A,(GA)#=GA

用伴随矩阵特性 B#=BHB^{\#} = B^HB#=BH 就能证明

五、非一致方程的最小二乘解

对于非一致方程, 其没有严格满足方程的解, 即只能有近似解. 我们需要寻找一个使得方程两边的误差平方和最小的解. 我们称这个解为非一致方程的最小二乘解.

我们使用 x^\hat{x}x^ 表示最小二乘解.

而它满足条件:

∥Ax^−y∥=inf⁡x∥Ax−y∥(14)\lVert A\hat{x}-y \rVert = \inf_{x} \lVert Ax-y \rVert \tag{14} ∥Ax^−y∥=xinf∥Ax−y∥(14)

我们用 $ \inf $ 表示函数的下确界

1. 最小二乘解的条件

定理 8: 令 GGG 为某个矩阵, 要使得 x^=Gy\hat{x} = Gyx^=Gy 是非一致方程 $Ax = y $的最小二乘解, 当且仅当:

A#AG=A#(15)A^{\#}AG = A^{\#} \tag{15} A#AG=A#(15)

或者等价于:

AGA=A,(AG)#=AG(16)AGA = A, \quad (AG)^{\#} = AG \tag{16} AGA=A,(AG)#=AG(16)

我们注意其与上面所讲的一致方程的最小范数解之间的区别

为此, 我们对这个也给予证明:

我们已知前提:

∥Ax^−y∥≤∥Ax−y∥,∀x,y\lVert A\hat{x} - y \rVert \leq \lVert Ax - y \rVert , \quad \forall x,y ∥Ax^−y∥≤∥Ax−y∥,∀x,y

而带入 x^=Gy\hat{x} = Gyx^=Gy

我们有:

∥AGy−y∥≤∥Ax−y∥,∀x,y≤∥AGy−y+Aw∥,∀x,w=x−Gy⇔⟨Aw,(AG−I)y⟩=0,∀y,w⇔A#(AG−I)=O⇔A#AG=A#\begin{aligned} \lVert AGy - y \rVert &\leq \lVert Ax - y \rVert , \quad \forall x,y\\ &\leq \lVert AGy - y + Aw \rVert , \quad \forall x,w = x - Gy \\ &\Leftrightarrow \langle Aw,(AG-I)y \rangle = 0 , \quad \forall y,w \\ &\Leftrightarrow A^{\#}(AG-I) = O \\ &\Leftrightarrow A^{\#}AG = A^{\#} \end{aligned} ∥AGy−y∥≤∥Ax−y∥,∀x,y≤∥AGy−y+Aw∥,∀x,w=x−Gy⇔⟨Aw,(AG−I)y⟩=0,∀y,w⇔A#(AG−I)=O⇔A#AG=A#

我们看得出来, 这个证明过程和之前的一致方程的最小范数解的证明很相似.

上面两边同时右乘 $ A $ ，即有：

A#(AGA)=A#AA^{\#}(AGA) = A^{\#}A A#(AGA)=A#A

要使得对所有矩阵 $ A $ 都存在，即我们有：

AGA=AAGA = A AGA=A
上面两边同时左乘矩阵 G#G^{\#}G# , 我们能够得到:

G#A#AG=(AG)#AG=(AG)#G^{\#}A^{\#}AG = (AG)^{\#}AG = (AG)^{\#} G#A#AG=(AG)#AG=(AG)#

我们可以使用之前的方式证明其充要条件是:

(AG)#=AG(AG)^{\#} = AG (AG)#=AG

2. 注释

非一致方程的最小二乘解有可能不是唯一的, 但是不同的最小二乘解得到的 AxAxAx 和 Ax−yAx - yAx−y 是唯一的.
非一致方程的最小二乘解的通解形式为:

x^=Gy+(I−GA)z,∀z(17)\hat{x} = Gy + (I-GA)z , \quad \forall z \tag{17} x^=Gy+(I−GA)z,∀z(17)

3. 特别情况

当非一致方程 Ax=yAx = yAx=y 的矩阵 AAA 有满列秩的特殊情况, 此时 AHAA^HAAHA 显然是非奇异的.

而此时解:

x∘=(AHA)−1AHy(18)x^{\circ} = (A^HA)^{-1}A^Hy \tag{18} x∘=(AHA)−1AHy(18)

是一个最小二乘解

4. 左伪逆矩阵满足最小二乘解

左伪逆矩阵 G=(AAH)−1AHG = (AA^H) ^{-1} A^{H}G=(AAH)−1AH 满足最小二乘解的条件 AGA=A,(AG)#=AGAGA = A, \quad (AG)^{\#} = AGAGA=A,(AG)#=AG