6.1 范数最小解，右逆，零空间映射矩阵

矩阵 Amn,rankA=m<nA_{mn},rank A=m < nAmn,rankA=m<n 是行满秩矩阵时，高斯消元法可以求得方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 的解，其解的结构是特解加零解。零解是方程 Ax=0A\mathbf{x}=\mathbf{0}Ax=0 的解，特解是满足 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 的任一向量。很可惜的是，采用高斯消元法，当选择不同的矩阵 AAA 列空间的基时，可以求得不同的特解，理论上存在无穷多特解满足方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b ，一般情况下，我们希望获得最特殊的特解－－范数最小解，即所有特解中，内积最小特解 min⁡∥xp∥\min\| \mathbf{x}_p \|min∥xp∥ 。

任一特解 xp\mathbf{x}_pxp 可以进行正交分解，投影到两个方向，一个是零解空间 xp0\mathbf{x}^0_pxp0，另一个是零解空间的正交补空间 xp⊥\mathbf{x}^{\bot}_pxp⊥ ，则有
∥xp∥2=∥xp0∥2+∥xp⊥∥2≥∥xp⊥∥2\| \mathbf{x}_p \|^2 = \| \mathbf{x}^0_p \|^2 + \| \mathbf{x}^{\bot}_p \|^2 \ge \| \mathbf{x}^{\bot}_p \|^2 ∥xp∥2=∥xp0∥2+∥xp⊥∥2≥∥xp⊥∥2

成立，这表明当特解在零空间分量为 0\mathbf{0}0 时，其范数最小！即范数最小特解垂直于零解空间！零解空间为：方程 Ax=0A\mathbf{x}=\mathbf{0}Ax=0 的解构成的空间，解 x\mathbf{x}x 垂直于矩阵 AAA 的行空间，也就是说矩阵 AAA 的行空间垂直于零解空间，所以范数最小特解位于矩阵 AAA 的行空间，故设范数最小特解为 xpmin=ATu\mathbf{x}^{min}_p = A^T\mathbf{u}xpmin=ATu ，代入方程得 AATu=bAA^T\mathbf{u} = \mathbf{b}AATu=b ，矩阵 AATAA^TAAT 的秩等于矩阵 AAA 的秩，因为 rankAAT=rankA=mrank AA^T = rank A = mrankAAT=rankA=m ，AATAA^TAAT 是 mmm 阶方阵，故 AATAA^TAAT 可逆，得到唯一范数最小特解

u=(AAT)−1bxpmin=ATu=AT(AAT)−1b\mathbf{u} = (AA^T)^{-1}\mathbf{b} \\ \mathbf{x}^{min}_p = A^T\mathbf{u} = A^T(AA^T)^{-1}\mathbf{b} u=(AAT)−1bxpmin=ATu=AT(AAT)−1b

令 AR−1=AT(AAT)−1A^{-1}_R = A^T(AA^T)^{-1}AR−1=AT(AAT)−1 ，可以发现 AAR−1=EmAA^{-1}_R=E_mAAR−1=Em ，称 AR−1A^{-1}_RAR−1 是 AAA 的右逆，其尺寸为 n×mn \times mn×m 。所以 xpmin=AR−1b\mathbf{x}^{min}_p = A^{-1}_R\mathbf{b}xpmin=AR−1b

定义右逆对于行满秩矩阵 AmnA_{mn}Amn ，如果存在矩阵 BnmB_{nm}Bnm ，使 AB=EmAB=E_mAB=Em 成立，则称 BBB 是 AAA 的右逆， AR−1=AT(AAT)−1A^{-1}_R=A^T(AA^T)^{-1}AR−1=AT(AAT)−1 是其中一个右逆。

特别强调下，右逆不唯一，证明如下：假设 BnmB_{nm}Bnm 是任意矩阵，如果 A(AR−1+B)=EA(A^{-1}_R+B)=EA(AR−1+B)=E 成立，则 (AR−1+B)(A^{-1}_R+B)(AR−1+B) 是右逆，因为 AAR−1=EAA^{-1}_R=EAAR−1=E ，则只需 AB=OAB=\mathbf{O}AB=O ，根据第三章内容，矩阵 AAA 列向量组是相关组，故矩阵 BBB 列向量组只要位于矩阵 AAA 零空间，则 AB=OAB=\mathbf{O}AB=O ，故有无穷多右逆。如果不特别强调，我们称右逆，都是特指矩阵 AR−1=AT(AAT)−1A^{-1}_R=A^T(AA^T)^{-1}AR−1=AT(AAT)−1 。

注意：虽然右逆不唯一，但是最小范数解是唯一的。

矩阵 Z=E−AR−1AZ = E-A^{-1}_RAZ=E−AR−1A 称为零空间映射矩阵，因为 AZ=A(E−AR−1A)=A−AAR−1A=A−EA=OAZ=A(E-A^{-1}_RA)=A-AA^{-1}_RA=A-EA=\mathbf{O}AZ=A(E−AR−1A)=A−AAR−1A=A−EA=O ，所以矩阵 ZZZ 的列向量都位于矩阵 AAA 的零空间，则矩阵 ZZZ 的列向量的任意线性组合 ZaZ\mathbf{a}Za 也位于矩阵 AAA 的零空间。计算也表明，对于任意向量 a\mathbf{a}a ，有 AZa=Oa=0AZ\mathbf{a} = \mathbf{O}\mathbf{a}=\mathbf{0}AZa=Oa=0 成立，故向量 Za=(E−AR−1A)aZ\mathbf{a}=(E-A^{-1}_RA)\mathbf{a}Za=(E−AR−1A)a 是零解。

当 x′\mathbf{x}'x′ 是任意一个解时，若令 a=x′−AR−1b\mathbf{a}=\mathbf{x}'-A^{-1}_R\mathbf{b}a=x′−AR−1b ，则有
(E−AR−1A)a=(E−AR−1A)(x′−AR−1b)=x′−AR−1b−AR−1Ax′+AR−1AAR−1b=x′−AR−1b−AR−1b+AR−1b=x′−AR−1b(E-A^{-1}_RA)\mathbf{a}=(E-A^{-1}_RA)(\mathbf{x}'-A^{-1}_R\mathbf{b})\\ =\mathbf{x}'-A^{-1}_R\mathbf{b}-A^{-1}_RA\mathbf{x}'+A^{-1}_RAA^{-1}_R\mathbf{b}\\ =\mathbf{x}'-A^{-1}_R\mathbf{b}-A^{-1}_R\mathbf{b}+A^{-1}_R\mathbf{b}\\ =\mathbf{x}'-A^{-1}_R\mathbf{b} (E−AR−1A)a=(E−AR−1A)(x′−AR−1b)=x′−AR−1b−AR−1Ax′+AR−1AAR−1b=x′−AR−1b−AR−1b+AR−1b=x′−AR−1b
从而得
x′=AR−1b+(E−AR−1A)a\mathbf{x}' = A^{-1}_R\mathbf{b} + (E-A^{-1}_RA)\mathbf{a} x′=AR−1b+(E−AR−1A)a

所以对行满秩矩阵 Amn,rankA=m<nA_{mn},rank A=m < nAmn,rankA=m<n ，方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 的通解，可表示为

x=AR−1b+(E−AR−1A)aAR−1=AT(AAT)−1为右逆，a为任意n维向量AR−1b是范数最小特解，(E−AR−1A)a是零解\mathbf{x} = A^{-1}_R\mathbf{b} + (E-A^{-1}_RA)\mathbf{a} \\ A^{-1}_R=A^T(AA^T)^{-1} 为右逆，\mathbf{a} 为任意 n 维向量 \\ A^{-1}_R\mathbf{b} 是范数最小特解，(E-A^{-1}_RA)\mathbf{a}是零解 x=AR−1b+(E−AR−1A)aAR−1=AT(AAT)−1为右逆，a为任意n维向量AR−1b是范数最小特解，(E−AR−1A)a是零解

由于零解空间的维度是 n−mn-mn−m ，所以 (E−AR−1A)(E-A^{-1}_RA)(E−AR−1A) 的列空间维度是 n−mn-mn−m ，即 rank(E−AR−1A)=n−mrank (E-A^{-1}_RA) = n - mrank(E−AR−1A)=n−m 。

6.1 范数最小解，右逆，零空间映射矩阵相关推荐

3.4 矩阵 $A,A^T,A^TA,AA^T$ 秩相等，左逆和右逆
矩阵 A,AT,ATA,AATA,A^T,A^TA,AA^TA,AT,ATA,AAT 秩相等,左逆和右逆令 r=rankAr=rank Ar=rankA ,因为零空间秩为 n−rn-rn−r ,零空 ...
线性代数系列（八）--基变换、左逆、右逆和伪逆
正文这里关于基变换和伪逆做的都是简单的介绍,关于他们的更深入的理论介绍和更深入的应用介绍还需参考其他资料,然后补充. 基变换基变换是图像压缩.信号压缩等应用的理论基础,通俗来讲就是对于给定的数据矩 ...
SR-ITM--融合超分辨率和逆色调映射（二）
本次接着上次的解读围绕逆色调映射技术HDR展开,HDR技术近年来发展迅猛,在未来将会成为图像与视频领域的主流.首先欣赏一下Google Camera的HDR+技术所呈现的照片. 以HDR技术所处理的照 ...
逆色调映射论文《Deep Reverse Tone Mapping》
读论文打发时间-- 摘要从一张简单的LDR图像来生成HDR图像是一个不适定[1]的问题,我们需要补偿由曝光不足/过度曝光[2]和颜色量化[3]所带来的数据损失.为了解决这一问题,本文作者第一个提出使 ...
5.1 最小二乘法，左逆，投影矩阵
最小二乘法,左逆,投影矩阵矩阵 AAA 是列满秩矩阵时,高斯消元法可以求得方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 的解,但该方法有个致命缺点,往往没有解!根据前章结论:列 ...
TransD：通过动态映射矩阵嵌入（知识图谱嵌入）ACL 2015
论文链接:http://pdfs.semanticscholar.org/a4ad/33855655986d9edcea300db7849d4b8498a0.pdf 代码链接:https://gith ...
matlab中b逆,matlab中，表示（)A.矩阵A的逆右乘BB.B矩阵A的逆左乘BC.矩阵B的逆左乘AD.矩阵B的逆右乘A...
在利用SET协议进行网上购物与支付的过程中,要通过( )与有关在线商店联系,在线商店作出应答.(1.0分) 分针从一个数字走到下一个数字,经过的时间是( ). (8.0分) ADC_SQRx寄存器中的 ...
关于机械臂逆运动学 jacobian矩阵
机器人逆运动学机器人的逆解问题比较复杂,为了说明问题,下面先以2自由度的机器人为例. 如图所示,已知机器人末端的坐标值(x,y) ,试利用x,y 表示根据图中的几何关系可知: 联立求 ...
词向量其实就是语义映射矩阵
最近仔细学习了word2vec,上网查资料的时候发现很多博客资料上讲到的主要是理论,不好全面理解:而对于介绍应用的文章又偏重于某个工具的使用而不是训练的细节,所以特别参考了Tensorflow上的实现 ...

6.1 范数最小解，右逆，零空间映射矩阵

6.1 范数最小解，右逆，零空间映射矩阵

6.1 范数最小解，右逆，零空间映射矩阵相关推荐

最新文章

热门文章