1 广义逆的背景

在实际问题中，如数据处理、多元分析、最优化理论、现代控制理论和网络理论中，由于实验条件那个多种因素，所产生的方程组往往是不相容的方程，即无解方程。此时，我们不能求得实线性方程组AX=bAX=bAX=b的解，而只能求得近似解，即最小二乘解，此时∣AX−b∣|AX-b|∣AX−b∣最小。

类似的，对于复数域C上的线性方程组AX=bAX=bAX=b则要求
(a11x1+a12x2+⋅⋅⋅+a1nxn−b1)(a11x1+a12x2+⋯+a1nxn−b1)‾+(as1x1+as2x2+⋯+asnxn−bn)(as1x1+as2x2+⋯+asnxn−bs)‾\left( a_{11}x_1+a_{12}x_2+···+a_{1n}x_n-b_1 \right) \overline{\left( a_{11}x_1+a_{12}x_2+\cdots +a_{1n}x_n-b_1 \right) }+\left( a_{s1}x_1+a_{s2}x_2+\cdots +a_{sn}x_n-b_n \right) \overline{\left( a_{s1}x_1+a_{s2}x_2+\cdots +a_{sn}x_n-b_s \right) }(a11x1+a12x2+⋅⋅⋅+a1nxn−b1)(a11x1+a12x2+⋯+a1nxn−b1)+(as1x1+as2x2+⋯+asnxn−bn)(as1x1+as2x2+⋯+asnxn−bs)
为最小，此时是复数线性方程的最小二乘解。

同样，若方程AX=bAX=bAX=b有解，且在有无穷多解时，往往也需要求解向量
X=(x1,x2,⋯,xn)TX=\left( x_1,x_2,\cdots ,x_n \right) ^TX=(x1,x2,⋯,xn)T
中，满足x1x1‾+x2x2‾+⋯+xnxn‾x_1\overline{x_1}+x_2\overline{x_2}+\cdots +x_n\overline{x_n}x1x1+x2x2+⋯+xnxn为最小的解，这样的解叫做线性方程组的最小二乘解。

2 广义逆的基本理论

Moore和Penrose分别发表了光宇广义逆的矩阵理论，所提及的广义逆定义如下：
设A是m×n矩阵，如果一个n×m的矩阵G满足下列4条，
（1）AGA=AAGA=A AGA=A
（2）GAG=GGAG=G GAG=G
（3）(AG)H=(AG‾)T=AG\left( AG \right) ^H=\left( \overline{AG} \right) ^T=AG (AG)H=(AG)T=AG
（4）(GA)H=GA\left( GA \right) ^H=GA (GA)H=GA
则称G为Moore-Penrose广义逆，简记为A+A^+A+
可以证明，对于任意复矩阵A，广义逆一定存在且唯一。
现在一般对广义逆的提法：任意满足4个方程中的某条都可以成为矩阵的广义逆，因此广义逆存在各种形式，共有
C41+C42+C43+C44=15C_{4}^{1}+C_{4}^{2}+C_{4}^{3}+C_{4}^{4}=15 C41+C42+C43+C44=15种类型。
比较常见的广义逆有以下4种：

只满足（1）方程的广义逆，称为A的{1}-广义逆或者减号逆，记作A−A^{-}A−
满足上面（1）（3）方程的广义逆，称为{1,3}-广义逆或者最小二乘逆，记作Am−A_{m}^{-}Am−
满足上面条件（1）（4）方程的广义逆，称为{1,4}-广义逆或者极小范数逆，记作Al−A_{l}^{-}Al−
同时满足方程（1）-（4）的广义逆，称为Moore-Penrose广义逆或者A的加号逆，记作A+A^{+}A+

3 广义逆的求法和应用

思考（Thinking）：

考虑线性方程组AX=bAX=bAX=b的解，如果A为n阶可逆矩阵，则方程组有唯一解X=A−1bX=A^{-1}bX=A−1b
若r(A)=r(A‾)=r<nr\left( A \right) =r\left( \overline{A} \right) =r<n r(A)=r(A)=r<n则线性方程组有无穷多解，能否找到一个n阶矩阵G，使解也能表示成X=GbX=GbX=Gb的形式？
若Am×n不是方阵，且AX=b有解，能否找到一个矩阵G，使得X=Gb？
若AX=b无解，能否找到一个矩阵G，是X=Gb为比较满意的近似解？

对不同的广义逆的结构，涉及到较多的定理和推论，有兴趣的可以自行查找相关资料，本文不再详细介绍。

此处只对M-P矩阵进行讨论。
定理：设A是m×n的矩阵，则其M-P广义逆矩阵存在且唯一，也就是说满足上述所说的4个方程。
证明：
存在性
设
A=U(∑0)VHA=U\left( \begin{matrix} \sum{}& \\ & 0\\ \end{matrix} \right) V^H A=U(∑0)VH
这里U、V各为m阶、n阶酉矩阵，直接验证G=V(Σ−1000)UHG= V\left( \begin{matrix} \varSigma ^{-1}& 0\\ 0& 0\\ \end{matrix} \right) U^H G=V(Σ−1000)UH满足M-P方程（1）-（4）。
唯一性
设G1、G2都是矩阵A的M-P广义逆矩阵，那么
G1=G1AG1=G1AG2AG1=G1(AG2)H(AG1)H=G1G2HAHG1HAH=G1G2H(AG1A)H=G1G2H(AG1A)HG1G2HAH=G1G2HAH=G1(AG2)H=G1AG2G_1=G_1AG_1=G_1AG_2AG_1=G_1\left( AG_2 \right) ^H\left( AG_1 \right) ^H=G_1G_{2}^{H}A^HG_{1}^{H}A^H=G_1G_{2}^{H}\left( AG_1A \right) ^H=G_1G_{2}^{H}\left( AG_1A \right) ^HG_1G_{2}^{H}A^H=G_1G_{2}^{H}A^H=G_1\left( AG_2 \right) ^H=G_1AG_2 G1=G1AG1=G1AG2AG1=G1(AG2)H(AG1)H=G1G2HAHG1HAH=G1G2H(AG1A)H=G1G2H(AG1A)HG1G2HAH=G1G2HAH=G1(AG2)H=G1AG2
同理，G2=G2AG2=G2AG1AG2=(G2A)H(G1A)HG2=AHG2HAHG1HG2=(AG2A)HG1HG2=AHG1HG2=(G1A)HG2=G1AG2G_2=G_2AG_2=G_2AG_1AG_2=\left( G_2A \right) ^H\left( G_1A \right) ^HG_2=A^HG_{2}^{H}A^HG_{1}^{H}G_2=\left( AG_2A \right) ^HG_{1}^{H}G_2=A^HG_{1}^{H}G_2=\left( G_1A \right) ^HG_2=G_1AG_2 G2=G2AG2=G2AG1AG2=(G2A)H(G1A)HG2=AHG2HAHG1HG2=(AG2A)HG1HG2=AHG1HG2=(G1A)HG2=G1AG2
所以，G1=G2。

推论
设A是m×n矩阵，其满秩分解为A=BCA=BCA=BC其中B是m×r矩阵，C是r×n矩阵，r(A)=r(B)=r©=r，则A+=CH(CCH)−1(BHB)−1BHA^+=C^H\left( CC^H \right) ^{-1}\left( B^HB \right) ^{-1}B^H A+=CH(CCH)−1(BHB)−1BH
特别地，
A+={AH(AAH)−1,ifr(A)=m(AHA)−1AH,ifr(A)=nA^+=\left\{ \begin{array}{c} A^H\left( AA^H \right) ^{-1},\ if\ r\left( A \right) =m\\ \left( A^HA \right) ^{-1}A^H,\ if\ r\left( A \right) =n\\ \end{array} \right. A+={AH(AAH)−1, if r(A)=m(AHA)−1AH, if r(A)=n

此处不再罗列其他的广义逆和求解的推导过程。

4 广义逆求解例子

已知A=(131011)A=\left( \begin{array}{c} \begin{matrix} 1& 3& 1\\ \end{matrix}\\ \begin{matrix} 0& 1& 1\\ \end{matrix}\\ \end{array} \right) A=(131011)
求A^+.
解：
A+=AR−=AT(AAT)−1A^+=A_{R}^{-}=A^T\left( AA^T \right) ^{-1} A+=AR−=AT(AAT)−1
=(131011)((131011)(131011))−1=\left( \begin{matrix} \begin{array}{c} 1\\ 3\\ 1\\ \end{array}& \begin{array}{c} 0\\ 1\\ 1\\ \end{array}\\ \end{matrix} \right) \left( \left( \begin{array}{c} \begin{matrix} 1& 3& 1\\ \end{matrix}\\ \begin{matrix} 0& 1& 1\\ \end{matrix}\\ \end{array} \right) \left( \begin{matrix} \begin{array}{c} 1\\ 3\\ 1\\ \end{array}& \begin{array}{c} 0\\ 1\\ 1\\ \end{array}\\ \end{matrix} \right) \right) ^{-1} =⎝⎛131011⎠⎞⎝⎛(131011)⎝⎛131011⎠⎞⎠⎞−1
=(131011)(11442)−1=\left( \begin{matrix} \begin{array}{c} 1\\ 3\\ 1\\ \end{array}& \begin{array}{c} 0\\ 1\\ 1\\ \end{array}\\ \end{matrix} \right) \left( \begin{matrix} 11& 4\\ 4& 2\\ \end{matrix} \right) ^{-1} =⎝⎛131011⎠⎞(11442)−1
=(131011)(13−23−23116)=\left( \begin{matrix} \begin{array}{c} 1\\ 3\\ 1\\ \end{array}& \begin{array}{c} 0\\ 1\\ 1\\ \end{array}\\ \end{matrix} \right) \left( \begin{matrix} \frac{1}{3}& -\frac{2}{3}\\ -\frac{2}{3}& \frac{11}{6}\\ \end{matrix} \right) =⎝⎛131011⎠⎞(31−32−32611)
=13(11−1−21252)=\frac{1}{3}\left( \begin{matrix} \begin{array}{c} 1\\ 1\\ -1\\ \end{array}& \begin{array}{c} -2\\ \frac{1}{2}\\ \frac{5}{2}\\ \end{array}\\ \end{matrix} \right) =31⎝⎛11−1−22125⎠⎞
已知A=(i100i1)A=\left( \begin{matrix} \begin{array}{c} i\\ 1\\ 0\\ \end{array}& \begin{array}{c} 0\\ i\\ 1\\ \end{array}\\ \end{matrix} \right) A=⎝⎛i100i1⎠⎞
求A^+.
解：
A+=AL−=(AAH)−1AHA^+=A_{L}^{-}=\left( AA^H \right) ^{-1}A^H A+=AL−=(AAH)−1AH
=(((−i100−i1)(i100i1))−1)(−i100−i1)=\left( \left( \left( \begin{array}{c} \begin{matrix} -i& 1& 0\\ \end{matrix}\\ \begin{matrix} 0& -i& 1\\ \end{matrix}\\ \end{array} \right) \left( \begin{matrix} \begin{array}{c} i\\ 1\\ 0\\ \end{array}& \begin{array}{c} 0\\ i\\ 1\\ \end{array}\\ \end{matrix} \right) \right) ^{-1} \right) \left( \begin{array}{c} \begin{matrix} -i& 1& 0\\ \end{matrix}\\ \begin{matrix} 0& -i& 1\\ \end{matrix}\\ \end{array} \right) =⎝⎜⎛⎝⎛(−i100−i1)⎝⎛i100i1⎠⎞⎠⎞−1⎠⎟⎞(−i100−i1)
=(2i−i2)−1(−i100−i1)=\left( \begin{matrix} 2& i\\ -i& 2\\ \end{matrix} \right) ^{-1}\left( \begin{array}{c} \begin{matrix} -i& 1& 0\\ \end{matrix}\\ \begin{matrix} 0& -i& 1\\ \end{matrix}\\ \end{array} \right) =(2−ii2)−1(−i100−i1)
=(23−13i13i23)(−i100−i1)=\left( \begin{matrix} \frac{2}{3}& -\frac{1}{3}i\\ \frac{1}{3}i& \frac{2}{3}\\ \end{matrix} \right) \left( \begin{array}{c} \begin{matrix} -i& 1& 0\\ \end{matrix}\\ \begin{matrix} 0& -i& 1\\ \end{matrix}\\ \end{array} \right) =(3231i−31i32)(−i100−i1)
=(−23i13−13i13−13i23)=\left( \begin{array}{c} \begin{matrix} -\frac{2}{3}i& \frac{1}{3}& -\frac{1}{3}i\\ \end{matrix}\\ \begin{matrix} \frac{1}{3}& -\frac{1}{3}i& \frac{2}{3}\\ \end{matrix}\\ \end{array} \right) =(−32i31−31i31−31i32)

【学习笔记】广义逆矩阵及共轭转置求解相关推荐

算法学习笔记：网络流#4——ISAP 求解最大流
算法学习笔记:网络流#4--ISAP 求解最大流 1. 前言 2. 模板 2.1 详解 2.2 正确性证明 2.3 代码 3. 算法对比 3.1 一般数据下的对比 3.2 特殊数据下的对比 4. 总结 ...
强化学习笔记：策略评估--贝尔曼方程求解示例
目录 1. 前言 2. MDP模型 3. 求解贝尔曼方程 1. 前言策略评估(Policy Evaluation),简单来说,就是针对某个既定的策略求其状态值函数和动作值函数.求得了状态值函数和动作 ...
MATLAB学习笔记：非齐次线性方程组的求解
>> A=[1 -1 1 -2;2 0 -1 4;3 2 1 0;-1 2 -1 2]; >> b=[2 4 -1 -4]'; >> r=rank(A)r =4&g ...
最大熵学习笔记（六）优缺点分析
生活中我们经常听到人们说"不要把鸡蛋放到一个篮子里",这样可以降低风险.深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Prin ...
最大熵学习笔记（三）最大熵模型
生活中我们常常听到人们说"不要把鸡蛋放到一个篮子里",这样能够减少风险.深究一下,这是为什么呢?事实上,这里边包括了所谓的最大熵原理(The Maximum Entropy Pri ...
最大熵学习笔记（二）最大熵原理
生活中我们经常听到人们说"不要把鸡蛋放到一个篮子里",这样可以降低风险.深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Prin ...
线性代数学习笔记8-2：对称矩阵和Hermitian矩阵、共轭转置、正定矩阵
对称矩阵特征值为实数并且拥有一套正交特征向量,正定矩阵的性质则更好. 对称矩阵 Symmetric matrices 对称矩阵: 实矩阵 A \mathbf A A满足 A = A T \mathbf ...
GMM高斯混合模型学习笔记（EM算法求解）
提出混合模型主要是为了能更好地近似一些较复杂的样本分布,通过不断添加component个数,能够随意地逼近不论什么连续的概率分布.所以我们觉得不论什么样本分布都能够用混合模型来建模.由于高斯函数具有一 ...
【学习笔记】求解简单递归式的一般方法
[学习笔记]求解简单递归式的一般方法手动博客搬家: 本文发表于20180618 15:53:06, 原地址https://blog.csdn.net/suncongbo/article/detail ...
线性代数 --- 用内积重新定义矩阵的转置(个人学习笔记)
在我的另一篇文章中,我简单的介绍了向量的点积,也叫内积.那篇文章的侧重点是点积或者说是点乘.主要是以的方式来定义两个向量的内积.而这篇文章我会见到内积的另外一种表示方式,从变成了. 线性代数 --- ...

【学习笔记】广义逆矩阵及共轭转置求解

1 广义逆的背景

2 广义逆的基本理论

3 广义逆的求法和应用

4 广义逆求解例子

【学习笔记】广义逆矩阵及共轭转置求解相关推荐

最新文章

热门文章