奇异矩阵及广义逆矩阵

再介绍奇异矩阵以及矩阵的广义逆之前，先复习几个概念，然后我一步步给出奇异矩阵和广义逆的介绍。

伴随矩阵

1. 余子式

定义1 余子式：在nnn阶行列式|A|" role="presentation">|A||A||A|中，划去元素aijaija_{ij}所在的行和列，剩下的元素（显然，剩下了(n−1)2(n−1)2(n - 1)^2个元素），按照原先的排列生成的新行列式的值称为元素aijaija_{ij}的余子式，记为MijMijM_{ij}。如下所示：

|A|=∣∣∣∣∣∣∣∣∣a11⋮ai1⋮an1………a1j⋮aij⋮anj………a1n⋮ain⋮ann∣∣∣∣∣∣∣∣∣,Mij=∣∣∣∣∣∣∣∣∣∣a11⋮ai−1 1ai−1 1⋮an1…………a1 j−1⋮ai−1 j−1ai+1 j−1⋮an j−1a1 j+1ai−1 j+1ai+1 j+1an j+1…⋮……⋮…a1nai−1 nai−1 nann∣∣∣∣∣∣∣∣∣∣(1)(1)|A|=|a11…a1j…a1n⋮⋮⋮ai1…aij…ain⋮⋮⋮an1…anj…ann|,Mij=|a11…a1j−1a1j+1…a1n⋮⋮⋮ai−11…ai−1j−1ai−1j+1…ai−1nai−11…ai+1j−1ai+1j+1…ai−1n⋮⋮⋮an1…anj−1anj+1…ann|

\begin{equation} |A| = \left| \begin{array}{ccc} a_{11} & \dots & a_{1j} & \dots & a_{1n}\\\vdots & & \vdots & & \vdots\\a_{i1} & \dots & a_{ij} & \dots & a_{in}\\\vdots & & \vdots & & \vdots\\a_{n1} & \dots & a_{nj} & \dots & a_{nn}\\\end{array} \right|, M_{ij} = \left| \begin{array}{ccc} a_{11} & \dots & a_{1~j-1} & a_{1~j+1} & \dots & a_{1n}\\\vdots & & \vdots & & \vdots\\a_{i-1~1} & \dots & a_{i-1~j-1} & a_{i-1~j+1} & \dots & a_{i-1~n}\\a_{i-1~1} & \dots & a_{i+1~j-1} & a_{i+1~j+1} & \dots & a_{i-1~n}\\\vdots & & \vdots & & \vdots\\a_{n1} & \dots & a_{n~j-1} & a_{n~j+1} & \dots & a_{nn}\\\end{array} \right| \end{equation}

2. 代数余子式

定义2 代数余子式：由上面余子式的定义，可以得到nnn阶行列式|A|" role="presentation">|A||A||A|中元素aijaija_{ij}的代数余子式AijAijA_{ij}。其计算公式如下：

Aij=(−1)i+jMij(2)(2)Aij=(−1)i+jMij

\begin{equation} A_{ij} = (-1)^{i + j} M_{ij} \end{equation}

代数余子式是一个很有用的概念，因为用它可以直接计算出行列式的值。我们有下面这样一个定理存在：

定理1：行列式等于它某一行的元素分别与它们对应的代数余子式的乘积之和。可以用如下公式表达：

|A|=∑j=1naij⋅Aij,i∈{1,2,…,n}(3)(3)|A|=∑j=1naij⋅Aij,i∈{1,2,…,n}

\begin{equation} |A| = \sum_{j = 1} ^ n a_{ij} \cdot A_{ij}, i \in \{1, 2, \dots, n\} \end{equation}

定理1其实就是行列式计算方法的另一种表达。由这个定理，我们可以接着得到下面的定理2：

定理2：行列式中一行的元素与另一行相应元素的代数余子式的乘积之和为0。可以用如下公式表达：

ak1Ai1+⋯+aknAin=0(4)(4)ak1Ai1+⋯+aknAin=0

\begin{equation} a_{k1}A_{i1} + \dots + a_{kn}A_{in} = 0 \end{equation}

其中，aij=akj,j=1,2,…,n;i≠kaij=akj,j=1,2,…,n;i≠ka_{ij} = a_{kj}, j = 1, 2, \dots, n; i \neq k.这个定理的证明思路可以用行列式性质：“一行的数乘加到另一行，行列式的值不变”。具体的证明我这里略过了。

3. 伴随矩阵

定义3 伴随矩阵：由矩阵AAA中所有元素的代数余子式按照A" role="presentation">AAA中原有的排列的转置之后，构造而成的矩阵称为AAA的伴随矩阵。也就是下面公式中的A∗" role="presentation">A∗A∗A^{*}.

A∗=⎛⎝⎜⎜A11⋮A1n…⋱…An1⋮Ann⎞⎠⎟⎟(5)(5)A∗=(A11…An1⋮⋱⋮A1n…Ann)

\begin{equation} A^{*} = \left( \begin{array}{ccc} A_{11} & \dots & A_{n1}\\\vdots & \ddots & \vdots\\A_{1n} & \dots & A_{nn}\\\end{array} \right) \end{equation}

注意，伴随矩阵中，元素的排列恰好原矩阵的转置序列是一致的。这样，根据上面说的定理1和定理2，我们可以得到这样的结论：AA∗=A∗A=dEAA∗=A∗A=dEAA^{*} = A^{*}A = dE.

解释一下，上面的公式中，ddd是A" role="presentation">AAA的行列式的值，EEE是单位矩阵。

矩阵的逆

根据AA∗=A∗A=dE" role="presentation">AA∗=A∗A=dEAA∗=A∗A=dEAA^{*} = A^{*}A = dE的性质，不难得到矩阵的逆的计算方式如下：

A−1=1dA∗(6)(6)A−1=1dA∗

\begin{equation} A^{-1} = \frac{1}{d}A^{*} \end{equation}

根据这个公式，也就可以直接得到矩阵可逆的充要条件，即下面的定理3：

定理3：矩阵可逆的充要条件是矩阵行列式的值不为0（|A|≠0|A|≠0|A| \neq 0）

我们把这种行列式不为0的矩阵称为是“非退化”的，如果是方阵，那也称之为是“非奇异”的。与“非奇异”相对应的“奇异”矩阵则是数据挖掘，机器学习领域中非常重要的一个概念。下面将具体介绍。

奇异矩阵

定义3 奇异矩阵：奇异矩阵就是不满秩的方阵。

通过这个定义，就不难推出以下3点奇异矩阵的性质（记奇异矩阵为AAA）：

既然A" role="presentation">AAA不满秩，那么|A|=0|A|=0|A| = 0；
- 根据上面说的定理3，如果|A|=0|A|=0|A| = 0，那么AAA一定是不可逆的。同理，非奇异矩阵则一定是可逆的；
- 根据我之前介绍的线性方程组解的情况（线性方程组解的分析：唯一解，无穷多解以及无解）可知，齐次线性方程组AX=0" role="presentation">AX=0AX=0AX = 0有无穷多的解，而线性方程组AX=bAX=bAX = b有无穷多的解或者无解。同理对于非奇异矩阵A′A′A'，齐次线性方程组A′X=0A′X=0A'X = 0有且只有唯一零解，线性方程组A′X=bA′X=bA'X = b有唯一解。
- 广义逆矩阵
  
  定义与概念
  
  广义逆矩阵在数理统计、系统理论、优化计算和控制论等多领域中有重要应用。它的概念与上面的奇异矩阵密切相关，被如下定义：
  
  定义4 广义逆矩阵：若AAA是奇异阵或长方阵，根据上面说的奇异矩阵的性质3可知，线性方程组Ax=b" role="presentation">Ax=bAx=bAx = b有无穷多的解或者无解。若有解，则解为x=Xb+(E−XA)yx=Xb+(E−XA)yx = Xb + (E-XA)y，其中у是维数与A的列数相同的任意向量，XXX是满足AXA=A" role="presentation">AXA=AAXA=AAXA = A的任意矩阵，那么我们称XXX为A" role="presentation">AAA的广义逆矩阵，用Ag,A−,A1Ag,A−,A1A^{g}, A^{-}, A^{1}等符号表示。当AAA为非奇异矩阵时，A" role="presentation">AAA的广义逆矩阵就是AAA的逆。
  
  定义5：满足以下3个性质的广义逆矩阵M" role="presentation">MMM称为AAA的M-P广义逆矩阵矩阵，记为A+" role="presentation">A+A+A^+：
  - AMA = A
  - MAM = M
  - AM与MA均为对称矩阵
  实际上，若AAA是非奇异矩阵，A−1" role="presentation">A−1A−1A^{-1}也满足上面这3个性质。也就是说，M-P逆就是通常逆矩阵的推广。
  
  计算方法
  
  广义逆矩阵的计算方法大致可分为三类：以满秩分解和奇异值分解为基础的直接法，迭代法和其他一些常用于低阶矩阵的非平凡方法。我只介绍基于满秩分解和奇异值分解的推导过程。
  
  1. 满秩分解
  
  对于m×nm×nm \times n的矩阵AAA，假设其秩为r" role="presentation">rrr，则AAA有满秩分解A=Fm×rGr×n" role="presentation">A=Fm×rGr×nA=Fm×rGr×nA = F_{m \times r} G_{r \times n}存在。那么AAA的M-P逆可以通过满秩分解计算。下面我给出推导过程：
  
  (7)A+=(FG)+=G+F+=GT(GGT)−1⋅(FTF)−1FT=GT(FTAGT)−1FT" role="presentation">A+=(FG)+=G+F+=GT(GGT)−1⋅(FTF)−1FT=GT(FTAGT)−1FT(7)(7)A+=(FG)+=G+F+=GT(GGT)−1⋅(FTF)−1FT=GT(FTAGT)−1FT
  
  \begin{equation} \begin{aligned} A^{+} & = (FG)^{+}\\ & = G^{+} F^{+}\\ & = G^T(GG^T)^{-1} \cdot (F^TF)^{-1}F^T\\ & = G^T(F^TAG^T)^{-1}F^T \end{aligned} \end{equation}
  
  通过上面的公式，可以算得关于AAA的广义逆。
  
  2. 奇异值分解
  
  对于m×n" role="presentation">m×nm×nm \times n的矩阵AAA，其奇异值分解如下：
  
  (8)A=UΣVT" role="presentation">A=UΣVT(8)(8)A=UΣVT
  
  \begin{equation} A = U\Sigma V^T \end{equation}
  
  其中UUU是m×m" role="presentation">m×mm×mm \times m的正交阵，VVV是n×n" role="presentation">n×nn×nn \times n的正交阵，ΣΣ\Sigma是m×nm×nm \times n的对角阵。关于奇异值分解的详细介绍可以查阅我之前的博客（矩阵的分解：满秩分解和奇异值分解）。
  
  根据奇异值分解，可以通过下面的计算得到广义逆：
  
  A+=(UΣVT)+=(ΣVT)+⋅U−1=V(Σ)+UT(9)(9)A+=(UΣVT)+=(ΣVT)+⋅U−1=V(Σ)+UT
  
  \begin{equation} \begin{aligned} A^{+} & = (U\Sigma V^T)^{+}\\ & = (\Sigma V^T)^{+} \cdot U^{-1}\\ & = V(\Sigma)^{+}U^T \end{aligned} \end{equation}
  
  其中，ΣΣ\Sigma因为是对角阵，所以广义逆就是他所有元素的倒数。