漫步线性代数六—

n×nn\times n矩阵的逆是另一个n×nn\times n矩阵，AA的逆写成A−1A^{-1}，它的基本性质是：如果乘AA后再乘以A−1A^{-1}，那么将回到开始状态：

如果b=Ax,那么A−1b=x

\text{如果}b=Ax,\text{那么}A^{-1}b=x 因此 A−1Ax=xA^{-1}Ax=x。矩阵 A−1×AA^{-1}\times A得到单位矩阵，然而并非所有矩阵都存在逆，当 Ax=0Ax=0且 x≠0x\neq0时矩阵不存在逆，也就是说当我们想找到矩阵 A−1A^{-1}使得 Ax=0Ax=0变回 xx时，不存在这样的A−1A^{-1}，因为我们不可能有矩阵乘以零向量 AxAx后得到非零向量 xx。

当矩阵的逆A−1A^{-1}存在时，我们的目标是定义，计算并使用它，还有需要知道什么样的矩阵不存在逆。

11、对于矩阵A,BA,B，使得BA=I,AB=IBA=I,AB=I，并且最多只有一个BB，我们称它为AA的逆并用A−1A^{-1}表示：

A−1A=I,AA−1=I(1)

\begin{equation}A^{-1}A=I,AA^{-1}=I\tag1\end{equation}

当且仅当消元过程得到nn个主元(可以进行行交换)时矩阵的逆才存在，消元法在求解Ax=bAx=b时没有显示的去找A−1A^{-1}。
矩阵AA不可能有两个逆，假设BA=IBA=I并且AC=IAC=I，那么B=CB=C。证明如下：
B(AC)=(BA)C得出BI=IC,(2)

\begin{equation}B(AC)=(BA)C\text{得出}BI=IC,\tag2\end{equation} 这说明左逆BB(从左边相乘)和右逆CC(从右边相乘)肯定相等。
如果AA可逆，那么Ax=bAx=b的唯一解是x=A−1bx=A^{-1}b：
用A−1乘以Ax=b,得到x=A−1Ax=A−1b

\text{用}A^{-1}\text{乘以}Ax=b,\text{得到}x=A^{-1}Ax=A^{-1}b
(重要)假设有非零向量使得Ax=0Ax=0，那么AA不存在逆。再说一遍：不存在这样的矩阵可以将0变回xx。
一个2×22\times 2矩阵是可逆的，当且仅当ad−bcad-bc不等于零:
[acbd]−1=1ad−bc[d−c−ba](3)

\begin{equation}\begin{bmatrix}a&b\\c&d\end{bmatrix}^{-1}=\frac{1}{ad-bc}\begin{bmatrix}d&-b\\-c&a\end{bmatrix}\tag3\end{equation} ad−bcad-bc是矩阵AA的行列式，如果它非零那么矩阵就是可逆的(这在之后的文章会讲到)。在matlab里面，判断是否可逆就是看是否能找到nn个主元，在行列式出现之前是用消元法产生这些主元的。
对于对角矩阵，如果对角元素没有零，那么它存在逆：
如果A=⎡⎣⎢⎢d1⋱dn⎤⎦⎥⎥,那么A−1=⎡⎣⎢⎢1/d1⋱1/dn⎤⎦⎥⎥并且AA−1=I

\text{如果}A=\begin{bmatrix}d_1&&\\&\ddots&\\&&d_n\end{bmatrix},\text{那么}A^{-1}=\begin{bmatrix}1/d_1&&\\&\ddots&\\&&1/d_n\end{bmatrix} \text{并且}AA^{-1}=I 当涉及两个矩阵时，对于A+BA+B的逆我们无法判断，它的和可能有也可能没有逆，但是他们的乘积是可逆的，这在矩阵乘法中是非常重要的公式。这和我们数的情况类似，(a+b)−1(a+b)^{-1}很难化简，而1/ab1/ab可以分为1/a×1/b1/a\times 1/b。但是对于矩阵乘法，顺序非常重要，如果ABx=yABx=y，那么Bx=A−1y,x=B−1A−1yBx=A^{-1}y,x=B^{-1}A^{-1}y，逆的顺序正好相反。

12、乘积ABAB的可逆矩阵是B−1A−1B^{-1}A^{-1}：

(AB)−1=B−1A−1(4)

\begin{equation}(AB)^{-1}=B^{-1}A^{-1}\tag4\end{equation}
证明：为了说明 B−1A−1B^{-1}A^{-1}是 ABAB的逆，我们将他们相乘并利用结合律去掉符号：

(AB)(B−1A−1)=ABB−1A−1=AIA−1=AA−1=I

(AB)(B^{-1}A^{-1})=ABB^{-1}A^{-1}=AIA^{-1}=AA^{-1}=I

(B−1A−1)(AB)=B−1A−1AB=BIB−1=BB−1=I

(B^{-1}A^{-1})(AB)=B^{-1}A^{-1}AB=BIB^{-1}=BB^{-1}=I 对于三个或更多的矩阵同样成立：

(ABC)−1=C−1B−1A−1

(ABC)^{-1}=C^{-1}B^{-1}A^{-1} 当用消元矩阵 E,F,GE,F,G将 UU变回AA时，我们将会发现他们的顺序发生了变化。前向是 GFEAGFEA得到 UU，反向是L=E−1F−1G−1L=E^{-1}F^{-1}G^{-1}，因为前向中 GG是最后一个，所以反向里G−1G^{-1}是第一个。

计算A−1A^{-1}：Gauss-Jordan方法

考虑方程AA−1=IAA^{-1}=I，如果一次取A−1A^{-1}的一列，那么A−1A^{-1}的第一列乘以AA得到单位矩阵的第一列：Ax1=e1Ax_1=e_1。同样的可得出Ax2=e2,Ax3=e3Ax_2=e_2,Ax_3=e_3，考虑一个3×33\times 3的例子：

Axi=ei⎡⎣⎢24−21−67102⎤⎦⎥[x1x2x3]=[e1e2e3]=⎡⎣⎢100010001⎤⎦⎥(5)

\begin{equation} Ax_i=e_i\quad \begin{bmatrix}2&1&1\\4&-6&0\\-2&7&2\end{bmatrix}\begin{bmatrix}x_1&x_2&x_3\end{bmatrix}=\begin{bmatrix}e_1&e_2&e_3\end{bmatrix}=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}\tag5 \end{equation}我们得到了三个方程(或 nn个方程)，他们都有相同的系数矩阵AA，右边 e1e_1， e2e_2， e3e_3是不同的，但是消元过程可能在所有方程上同时进行，这就是Gauss-Jordan法。它不是得到 UU后就停止并开始回代，而是继续从上面的行减去下面行的倍数，这将在对角线上面也产生零，知道变成单位矩阵的时候就得到了我们需要的A−1A^{-1}。

我们继续用这个例子来说明该方法：

例1：用Gauss-Jordan法求A−1A^{-1}

[Ae1e2e3]=主元=2→主元=−8→⎡⎣⎢24−21−67102100010001⎤⎦⎥⎡⎣⎢2001−881−231−21010001⎤⎦⎥⎡⎣⎢2001−801−211−2−1011001⎤⎦⎥=[UL−1]

\begin{align*} \begin{bmatrix}A&e_1&e_2&e_3\end{bmatrix}= &\begin{bmatrix}2&1&1&1&0&0\\4&-6&0&0&1&0\\-2&7&2&0&0&1\end{bmatrix}\\ \text{主元}=2\to &\begin{bmatrix}2&1&1&1&0&0\\0&-8&-2&-2&1&0\\0&8&3&1&0&1\end{bmatrix}\\ \text{主元}=-8\to &\begin{bmatrix}2&1&1&1&0&0\\0&-8&-2&-2&1&0\\0&0&1&-1&1&1\end{bmatrix}=\begin{bmatrix}U&L^{-1}\end{bmatrix} \end{align*}这完成了前向消元的一半，前三列是上三角矩阵 UU，后三列是L−1L^{-1}(这与将初等操作 GFEGFE应用到单位矩阵上效果一样)。然后另一半操作是将 UU变成II，这样的话 L−1L^{-1}将变成 U−1L−1U^{-1}L^{-1}，也就是 A−1A^{-1}。将主元上方变成零，从而得到 A−1A^{-1}：

[UL−1]→主元上方变为零→除以主元→⎡⎣⎢2001−801011−4−1031021⎤⎦⎥⎡⎣⎢⎢⎢2000−80001128−4−1−5831−6821⎤⎦⎥⎥⎥⎡⎣⎢⎢⎢⎢⎢100010001121648−1−516−381−616−281⎤⎦⎥⎥⎥⎥⎥=[IA−1]

\begin{align*} \begin{bmatrix}U&L^{-1}\end{bmatrix}\to &\begin{bmatrix}2&1&1&1&0&0\\0&-8&0&-4&3&2\\0&0&1&-1&1&1\end{bmatrix}\\ \text{主元上方变为零}\to &\begin{bmatrix}2&0&0&\frac{12}{8}&-\frac{5}{8}&-\frac{6}{8}\\0&-8&0&-4&3&2\\0&0&1&-1&1&1\end{bmatrix}\\ \text{除以主元}\to &\begin{bmatrix}1&0&0&\frac{12}{16}&-\frac{5}{16}&-\frac{6}{16}\\0&1&0&\frac{4}{8}&-\frac{3}{8}&-\frac{2}{8}\\0&0&1&-1&1&1\end{bmatrix}=\begin{bmatrix}I&A^{-1}\end{bmatrix} \end{align*}在最后一步，我们除以主元2，-8和1。左边的系数矩阵变成单位矩阵，因为从 AA变成了II，所以同样的操作使得右边从 II变成了A−1A^{-1}，从而算出了矩阵逆。

注解1：尽管这种方法计算A−1A^{-1}的时候非常有用，但是我不推荐，我承认A−1A^{-1}可以一步就求出Ax=bAx=b，但是两个三角矩阵将会更好：

x=A−1b拆分成Lc=b,Ux=c

x=A^{-1}b\text{拆分成}Lc=b,Ux=c 我们可以写成 c=L−1bc=L^{-1}b，然后 x=U−1c=U−1L−1bx=U^{-1}c=U^{-1}L^{-1}b，但是注意我们没有显示写出这些形式并且在实际计算的时候也没不要写出这些矩阵 L−1,U−1L^{-1},U^{-1}，这将很浪费时间，因为我们只需要回代 xx即可。

注解2：纯粹出于好奇，我们可能计算出找到A−1A^{-1} 所需的操作次数。正常情况下每更新一次右边就需要 n2n^2次，它是前向操作的一半也是回代的一半。那么对于 nn个右边的向量e1,…,ene_1,\ldots,e_n将会是 n3n^3。之后还有 n3/3n^3/3次 AA本身的操作，加起来似乎是4n3/34n^3/3。

考虑到eje_j中的零元素，这个结果似乎有点高了，前向消元只改变1下面的零，这部分只有n−jn-j个元素，所以对eje_j来说计数应该是(n−j)2/2(n-j)^2/2，然后将所有jj对应的加起来得到前向次数为n3/6n^3/6，还有n3/3n^3/3用在AA上以及n(n2/2)n(n^2/2) 次回代得到A−1A^{-1}，因此九三A−1A^{-1}最终的计算次数是n3n^3：

n36+n33+n(n22)=n3

\frac{n^3}{6}+\frac{n^3}{3}+n\left(\frac{n^2}{2}\right)=n^3

这个结果明显变低了。因为矩阵乘法需要n3n^3步，所以计算A−1A^{-1}的次数和计算A2A^2的次数是一样多的！不管怎样，如果不需要A−1A^{-1}的话，那就不去求它。

注解3：在Gauss-Jordan计算中，我们首先一路向前得到UU，在开始向后使主元上面为零时，这跟高斯消元法很像。另外我们可以前向进行到第二个主元时就将它上面的元素变成零，但是这不是明智之举，那样的话当我们反向将主元上方变零的时候，该行几乎是满的而上面的那行却是零。

逆=非奇异

最终，我们想要知道哪些矩阵是可逆的，哪些不可逆。这个问题非常重要，它有很多的答案。

测试可逆性的方法有许多(但是互相等效)，有时测试可以延伸到长方形矩阵。我们可以通过找出不相关的行列来测试，找出非零行列式或非零特征值或非零主元来测试，也可以用高斯消元法来测试。

假设AA有nn个主元，那么AA−1=IAA^{-1}=I将给出nn个Axi=eiAx_i=e_i，他们可以用Gauss-Jordan法或高斯消元法来求解。需要的时候可以进行行变换，但是A−1A^{-1}是确定的。

严格来讲，我们还必须将A−1A^{-1}写成左逆的形式。求解AA−1=IAA^{-1}=I和求解A−1A=IA^{-1}A=I是花费相同的时间，为什么呢？为了理解原因，注意每一步Gauss-Jordan都是在乘上一个初等矩阵，我们将会有三种类型的初等矩阵：

EijE_{ij}就是从ii行减去jj行的ℓ\ell倍
PijP_{ij}就是简化行i,ji,j
D(D−1)D(D^{-1})就是用主元除以所有行

Gauss-Jordan过程实际是一系列矩阵乘法：

(D−1⋯E⋯P⋯E)A=I(6)

\begin{equation} (D^{-1}\cdots E\cdots P\cdots E)A=I\tag6 \end{equation}括号里的矩阵是 AA的左逆！如果存在，它就等于右逆，因此每个非奇异矩阵都是可逆的。

反过来也是如此：如果AA是可逆的，那么它有 nn个主元。考虑一个极端的例子就很清楚了：AA不能一整列都是零。逆永远不可能乘以零得到 II的一列。在考虑不太极端的情况，假设消元过程从可逆矩阵AA开始但在第3列被打破：

A′=⎡⎣⎢⎢⎢d1000xd200xx00xxxx⎤⎦⎥⎥⎥

A'= \begin{bmatrix} d_1&x&x&x\\0&d_2&x&x\\0&0&0&x\\0&0&0&x \end{bmatrix} 无论 xx是何值，这个矩阵都没有逆。一种证明是利用列操作将真个第三列变成零，通过减去第二列和第一列的倍数我们就能发现得到的矩阵确实没有逆，因此原矩阵AA是不可逆的。消元法给出了完整的测试： n×nn\times n矩阵是可逆的，当且仅当它有 nn个主元。

转置矩阵

我们还需要介绍一种矩阵，幸运的是它比逆简单得多。AA的转置用 ATA^{T}表示，它的列就是 AA的行-AA的第 ii行变成ATA^{T}的第 ii列：

如果A=[201043]那么AT=⎡⎣⎢214003⎤⎦⎥

\text{如果}A= \begin{bmatrix} 2&1&4\\0&0&3 \end{bmatrix} \text{那么}A^{T}= \begin{bmatrix} 2&0\\1&0\\4&3 \end{bmatrix} 如果 AA是m×nm\times n矩阵，那么 ATA^{T}就是 n×mn\times m矩阵，最终的效果是沿对角线进行翻转， ATA^{T}里面的 i,ji,j元素来自 AA里面的j,ij,i元素：

(AT)ij=Aji(7)

\begin{equation} (A^{T})_{ij}=A_{ji}\tag7 \end{equation}下三角矩阵的转置是上三角矩阵， ATA^{T}的转置就是 AA。

如果我们将两个矩阵相加然后转置，这和先转置后相加得结果一样：(A+B)T=AT+BT(A+B)^{T}=A^{T}+B^{T}。那么乘积 ABAB或逆 A−1A^{-1}的转置呢？这些都是基本的公式：

13、
(i). ABAB的转置是(AB)T=BTAT(AB)^{T}=B^{T}A^{T}
(ii). A−1A^{-1}的转置是(A−1)T=(AT)−1(A^{-1})^{T}=(A^{T})^{-1}

注意两个形式非常像，都是反转了顺序。逆的证明很容易，需要用到矩阵乘法。因为(AB)T(AB)^{T}的第一行是(AB)(AB)的第一列，BB的第一列是AA各列的权重，BTB^{T}的第一行是ATA^{T} 各行的权重。那就是BTATB^{T}A^{T}的第一行，(AB)T(AB)^{T} 和BTATB^{T}A^{T} 的其他行同样如此：

开始是AB=转置得BTAT=[1101][323232]=[353535]⎡⎣⎢333222⎤⎦⎥[1011]=⎡⎣⎢333555⎤⎦⎥

\begin{align*} \text{开始是} AB=& \begin{bmatrix} 1&0\\1&1 \end{bmatrix} \begin{bmatrix} 3&3&3\\2&2&2 \end{bmatrix}= \begin{bmatrix} 3&3&3\\5&5&5 \end{bmatrix}\\ \text{转置得} B^{T}A^{T}=& \begin{bmatrix} 3&2\\3&2\\3&2 \end{bmatrix} \begin{bmatrix} 1&1\\0&1 \end{bmatrix}= \begin{bmatrix} 3&5\\3&5\\3&5 \end{bmatrix} \end{align*}为了建立公式 (A−1)T(A^{-1})^{T}，我们先从 AA−1=I,A−1A=IAA^{-1}=I,A^{-1}A=I开始，然后转置。一方面 IT=II^{T}=I，另一方面我们知道乘积的转置，所以

AT的逆=A−1的转置(A−1)TAT=I(8)

\begin{equation} A^{T}\text{的逆}=A^{-1}\text{的转置}\qquad (A^{-1})^{T}A^{T}=I\tag8 \end{equation}

对称矩阵

根据已经建立的规则，现在我们介绍一种特殊的矩阵，可能非常重要，那就是对称矩阵。对称矩阵就是转置等于本身的矩阵：AT=AA^{T}=A，这种矩阵必须是方阵，对角线一边的元素等于另一边的镜像：aij=ajia_{ij}=a_{ji}，这里给出两个简单的例子：

A=[1228]D=[1004]A−1=14[8−2−21]

A=\begin{bmatrix}1&2\\2&8\end{bmatrix} \qquad D=\begin{bmatrix}1&0\\0&4\end{bmatrix} \qquad A^{-1}=\frac{1}{4}\begin{bmatrix}8&-2\\-2&1\end{bmatrix} 对称矩阵不需要可逆；它甚至可以是零矩阵。但是，如果 A−1A^{-1}存在的话，它也是对称的。从上面的 (ii)(ii)我们知道 A−1A^{-1}的转置等于 (AT)−1(A^{T})^{-1}；对于对称矩阵，只是 A−1A^{-1}。 A−1A^{-1}等于它自身的转置；当 AA是对称的时候它也是。现在我们将表明任何矩阵RR乘以 RTR^{T}将得到对称矩阵。

对称乘法RTR,RRTR^{T}R,RR^{T}和LDLTLDL^{T}

任意选择一个矩阵RR，也可以是长方形的。用RTR^{T}乘以RR得到的RTRR^{T}R自动就是对称方阵：

RTR的转置是RT(RT)T,而RT(RT)T=RTR(9)

\begin{equation} R^{T}R\text{的转置是}R^{T}(R^{T})^{T},\text{而}R^{T}(R^{T})^{T}=R^{T}R\tag9 \end{equation}这快速的证明了 RTRR^{T}R是对称矩阵，它的 i,ji,j元素是 RTR^{T}的第 ii行和RR的第 jj列的内积，j,ij,i元素和它相等，所以 RTRR^{T}R是对称的。

RRTRR^{T}也是对称的，不是和RTRR^{T}R不相等。凭我的经验，大部分以长方形矩阵开始的科学问题最终都会落到RTRR^{T}R或RRTRR^{T}或他们两者身上。

例2：R=[1,2],RT=[12]R=[1,2],R^{T}=\begin{bmatrix}1\\2\end{bmatrix}相乘得到RTR=[1224],RRT=[5]R^{T}R=\begin{bmatrix}1&2\\2&4\end{bmatrix},RR^{T}=[5]
乘积RTRR^{T}R是n×nn\times n的矩阵，而RRTRR^{T}是m×mm\times m。即使m=nm=n，RTR=RRTR^{T}R=RR^{T}也不一定成立，等式是可能发生的但不常见。

对称矩阵出现在许多地方，“每一个行动都存在一个与它相等但相反的反应”。元素aija_{ij}(在jj上施加行动ii)和ajia_{ji}是匹配的，我们之后会看到在微分方程中它是对称的。另外LULU不对称而LDLTLDL^{T}确实对称的。

14、假设A=ATA=A^{T}在不执行行变换的情况下分解为A=LDUA=LDU，那么UU是LL的转置。即对称矩阵分解得到A=LDLTA=LDL^{T}

A=LDUA=LDU的转置为AT=UTDTLTA^{T}=U^{T}D^{T}L^{T}，因为A=ATA=A^{T}，因此我们存在两个分解，但是三角分解是唯一的，所以LTL^{T}必须等于UU。

LT=UA=LDLT[1228]=[1201][1004][1021]=LDLT

L^{T}=U\quad A=LDL^{T}\quad \begin{bmatrix}1&2\\2&8\end{bmatrix}=\begin{bmatrix}1&0\\2&1\end{bmatrix}\begin{bmatrix}1&0\\0&4\end{bmatrix}\begin{bmatrix}1&2\\0&1\end{bmatrix}=LDL^{T} 当消元应用到对称矩阵上时，AT=AA^{T}=A是一个优点。在消元过程中更小的矩阵依然保持对称，我们的工作量就减少了一半！右下角的矩阵依然保持着对称：

⎡⎣⎢abcbdecef⎤⎦⎥→⎡⎣⎢⎢⎢⎢⎢a00bd−b2ae−bcace−bcaf−c2a⎤⎦⎥⎥⎥⎥⎥

\begin{bmatrix} a&b&c\\b&d&e\\c&e&f \end{bmatrix} \to \begin{bmatrix} a&b&c\\0&d-\frac{b^2}{a}&e-\frac{bc}{a}\\0&e-\frac{bc}{a}&f-\frac{c^2}{a} \end{bmatrix} 消元得工作量从 n3/3n^3/3变成了 n3/6n^3/6，不需要存储对角线两边所有的元素或者说同时存储 L,UL,U。