第04讲 矩阵的LU分解 Factorization into A=LU

04 A的LU分解​v.youku.com

本节的主要目的是从矩阵的角度理解高斯消元法，最后找到所谓的L矩阵，使得矩阵A可以转变为上三角阵U。即完成LU分解得到A=LU。

首先继续了解一些矩阵乘法和逆矩阵的相关内容。

• 矩阵乘积的逆矩阵 Inverse of a product

比较等式两端可得

。

矩阵乘积的转置 Transpose of a product
（本讲要用到的只是转置矩阵求逆的公式，把相关内容放在这里做个简介，方便大家理解。GS在下一讲还会讲到转置。）
矩阵A的转置矩阵记为即

，对矩阵进行转置就是将

A矩阵的行变为

的列，则完成后

A的列也就成为了

的行，看起来矩阵如同沿着对角线进行了翻转。

则

其数学表达式为

，即

的第i行j列的元素为原矩阵

A中第j行i列的元素。

可以用定义证明。把上次课介绍的那个乘法小技巧的图片按照乘积矩阵的对角线翻转也看得一清二楚。

• 转置矩阵的逆矩阵 Inverse of a transpose

两边取转置，并应用积的转置公式，得到

。根据逆矩阵定义得到

• 矩阵的LU分解

我们已经看到了如何应用消元法将矩阵A转变为上三角阵U，这就引出了矩阵的LU分解，它是理解矩阵A性质的重要方法。

可以将矩阵的分解类比为多项式的因式分解，分解后的结果可以让我们更容易看清“解”的状态。

在没有行交换的情况下，矩阵A通过左乘一系列消元矩阵Eij可以转化为U。在二阶矩阵中，进行一次消元操作即可达到这一效果。

在等式两侧左乘

，得到

即

。就得到了矩阵

A的LU分解结果。

是

的逆向操作，即左乘

使得矩阵

A第二行[8,7]减去第一行的4倍得到“新第二行”[0,3]，那么再左乘

可以使得”新第二行”[0,3]加上“第一行”的4倍又变回原第二行的数值[8,7]。

其中U为上三角阵（Upper triangular matrix），主元依次排列于它的对角线上，

即

L为下三角阵（Lower triangular matrix）。有时我们也通过分解得到对角阵D（diagonal matrix）,例如

对于三阶矩阵不需要换行进行消元的情况则有：

，左乘逆矩阵可得

设定一组消元矩阵，其中E31为单位阵I，其它两个消元矩阵如下：

可以看到在消元矩阵E的左下角出现了数10。它的出现是由于第一步操作E21中“第二行”减去了2倍的“第一行”得到了“新第二行”。row2-2row1=newrow2,而在第二步操作E32中第三行减去了5倍的“新第二行”，这相当于减去5倍的“原第二行”并减去5倍的“（-2）倍原第一行”，10就出现在这里。

row3-5newrow2=row3-5(row2-2row1)=row3-5row2+10 row1

在右侧操作则不会有这种情况发生，运算顺序会发生变化，

。

如果没有行交换操作，则消元矩阵的因子可以直接写入矩阵L。没有多余的交叉项出现是LU分解要优于EA=U这种形式的原因之一。

• 消元法所需运算量

在一些应用中我们需要处理超大型矩阵，即使用计算机来处理这一问题，也需要评估所需的计算量。

如果我们把“先乘后减”大致记为一次运算，那么对于一个nxn矩阵，对于一行进行消元要进行n次运算，由于有n行所以进行了nxn次运算，结果得到了第一列除第一主元外都消成0的矩阵。随后开始对除第一行第一列之外的剩余部分进行消元，这相当于一个(n-1)x(n-1)的矩阵，那么就要进行(n-1)x(n-1)次运算，以此类推。

最后需要的运算次数为1x1+2x2+……+nxn，利用积分公式可以估算其数值。

这里算是个灵活使用数学工具的例子，我看到完全平方的求和，就一直在回忆公式，但其实作为估算采用积分公式就很方便了。有时候应用数学工具就像开车，保证你正常行驶主要靠驾驶技能，而不是你手边的一本《交规》，熟练驾驶但是不遵守交规很容易出错，交规倒背如流却没有驾驶技能则往往寸步难行。
再扯几句淡。在统计学中经常用到斯特林公式（Stirling's approximation），它用来评估和近似阶乘的大小

。如果你去阅读Stirling公式的发展历程和证明过程，就会意识到级数、极限和微积分中间的紧密联系，感兴趣可以看一看。

等号右侧向量b的行变换大致需要nxn次运算。

• 行转换 Row exchanges

如果主元的位置出现了0，就需要进行“行交换”。我们可以通过左乘一个置换矩阵（Permutation Matrix）实现“行交换”的操作。例如

可以实现33矩阵的第一行与第二行的交换。所有的33的置换矩阵包括：

对于nxn矩阵存在着n！个置换矩阵。

置换矩阵每一行或者每一列只有一个元素是1，其它都是0，从第一行选一个位置设定为1有n个选择，第二行则只剩下n-1个选择，以此类推，最终有n！种可能。

对于某阶的置换矩阵集合而言，置换矩阵的两两乘积仍在这个集合中，置换矩阵的逆矩阵也在此集合中。置换矩阵的逆矩阵即为它的转置

。

可以用前面介绍过的乘法运算小技巧来理解这件事情

P的第i行和

的第i列相乘会得到1，与其他列相乘都得到0，所以

的第i列只能是

P的第i行行向量的转置（让分量1出现在向量里的相同位置），其他各列以此类推，则P的每一个行向量转置就得到

的列向量，这也就是矩阵转置

的定义。因此可得

。