矩阵分析与应用 -- 线性方程组

一个线性方程组有以下形式：

该线性方程组有 mmm 个等式和 nnn 个未知数。令 EkE_kEk代表第 kkk 个等式：

线性方程组进行以下三种行变换，不改变线性方程组的解：

任意两行Ei,EjE_i, E_jEi,Ej交换顺序
任意一行等式两端乘上相同的非零数 Ei=αEi,α≠0E_i = \alpha E_i, \alpha \not = 0Ei=αEi,α=0
任意一行等式两端乘上相同的数并加到另一行上 Ej=Ej+αEiE_j = E_j + \alpha E_iEj=Ej+αEi

线性方程组的解有三种情况：

唯一解
无解
无穷解

Gaussian Elimination

高斯消去法（Gaussian Elimination）是一种求解线性方程组的方法。

其方法如下，对线性方程组：

选择一个主元（被圈中的2），消去位于该主元之下的所有的项。
向下移一行并向右移一列，选择一个新的主元。
消去主元之下所有的项。
重复以上步骤，直到线性方程组的最后一行。

通过高斯消去法，将线性方程组进行了三角化，然后可以通过回代快速求解方程组的解（如上个方程式，先求解 zzz，然后求解 yyy 和 xxx ）。

对于一个有 nnn 个等式和 nnn 个未知数的线性方程组，高斯消去法的复杂度：

n33+n2−n3\frac{n^3}{3} + n^2 - \frac{n}{3}3n3+n2−3n 次乘法或除法
n33+n22−5n6\frac{n^3}{3} + \frac{n^2}{2} - \frac{5n}{6}3n3+2n2−65n 次加法或减法

Gauss-Jordan

系数矩阵：线性方程组等式左边未知数的系数组成的矩阵。

增广矩阵：系数矩阵和等式右边的数共同组成的矩阵。

因此一个线性方程组可以直接用一个增广矩阵表示。

Guass-Jodan 方法：将线性方程组的转化成以下形式：

即在高斯消去法的基础上，选择主元后将主元的系数变为1（等式两端乘上主元系数的倒数），消去主元之下的项的同时也消去主元之上的项。

因此，高斯消去法将线性方程组进行了三角化，但是求解未知数时仍然需要进行回代计算。而Guass-Jordan方法直接求出了线性方程组的解。

对于一个有 nnn 个等式和 nnn 个未知数的线性方程组，Guass-Jordan方法的复杂度：

n32+n22\frac{n^3}{2} + \frac{n^2}{2}2n3+2n2 次乘法或除法
n33−n22\frac{n^3}{3} - \frac{n^2}{2}3n3−2n2 次加法或减法

实际问题

高斯消去法进行实际应用时，总是会出现一些问题。实际应用往往需要借助计算机，而计算机保存一个数（浮点数）时保留的位数是有限的，往往会对实际结果产生影响。

如下列方程组及其解：

在使用高斯消去法时：

第二行加上第一行乘以 10410^4104，对于第二列元素，1+104∗1=100011 + 10^4*1 = 100011+104∗1=10001，如果计算机只能保留三位有效数字，那么其会变成 100011000110001，那么最终得到的结果

可以看出与原结果产生了较大的差异。

如果交换线性方程组两个等式的顺序，再使用高斯消去法：

可以看到同样是保留3位有效数字，结果却与正确答案相差不大。

为什么呢？可能是因为没交换前使用高斯消去法，第二行乘以了一个非常大的数（10410^4104）导致原系数（1）丢失，从而对结果产生了影响，而交换后高斯消去法第二行乘的是一个非常小的数，从而导致精度丢失对结果的差异影响不明显，所以与原答案相近，那么如果保证进行高斯消去的时候乘的数都是一个最小的数，是否能够更接近原结果呢？那么，如果在高斯消去时，把当前主元所在列中的最大数的等式和当前主元所在的行的等式进行交换，那么消去该主元列时，该主元下的项乘以将是所有可能中最小的数。

部分主元法 Partial Pivoting

含义：在消去主元 s 时，搜索主元之下所有元素中的最大值，将其所在行与主元行交换。即保证高斯消去的每一步，图中 s 大于等于所有 S 的值（示意图表示高斯消去法的第三步）。

然而这种方法仍然存在问题。比如下列的方程组，保留3位有效数字：

使用部分主元：

结果仍然与原答案具有很大的差异。部分主元法看出交换行可能会对结果产生影响，那么交换列是否也会对结果产生影响？

全部主元法 Complete Pivoting

在部分主元法的基础上，搜索的范围变为原主元所有右下方的元素。全部主元法可以保证计算的结果接近原答案。然而因其复杂度太高，在实际应用中通常使用部分主元法。

Ill-Conditioned

除此之外，考虑线性方程组的中的某一个数值可能因为外界的干扰会进行微小的变动，那么其对结果的影响又会如何呢？考虑下面的方程组，

如果 b2=0.067b_2 = 0.067b2=0.067 变成了 b2=0.066b_2 = 0.066b2=0.066，它的解变成下面的形式:

原线性方程组中的受到了一些非常小的扰动，导致最终的解产生了巨大的变化，这样的线性方程组被称为病态线性方程组（ill-conditioned linear systems）。

从几何上来理解，可以认为线性方程组的解是两条直线的交点，如果两条直线的斜率比较接近，那么其中一条直线的截距哪怕发生较小的变动，都会使直线的交点偏差很远。

行阶梯式和秩

高斯消去法利用线性方程组的三种行变换对增广矩阵进行了三角化。考虑更一般的矩阵形式（不一定是 n×nn×nn×n），进行高斯消去法

每一个矩阵都可以通过3种行变换转化成以下形式（表示为EEE）：

上述形式也叫做行阶梯形式（row echelon form）。

定义矩阵 AAA 的秩如下，其中非零主元即上图圈中的元素：

如果使用Gauss-Jordan方法进行消去，那么其得到的形式如下（表示为 EAE_AEA）：

该形式被称为最简行阶梯形式（reduced row echelon form）。

一个矩阵的最简行阶梯形式是唯一确定的，无关于约简的步骤。

最简行列式和矩阵之间的关系：

E∗jE_{*j}E∗j 代表第 jjj 列。那么，对于原矩阵

线性方程组的解

一个线性方程组有解，其被称作 aconsistentsystema consistent systemaconsistentsystem，没有解则是 inconsistentinconsistentinconsistent。

一个线性方程组有解：

齐次方程组

齐次方程组（Homogeneous Systems）指线性方程组等式右侧全为0。

否则被称为非齐次的（nonhomogeneous）。

x1=x2=...=xn=0x_1 = x_2 = ... = x_n = 0x1=x2=...=xn=0 是齐次方程组的一个解，被称为平凡解 (trival solution)。

齐次方程组的系数矩阵 AAA 的秩为 rrr，那么其有 n−rn-rn−r 个自由变量 hhh。齐次方程组的通解可以写成以下形式：

例如:

非齐次方程组

解法如下：

p是非齐次方程组的一个特解，后面是其对应的齐次方程组的通解的形式。一个非齐次方程组的解可以写成其一个特解加上其对应的齐次方程组的通解。