数值计算笔记之迭代法的收敛性

回顾，雅可比以及高斯-赛德尔迭代阵。

雅可比迭代阵： $G_{j}=I-D^{-1}A$
高斯-赛德尔迭代阵： $G_{g-s}=-(D+L)^{-1}\cdot U$

迭代法的收敛性

1、充分条件

定理1：若迭代阵 $||G|| <1$ (范数)，则迭代法公式 $X^{k+1}=GX^{k}+d$ 对任意初值均成立。

例：

$AX=b \Rightarrow \begin{bmatrix} 20 &2 &3 \\ 1 & 8 &1 \\ 2& -3 & 15 \end{bmatrix}\cdot \begin{bmatrix} x_{1}\\ x_{2}\\ x_{3} \end{bmatrix}= \begin{bmatrix} 24\\ 12\\ 30 \end{bmatrix}$ ，判断上述迭代法的收敛性。

由 A 有： $L=\begin{bmatrix} 0 & & \\ 1& 0& \\ 2& -3 & 0 \end{bmatrix}$ ， $D=\begin{bmatrix} 20 & & \\ &8 & \\ & & 15 \end{bmatrix}$ ， $U=\begin{bmatrix} 0 & 2 &3 \\ & 0& 1\\ & & 0 \end{bmatrix}$

<1>、对于雅可比迭代法：

$G_{j}=I-D^{-1}A= \begin{bmatrix} 1 & & \\ & 1 & \\ & & 1 \end{bmatrix}- \begin{bmatrix} \frac{1}{20} & & \\ &\frac{1}{8} & \\ & & \frac{1}{15} \end{bmatrix}\cdot \begin{bmatrix} 20 &2 &3 \\ 1& 8 & 1\\ 2& -3 &15 \end{bmatrix} =$ $\begin{bmatrix} 0 & -\frac{1}{10} &-\frac{3}{20} \\ -\frac{1}{8}& 0 & -\frac{1}{8} \\ -\frac{2}{15} &\frac{1}{5} &0 \end{bmatrix}$

$\because ||G_{j}|| = \frac{1}{3}<1$ (行范数：取各行数的绝对值之和最大的那个和值)

$\therefore$ 雅可比迭代法收敛。

<2>、对于高斯-赛德尔迭代法：

$G_{g-s}=-(D+L)^{-1}\cdot U =-\begin{bmatrix} 20 & 0 & 0\\ 1 & 8 &0 \\ 2& -3 & 15 \end{bmatrix}^{-1}\cdot \begin{bmatrix} 0 & 2 &3 \\ &0 &1 \\ & & 0 \end{bmatrix} =$ $\frac{1}{2400}\begin{bmatrix} 0 &-240 &-360 \\ 0& 30&-255 \\ 0 & 38 & -3 \end{bmatrix}$

$\because ||G_{g-s}||=\frac{1}{4}<1$

$\therefore$ 高斯-赛德尔迭代法收敛

求迭代阵很麻烦，下面有一种较方便的方法。

定理2：若 $AX=b$ 是对角占优方程组，则方程组有唯一解，且雅可比迭代与高斯-赛德尔迭代均收敛。

对角占优阵的定义：设矩阵 $A=(a_{ij})_{n\times n}$ 满足 $|a_{ii}| > \sum_{j=0}^{i-1}|a_{ij}|+\sum_{j=i+1}^{n}|a_{ij}|$ $(i=1,2,\cdots ,n)$ ，则称 $A$ 为对角占优阵，称 $AX=b$ 为对角占优方程组。（即在某一行，对角元素绝对值大于除它以外的所有元素绝对值之和）

例：

$AX=b \Rightarrow \begin{bmatrix} 10 &-1 &0 \\ -1& 10 &-2 \\ 0&-2 & 5 \end{bmatrix}\cdot \begin{bmatrix} x_{1}\\ x_{2}\\ x_{3} \end{bmatrix}= \begin{bmatrix} 9\\ -5\\ 12 \end{bmatrix}$

显然， $A$ 是对角占优阵，雅可比迭代与高斯-赛德尔迭代均收敛。

定理3：设有线性方程组 $AX=b$

若 $A$ 对称正定，则高斯-赛德尔迭代收敛；
若 $A$ 对称正定， $2D-A$ 也对称正定，则雅可比迭代收敛；
若 $A$ 对称正定， $2D-A$ 非正定，则雅可比迭代发散。

矩阵各主子式都大于 0 $\Rightarrow$ 正定

2、充要条件

谱半径 定义：矩阵 $A$ 的所有特征值模的最大值，称为 $A$ 的谱半径，即 $\rho(A)=max|\lambda _{i}|$ $(1\leq i\leq n)$ .

定理4：迭代公式 $x^{(k+1)}=GX^{(k)}+d$ 对任给初始向量 $X^{(0)}$ 收敛的充要条件是 $\rho (G)<1$ 。（注意是迭代阵的谱半径）

例：设 $AX=b$ ， $A=\begin{bmatrix} 1 & -2 &2 \\ -1 &1 &-1 \\ -2& -2 &1 \end{bmatrix}$

解：显然， $A$ 不是对角占优阵，也不对称。

$G_{J}=I-D^{-1}A=\begin{bmatrix} 0 &2 &-2 \\ 1 &0 &1 \\ 2& 2 &0 \end{bmatrix}$ ， $||G_{J}||$ 都不小于1，所有用定理4.

求 $G_{J}$ 的特征值

令 $|\lambda I-G_{J}|=0$ ，得 $\begin{bmatrix} \lambda &-2 &2 \\ -1 & \lambda &-1 \\ -2 & -2 & \lambda \end{bmatrix}= \lambda ^{3}=0$

$\therefore \lambda _{1}=\lambda _{2}=\lambda _{3}=0$

$\therefore \rho (G_{J})=0<1$

故雅可比迭代收敛。

判断高斯-赛德尔迭代同理，不过 $G_{g-s}=-(D+L)^{-1}\cdot U$ 。

总结：对于 $AX=b$ ，判断收敛性

$A$ 为对角占优阵 $\Rightarrow$ Jacobbi、Guass-seidel 迭代收敛。
$A$ 对称正定，则高斯-赛德尔迭代收敛；若 $A$ 对称正定， $2D-A$ 也对称正定，则雅可比迭代收敛。
求迭代矩阵 $G$ ，先判断 $||G||<1$ ，再判断 $\rho (G)<1$