4分块消元与Schur补

消除部分变量
逆矩阵引理

消除部分变量

考虑Ax=b，将变量 $x \in R^n$ 分为凉快或两个子向量

$x=\begin{bmatrix} x_1 \\x_2\end{bmatrix},x_1 \in R^{n_1},x_2 \in R^{n_2}$

对线性方程组Ax=b做同样的划分，

$\begin{bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \end{bmatrix} \begin{bmatrix} x_1 \\x_2\end{bmatrix}=\begin{bmatrix} b_1 \\ b_2 \end{bmatrix}$

其中 $A_{11}\in R^{n_1\times n_1},A_{22}\in R^{n_2 \times n_2}$

假设 $A_{11}$ 可逆，则按以下方式消去 $x_1$ ， $x_1=A_{11}^{-1}(b_1-A_{12}x_2)$ ，再将其代入第二个方程

得到

$A_{21}x_1+A_{22}x_2=b_2 \\ \Leftrightarrow A_{21}A_{11}^{-1}(b_1-A_{12}x_2)+A_{22}x_2=b_2 \\ \Leftrightarrow (A_{22}-A_{21}A_{11}^{-1}A_{12})x_2=b_2-A_{21}A_{11}^{-1}b_1$

其中 $S=A_{22}-A_{21}A_{11}^{-1}A_{12}$ 是矩阵A的第一个分块矩阵 $A_{11}$ 的Schur补。当且仅当A非奇异时，Schur补S是非奇异矩阵。

通过分块消元求解线性方程组

给定非奇异线性方程组Ax=b，其中 $A_{11}$ 非奇异：

计算 $A_{11}^{-1}A_{12}$ 和 $A_{11}^{-1}b_1$
计算 $S=A_{22}-A_{21}A_{11}^{-1}A_{12}$ 和 $\hat{b}=b_2-A_{21}A_{11}^{-1}b_1$
求解 $Sx_2=\hat{b}$ 确定 $x_2$
求解 $A_{11}x_1=b_1-A_{12}x_2$ 确定 $x_1$

分块消元法的复杂度分析

f表示对 $A_{11}$ 进行因式分解的计算成本，s表示 $A_{11}$ 完成相应的求解步骤所需要的计算成本。

计算 $A_{11}^{-1}A_{12}$ 和 $A_{11}^{-1}b_1$ ，对 $A_{11}$ 进行因式分解，再加上求解两个乘法需要的 $n_2+1$ 次浮点运算，共需要 $f+(n_2+1)s$
计算 $S=A_{22}-A_{21}A_{11}^{-1}A_{12}$ 和 $\hat{b}=b_2-A_{21}A_{11}^{-1}b_1$ ，计算 $A_{21}A_{11}^{-1}A_{12}$ 需要 $2n_2^2n_1$ ，再加上 $n_2 \times n_2$ 的矩阵减法，成本为 $n_2^2$ ，计算 $\hat{b}=b_2-A_{21}A_{11}^{-1}b_1$ 的成本不如计算S的成本阶次高，因此只需考虑计算S的成本。
求解 $Sx_2=\hat{b}$ 确定 $x_2$ ，对该方程求解需要分解S，再求解，成本为 $(2/3)n_2^3$ 。
求解 $A_{11}x_1=b_1-A_{12}x_2$ 确定 $x_1$ ，计算 $b_1-A_{12}x_2$ 需要 $2n_1n_2+n_1$ 次浮点运算，求解方程组可以利用1中的 $A_{11}$ 的分解结果，因而秩序执行求解步骤，成本为s。

故总成本： $f+n_2s+2n_2^2n_1+(2/3)n_2^3$

无结构矩阵消元：此时 $A_{11}$ 的分解为LU分解，于是 $f=(2/3)n_1^3$ ， $s=2n_1^2$ ，代入上式得到 $(2/3)(n_1+n_2)^3$

对角矩阵消元：f=0， $s=n_1$ ，代入 $f+n_2s+2n_2^2n_1+(2/3)n_2^3$ 得到 $2n_2^2n_1+(2/3)n_2^3$

逆矩阵引理

考虑线性方程组 $(A+BC)x=b,A \in R^{n \times n},B \in R^{n \times p},C \in R^{p \times n}$ ，引入新的变量 $y=Cx$ ，写成：

$\begin{bmatrix} A &B \\ C&-I \end{bmatrix}\begin{bmatrix} x\\y \end{bmatrix}=\begin{bmatrix} b\\0 \end{bmatrix}$

应用块消元，从第一个方程中得到 $x=A^{-1}(b-By)$ ，再将x代入第二个方程得到

$Cx-y=0\\ CA^{-1}(b-By)=y \\ CA^{-1}b=(I+CA^{-1}B)y$

$\Leftrightarrow y=(I+CA^{-1}B)^{-1}CA^{-1}b$

$\Leftrightarrow x=A^{-1}(b-B(I+CA^{-1}B)^{-1}CA^{-1}b)\\ \Leftrightarrow x=(A^{-1}-A^{-1}B(I+CA^{-1}B)CA^{-1})b$

因为b是任意向量，有以下结论

$(A+BC)^{-1}=A^{-1}-A^{-1}B(I+CA^{-1}B)CA^{-1}$

这就是逆矩阵定理。

求解(A+BC)x=b的计算成本：

如果A是对角元素不等于零的对角矩阵，B，C 是稠密矩阵，

（１）计算D=A+BC需要 $2pn^2$ 次浮点运算，再对D进行LU分解，需要 $(2/3)n^3$ 次浮点运算，总成本 $2pn^2+(2/3)n^3$

（２）用逆矩阵引理求解，即先计算 $y=(I+CA^{-1}B)^{-1}CA^{-1}b$ ，计算 $z=A^{-1}b$ 需要n次浮点运算，计算 $E=I+CA^{-1}B$ 需要 $2p^2n$ 次浮点运算，再求y，需要 $(2/3)p^3$ 次浮点运算，再计算 $x=A^{-1}(b-By)=A^{-1}b-A^{-1}By=a-A^{-1}By$ ，再求解ｘ需要2pn次浮点运算。

凸优化有关的数值线性代数知识 4分块消元与Schur补相关推荐

线性代数导论2——矩阵消元
线性代数导论2--矩阵消元本文是Gilbert Strang的线性代数导论课程笔记.课程地址:http://v.163.com/special/opencourse/daishu.html 第二课时 ...
机器学习之凸优化原理推导及相关知识总结
文章目录目录 1.了解凸集和仿射集的基本概念. 2.知道几何体的向量表达. 3.了解超平面和半空间的概念. 4.了解分割超平面和支撑超平面的含义. 5.知道jensen不等式. 6.掌握知识:凸函数 ...
MIT线性代数笔记二矩阵消元
文章目录 1. 消元 Elimation 2. 回代 Back-Substitution 3. 消元矩阵 Elimination Matrices 4. 置换矩阵 Permutation 5. 逆矩阵 ...
MIT 18.06 Gilbert Strang《线性代数》L2. 矩阵消元
这里是 MIT 18.06 Gilbert Strang<线性代数>笔记汇总. 消元法有三元方程组 {x+2y+z=23x+8y+z=124y+z=2\begin{cases}x& ...
线性代数五之高斯消元——[SDOI2010]外星千足虫，[HNOI2013]游走，[HNOI2011]XOR和路径，[hdu 4035]Maze
多类型高斯消元杂题 [SDOI2010]外星千足虫 description solution code [HNOI2013]游走 description solution code [HNOI2011 ...
机器学习中的数学知识(part3)--凸优化
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识凸优化非凸优化机器学习中的数学知识凸优化下面是实际问题中常见的凸集,记住它们对理解后面的算法非常有帮助. n n
凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
凸优化_Stephen_Boyd_
AI 菌由于凸优化在机器学习中还是很重要链接:http://pan.baidu.com/s/1eS3vuLk 密码:3epx 理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介 ...
高斯消元简单线性代数线性基学习记录
线性代数,唉高斯消元 P4035 [JSOI2008]球形空间产生器题目描述有一个球形空间产生器能够在n维空间中产生一个坚硬的球体.现在,你被困在了这个n维球体中,你只知道球面上n+1个点的坐标 ...
最优化模型：线性代数模型、凸优化模型及应用
最优化理论是应用数学的一个分支,该理论研究在约束条件下某个函数的最小值或最大值.这个领域的诞生可以追溯到高斯年轻时所解决的一个天文学问题.后来随着物理学,特别是力学的发展,一些自然现象可被描述为&qu ...

凸优化有关的数值线性代数知识 4分块消元与Schur补