二、求解已经因式分解的矩阵的线性方程组

容易求解的线性方程组
因式分解求解方法

容易求解的线性方程组

先讨论矩阵A是n维可逆矩阵的情况，即 $x=A^{-1}b$

对角矩阵

假设A是非奇异对角矩阵，线性方程组Ax=b可以写成 $a_{ii}x_i=b_i,i=1,\cdots,n$ ，方程组的解为 $x_i=b_i/a_{ii}$ ，即经过n次浮点运算即可。

下三角矩阵

矩阵A是n维非奇异下三角矩阵：即 $\forall j >i,a_{ij}=0$ ，下三角矩阵非奇异的充要条件是对所有的i成立 $a_{ii}\neq 0$ 。

此时Ax=b可以写成：

$\begin{bmatrix} a_{11} &0 &\cdots &0 \\ a_{12} &a_{22} &\cdots &0 \\ \vdots &\vdots & \ddots & \vdots \\ a_{n1} &a_{n2} &\cdots & a_{nn} \end{bmatrix}\, \, \begin{bmatrix} x_1\\ x_2\\\vdots \\ x_n\end{bmatrix}=\begin{bmatrix} b_1\\ b_2\\\vdots \\ b_n\end{bmatrix}$

可推出：

$\begin{matrix} x_1=b_1/a_{11}\\ x_2=(b_2-a_{12}x_1)/a_{22}\\ x_3=(b_3-a_{31}x_1-a_{32}x_2)/a_{33}\\ \vdots \\ x_n=(b_n-a_{n1}x_1-\cdots -a_{nn-1}x_{n-1})/a_{nn} \end{matrix}$

共需要的计算次数： $1+3+5+\cdots +(2n-1)$ ，即为等差数列前n项和， $1+3+5+\cdots +(2n-1)=n*1+\frac{n(n-1)}{2}*2=n^2$

上三角矩阵

矩阵A是非奇异上三角矩阵，即 $A^T$ 是非奇异下三角矩阵，Ax=b可以写成：

$\begin{bmatrix} a_{11} &a_{12} &\cdots &a_{1n} \\ 0 &a_{22} &\cdots &a_{2n} \\ \vdots &\vdots & \ddots & \vdots \\ 0 &0 &\cdots & a_{nn} \end{bmatrix}\, \, \begin{bmatrix} x_1\\ x_2\\\vdots \\ x_n\end{bmatrix}=\begin{bmatrix} b_1\\ b_2\\\vdots \\ b_n\end{bmatrix}$

可推出：

$\begin{matrix} x_n=b_n/a_{nn}\\ x_{n-1}=(b_{n-1}-a_{n-1n}x_{n-1})/a_{n-1n-2}\\ x_{n-2}=(b_{n-2}-a_{n-2n-1}x_{n-1}-a_{n-2n}x_n)/a_{n-2n-2}\\ \vdots \\ x_1=(b_1-a_{1n}x_n-\cdots -a_{12}x_{2})/a_{11} \end{matrix}$

跟下三角矩阵同理，需要 $n^2$ 次计算。

正交矩阵

矩阵A为正交矩阵的条件是 $A^TA=I \Leftrightarrow A^{-1}=A^T$ ，求解 $Ax=b\Leftrightarrow x=A^{-1}b=A^Tb$ ，即计算 $2n^2$ 次。

如果A具有特殊结构，也可以减少计算量，比如 $A =I -2uu^T,\begin{Vmatrix} u\end{Vmatrix}_2=1$ ，此时 $x=A^Tb=(I-2uu^T)^Tb=(I-2uu^T)b=b-2uu^Tb$ ，只需要4n次计算。

排列矩阵

令 $\pi =(\pi _1,\cdots,\pi _n)$ 为 $(1,2,\cdots,n)$ 的一种排列，相应的排列矩阵 $A \in R^{n\times n}$ 定义为：

$A_{ij}=\left\{\begin{matrix} 1 &j=\pi_i \\ 0 & otherwise \end{matrix}\right.$

排列矩阵的每行（每列）只有一个元素等于1，所有其他元素都为0。排列矩阵的逆矩阵就是逆排列对应的排列矩阵。实际上就是 $A^T$ ，而与1相乘不需要运算。该排列矩阵的方程组的求解需要0个运算。

因式分解求解算法

将A表示为一系列非奇异矩阵的乘积， $A=A_1A_2\cdots A_k$ ， $x=A^{-1}b=A_k^{-1}A_{k-1}^{-1}\cdots A_1^{-1}b$ ，可推出：

$z_1=A_1^{-1}b\\ z_2=A_2^{-1}z_1=A_2^{-1}A_1^{-1}b\\ \vdots \\ z_{k-1}=A_{k-1}^{-1}z_{k-2}=A_{k-1}^{-1}\cdots A_1^{-1}b\\ z_k=A_k^{-1}z_{k-1}=A_k^{-1}A_{k-1}^{-1}\cdots A_1^{-1}b\\$

可以通过这种方法求解：

$A_1x_1=b,A_2x_2=x_1,\cdots ,A_kx=x_{k-1}$

求解多个右边项的方程组

考虑求解方程组 $Ax_b_1,Ax_2=b_2,\cdots ,Ax_m=b_m,A \in R^{n \times n}$ 是非奇异矩阵，将方程组等价于计算矩阵 $X=A^{-1}B$ ，其中 $X=\begin{bmatrix} x_1 &x_2 &\cdots &x_m \end{bmatrix}\in R^{n \times m}, B =\begin{bmatrix} b_1 &b_2 &\cdots &b_m \end{bmatrix}\in R^{n \times m}$

求解先对A进行因式分解，成本为f，然后对 $i=1,\cdots ,m$ 通过过求解步骤计算 $A^{-1}b_i$ ，总计算量是f+ms。

来源：https://blog.csdn.net/wangchy29/article/details/87903699

凸优化有关的数值线性代数知识二：求解已经因式分解的矩阵的线性方程组相关推荐

机器学习之凸优化原理推导及相关知识总结
文章目录目录 1.了解凸集和仿射集的基本概念. 2.知道几何体的向量表达. 3.了解超平面和半空间的概念. 4.了解分割超平面和支撑超平面的含义. 5.知道jensen不等式. 6.掌握知识:凸函数 ...
凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
凸优化_Stephen_Boyd_
AI 菌由于凸优化在机器学习中还是很重要链接:http://pan.baidu.com/s/1eS3vuLk 密码:3epx 理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介 ...
最优化模型：线性代数模型、凸优化模型及应用
最优化理论是应用数学的一个分支,该理论研究在约束条件下某个函数的最小值或最大值.这个领域的诞生可以追溯到高斯年轻时所解决的一个天文学问题.后来随着物理学,特别是力学的发展,一些自然现象可被描述为&qu ...
机器学习中的数学知识(part3)--凸优化
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识凸优化非凸优化机器学习中的数学知识凸优化下面是实际问题中常见的凸集,记住它们对理解后面的算法非常有帮助. n n
凸优化基础知识笔记-凸集、凸函数、凸优化问题
文章目录 1. 凸集 2. 凸函数 2.1. 凸函数的一阶条件 2.1. 凸函数例子 3. 凸优化问题 4. 对偶 4.1. Lagrange函数与Lagrange对偶 4.2. 共轭函数 4.3. ...
凸优化、最优化、凸集、凸函数
原文:https://www.cnblogs.com/AndyJee/p/5048735.html 我们知道压缩感知主要有三个东西:信号的稀疏性,测量矩阵的设计,重建算法的设计.那么,在重建算法中,如 ...
凸优化学习笔记 10：凸优化问题
前面讲了那么多关于凸集.凸函数的知识,然而都是铺垫,现在我们才来到了这门课的重头戏部分--凸优化问题! 文章目录 1. 一般优化问题 2. 凸优化问题 2.1 凸优化问题定义 2.2 凸优化问题的最优 ...
斯坦福助理教授马腾宇：ML非凸优化很难，如何破？
作者 | 马腾宇编译 | 陈萍.杜伟来源 | 机器之心非凸优化问题被认为是非常难求解的,因为可行域集合可能存在无数个局部最优点,通常求解全局最优的算法复杂度是指数级的(NP 困难).在近日的一篇 ...
凸优化算法：Chambolle-Pock算法
文章目录 Chambolle-Pock算法 1. 凸共轭(convex conjugate) 2. 近似点算子(proximal operator) 3. Chambolle-Pock算法步骤参考文 ...

凸优化有关的数值线性代数知识二：求解已经因式分解的矩阵的线性方程组