3LU Cholesky和 $LDL^T$ 因式分解

LU因式分解
Cholesky因式分解
$LDL^T$ 因式分解

LU因式分解

每一个非奇异矩阵 $A\in R^{n \times n}$ 都可以因式分解成A=PLU，其中 $P \in R^{n \times n}$ 是排列矩阵， $L \in R^{n \times n}$ 是单位下三角矩阵， $U \in R^{n \times n}$ 是非奇异上三角矩阵。这种形式被成为Ａ的LU因式分解。也可以写成 $P^TA=LU$ 。

计算LU因式分解的标准算法被称为Gauss部分主元消元法，或Gauss行变换消元法。不考虑Ａ的结构，计算Ａ的LU因式分解的成本是 $(2/3)n^3$ 。

通过LU因式分解求解线性方程组

给定线性方程组Ax=b，其中A非奇异。

LU因式分解：将A因式分解为A=PLU。
排列：求解 $Pz_1=b$ （0次浮点运算）
前向代入：求解 $Lz_2=z_1$ （ $n^2$ 次浮点运算）
后向代入：求解 $Ux=z_2$ （ $n^2$ 次浮点运算）

一共需要 $(2/3)n^3+2n^2$ 次浮点运算。

如果考虑求解多个不同右边项的线性方程组，即 $Ax_i=b_i,i=1,\cdots ,m$ ，一共需要一次因式分解，m次解方程，共 $(2/3)n^3+2mn^2$ 次浮点运算。

稀疏矩阵的LU因式分解

当Ａ是稀疏矩阵时，起LU因式分解通常包含行列排列，即Ａ被因式分解成 $A=P_1LUP_2$ ，其中 $P_1,P_2$ 是排列矩阵，Ｌ是下三角矩阵，Ｕ是上三角矩阵。因式L和U的稀疏性取决于排列矩阵 $P_1$ 和 $P_2$ ，因此选择这些矩阵时在一定程度上要考虑因式的稀疏性。

计算稀疏的LU因式分解的成本是A的维数、非零元素的数量、稀疏模式以及所使用的具体算法这些因素的复杂函数。但通常会小于稠密的LU因式分解的计算成本。

Cholesky因式分解

如果 $A\in R^{n \times n}$ 是对称正定矩阵，那么它可以因式分解为 $A =LL^T$ ，其中L是下三角非奇异矩阵，对角元素均为正数，这种分解被称为A的Cholesky因式分解，可以理解为对称LU分解。矩阵L，通常由A唯一确定，被称为Ade Cholesky因式。不考虑A的结构，计算A的Cholesky因式分解的成本是 $(1/3)n^3$ 次浮点运算。

利用Cholesky因式分解求解正定方程组

考虑Ax=b，A是对称正定矩阵。

Cholesky因式分解：将A因式分解为 $A=LL^T$ ( $(1/3)n^3$ 次浮点运算)
前向代入：求解 $Lz_1=b$ ( $n^2$ 次浮点运算)
后向代入：求解 $L^Tx=z_1$ ( $n^2$ 次浮点运算)

一共需要 $(1/3)n^3+2n^2$ 次浮点运算。

稀疏矩阵的Cholesky因式分解

当A是对称正定稀疏矩阵时，通常可以因式分解为 $A=PLL^TP^T$ ，其中P是排列矩阵，Ｌ是对角线元素为正数的下三角矩阵。

稀疏矩阵的Cholesky因式分解分为两部，（1）符号因式分解：首先由Ａ的稀疏模式确定排列矩阵P，一旦选定P，即可确定L的稀疏模式。（2）数值因式分解：即计算Ｌ的非零元素。

稀疏矩阵的Cholesky因式分解的成本少于 $(1/3)n^3$ 。其成本与Ａ的维度、非零元素的个数，稀疏模式均相关。

$LDL^T$ 因式分解

每个非奇异对称矩阵Ａ都能分解为 $A=PLDL^TP^T$ ，其中P是排列矩阵，L是对角元素均为正数的下三角矩阵，D是块对角矩阵，对角块为 $1 \times 1$ 和 $2\times 2$ 的非奇异矩阵。不考虑A的结构，计算 $LDL^T$ 因式分解的浮点运算次数为 $(1/3)n^3$ 。

利用 $LDL^T$ 因式分解求解线性方程组

给定方程组Ax=b，其中A是非奇异对称矩阵。

$LDL^T$ 因式分解：将A因式分解为 $A=PLDL^TP^T$ ( $(1/3)n^3$ 次浮点运算)
排列：求解 $Pz_1=b$ （0次浮点运算）
前向代入：求解 $Lz_2=z_1$ ( $n^2$ 次浮点运算)
求解块对角方程：求解 $Dz_3=z_2$ (阶次为n次浮点运算)
后向代入：求解 $L^Tz_4=z_3$ ( $n^2$ 次浮点运算)
排列：求解 $P^Tx=z_4$ （0次浮点运算）

稀疏矩阵的 $LDL^T$ 因式分解

在确定稀疏矩阵的 $LDL^T$ 因式分解时，排列矩阵Ｐ不只取决于Ａ的稀疏模式，还依赖于Ａ的非零元素的具体数值。但总的成本要小于 $(1/3)n^3$ 。

凸优化有关的数值线性代数知识 3LU Cholesky和LDL因式分解相关推荐

机器学习之凸优化原理推导及相关知识总结
文章目录目录 1.了解凸集和仿射集的基本概念. 2.知道几何体的向量表达. 3.了解超平面和半空间的概念. 4.了解分割超平面和支撑超平面的含义. 5.知道jensen不等式. 6.掌握知识:凸函数 ...
机器学习中的数学知识(part3)--凸优化
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识凸优化非凸优化机器学习中的数学知识凸优化下面是实际问题中常见的凸集,记住它们对理解后面的算法非常有帮助. n n
凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
凸优化_Stephen_Boyd_
AI 菌由于凸优化在机器学习中还是很重要链接:http://pan.baidu.com/s/1eS3vuLk 密码:3epx 理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介 ...
最优化模型：线性代数模型、凸优化模型及应用
最优化理论是应用数学的一个分支,该理论研究在约束条件下某个函数的最小值或最大值.这个领域的诞生可以追溯到高斯年轻时所解决的一个天文学问题.后来随着物理学,特别是力学的发展,一些自然现象可被描述为&qu ...
干货丨从基础知识到实际应用，一文了解「机器学习非凸优化技术」
文章来源:机器之心优化作为一种研究领域在科技中有很多应用.随着数字计算机的发展和算力的大幅增长,优化对生活的影响也越来越大.今天,小到航班表大到医疗.物理.人工智能的发展,都依赖优化技术的进步. 在 ...
机器学习中的数学(七)--凸优化的基础知识
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
凸优化“傻瓜”教程-----凸优化基础知识
目录凸优化基础知识 1.AI问题是什么? 2.对于常见的优化问题,我们可以写成什么形式? 3.针对一般的优化问题,我们从哪几个方向思考? 4.什么样的问题是凸优化问题? 4.1凸优化问题需要同时满足 ...
MATLAB中CVX工具箱解决凸优化问题的基本知识——语法、变量声明、目标函数、约束条件、cvx编程错误及解决方法
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.语法二.变量声明三.目标函数四.约束条件五.函数六.cvx特有的数学运算表达式七.常见错误八.进阶阅 ...
凸优化基础知识笔记-凸集、凸函数、凸优化问题
文章目录 1. 凸集 2. 凸函数 2.1. 凸函数的一阶条件 2.1. 凸函数例子 3. 凸优化问题 4. 对偶 4.1. Lagrange函数与Lagrange对偶 4.2. 共轭函数 4.3. ...

凸优化有关的数值线性代数知识 3LU Cholesky和LDL因式分解

3LU Cholesky和 $LDL^T$ 因式分解