追赶法解三对角矩阵

上一期末尾提到了cholesky分解和追赶法，但是没有展开来讲，这期就提一下追赶法的计算步骤.至于cholesky分解，后面会有专门针对正定矩阵的算法，这里就不说了.
设系数矩阵A为：
A=[e1f10d2⋱⋱⋱⋱fn−10dnen]A=\begin{bmatrix} e_1 & f_1 & & 0\\ d_2 & \ddots & \ddots& \\ &\ddots &\ddots & f_{n-1}\\0 & & d_n& e_n\\ \end{bmatrix}A=⎣⎢⎢⎡e1d20f1⋱⋱⋱⋱dn0fn−1en⎦⎥⎥⎤
我们将形似方阵A的矩阵称为三对角矩阵.
对这类矩阵，有如下分解：
A=LU=[10l21⋱⋱0ln1]⋅[r1f10r2⋱⋱fn−10rn]A=LU=\begin{bmatrix} 1 & & & 0\\ l_2 & 1 & & \\ &\ddots &\ddots & \\0 & & l_n& 1\\ \end{bmatrix}\cdot\begin{bmatrix} r_1 & f_1 & & 0\\ & r_2 & \ddots& \\ & &\ddots & f_{n-1}\\0 & & & r_n\\ \end{bmatrix}A=LU=⎣⎢⎢⎡1l201⋱⋱ln01⎦⎥⎥⎤⋅⎣⎢⎢⎡r10f1r2⋱⋱0fn−1rn⎦⎥⎥⎤
得到分解的矩阵及具体的求解过程如下：
令r1=e1r_1=e_1r1=e1，然后对i=2,...,ni=2,...,ni=2,...,n计算
li=diri−1l_i=\frac {d_i}{r_{i-1}}li=ri−1di和ri=ei−li×fi−1r_i=e_i-l_i\times f_{i-1}ri=ei−li×fi−1
注意上三角矩阵U中的fif_ifi仍然是A中的对应元素.这样就做完分解了.接下来就是解方程Ly=bLy=bLy=b和Ux=yU_x=yUx=y（其中b为方程组Ax=bAx=bAx=b中对应的b向量）：
(1)令y1=b1y_1=b_1y1=b1，对i=2,...,ni=2,...,ni=2,...,n计算：
yi=bi−li×yi−1y_i=b_i-l_i\times y_{i-1}yi=bi−li×yi−1
(2)令xn=ynrnx_n=\frac {y_n}{r_n}xn=rnyn，再对i=n−1,...,1i=n-1,...,1i=n−1,...,1计算：
xi=yi−fi×xi+1rix_i=\frac {y_i-f_i\times x_{i+1}}{r_i}xi=riyi−fi×xi+1
该算法的计算量为O(n)O(n)O(n),理论上为最优运算量的算法.

矩阵范数及向量范数

向量范数

说到范数，我认为可以把它理解称n维空间上的一类特殊函数，一般来说，是一个实值函数，常常记为∥x∥(x∈Rn)\Vert x\Vert(x\in\mathbb R^n)∥x∥(x∈Rn).
常用的范数就是p(p∈[1,∞)p\in[1,\infty)p∈[1,∞))范数：
∥x∥p=(∑i=1n∣xi∣p)1/p\Vert x\Vert _p=(\sum\limits^n_{i=1}|x_i|^p)^{1/p}∥x∥p=(i=1∑n∣xi∣p)1/p
最为重要的就是1范数，2范数（或Euclid范数）和 ∞\infty∞范数，分别对应下面三个式子：
∥x∥1=∣x1∣+∣x2∣+...+∣xn∣=∑i=1n∣x1∣\Vert x\Vert_1=|x_1|+|x_2|+...+|x_n|=\sum\limits^n_{i=1}|x_1|∥x∥1=∣x1∣+∣x2∣+...+∣xn∣=i=1∑n∣x1∣
∥x∥2=(∑i=1n∣xi∣2)1/2\Vert x\Vert_2=(\sum\limits^n_{i=1}|x_i|^2)^{1/2}∥x∥2=(i=1∑n∣xi∣2)1/2
∥x∥∞=max⁡{∣x1∣,...,∣xn∣}\Vert x\Vert_\infty=\max\{|x_1|,...,|x_n|\}∥x∥∞=max{∣x1∣,...,∣xn∣}
上面说到范数是一类特殊的函数，自然就满足某些性质：
x,y∈Rn，a∈Rx,y\in\mathbb R^n，a\in\mathbb Rx,y∈Rn，a∈R
(1)非负性（也称正定性）：x≠0x\neq0x=0,成立∥x∥>0,∥x∥=0\Vert x\Vert\gt0,\Vert x\Vert=0∥x∥>0,∥x∥=0当且仅当x=0x=0x=0;
(2)齐次性：∥ax∥=∣a∣∥x∥\Vert ax\Vert=|a|\Vert x\Vert∥ax∥=∣a∣∥x∥;
(3)三角不等式：∥x+y∥≤∥x∥+∥y∥\Vert x+y\Vert\le\Vert x\Vert+\Vert y\Vert∥x+y∥≤∥x∥+∥y∥.
下面叙述几条相关的定理:
定理1：对Rn\mathbb R^nRn中的任意向量范数，∀x,y∈Rn\forall x,y\in\mathbb R^n∀x,y∈Rn，成立
∣∥x∥−∥y∥∣≤∥x−y∥|\Vert x\Vert-\Vert y\Vert|\le\Vert x-y\Vert∣∥x∥−∥y∥∣≤∥x−y∥
(利用范数的三角不等式性质证明)
定理2：Rn\mathbb R^nRn中的任意向量范数都是Rn\mathbb R^nRn上的连续函数.
(利用定理1证明和范数的性质证明)
定理3：Rn\mathbb R^nRn空间上所有的范数都是等价的.用不同的下标表示不同的范数就是:总存在常数m和M，∀x∈Rn\forall x\in\mathbb R^n∀x∈Rn,成立
m∥x∥(1)≤∥x∥(2)≤M∥x∥(1)m\Vert x\Vert_{(1)}\le\Vert x\Vert_{(2)}\le M\Vert x\Vert_{(1)}m∥x∥(1)≤∥x∥(2)≤M∥x∥(1)
(只需证明任意范数和某一确定的范数等价即可)
定理4：Rn\mathbb R^nRn中序列{x(k)}\{x^{(k)}\}{x(k)}收敛于某一x∈Rnx\in\mathbb R^nx∈Rn的充要条件为：
∥x(k)−x∥→0,k→∞\Vert x^{(k)}-x\Vert\to0,k\to\infty∥x(k)−x∥→0,k→∞

矩阵范数

对于一般的矩阵范数，它们是满足上面所说的三条范数的性质的，下面讲一类特殊的矩阵范数，叫做矩阵的从属范数.
对Rn\mathbb R^nRn上的任意范数，对任一A∈Rn×nA\in \mathbb R^{n\times n}A∈Rn×n,定义：
∥A∥=max⁡x≠0∥Ax∥∥x∥=max⁡∥x∥=1∥Ax∥\Vert A\Vert=\max\limits_{x\ne0}\frac {\Vert Ax \Vert}{\Vert x\Vert}=\max\limits _{\Vert x\Vert=1}\Vert Ax\Vert∥A∥=x=0max∥x∥∥Ax∥=∥x∥=1max∥Ax∥
为A的从属范数.(注意！这里的矩阵范数是有向量范数导出的)
下面分别给出1范数，2范数和 ∞\infty∞范数的计算公式：
∥A∥1=max⁡j∑i=1n∣aij∣\Vert A\Vert_1=\max\limits_j\sum\limits^n_{i=1}|a_{ij}|∥A∥1=jmaxi=1∑n∣aij∣
∥A∥∞=max⁡i∑j=1n∣aij∣\Vert A\Vert_{\infty}=\max\limits_i\sum\limits^n_{j=1}|a_{ij}|∥A∥∞=imaxj=1∑n∣aij∣
∥A∥2=λmax\Vert A\Vert_2=\sqrt{\lambda_{max}}∥A∥2=λmax
矩阵的从属范数除了满足一般范数的性质外，还满足相容性条件。即：
(4)∥Ax∥≤∥A∥⋅∥x∥,∀x∈Rn\Vert Ax\Vert\le\Vert A\Vert\cdot\Vert x\Vert,\forall x\in\mathbb R^n∥Ax∥≤∥A∥⋅∥x∥,∀x∈Rn;
(5)∥A⋅B∥≤∥A∥⋅∥B∥,∀A,B∈Rn×n\Vert A\cdot B\Vert\le\Vert A\Vert \cdot\Vert B\Vert,\forall A,B\in\mathbb R^{n\times n}∥A⋅B∥≤∥A∥⋅∥B∥,∀A,B∈Rn×n.
此外矩阵的范数之间也是等价的，特别地，1范数，2范数，F范数和 ∞\infty∞范数的关系如下：
∥A∥2≤∥A∥F≤n∥A∥2\Vert A\Vert_2\le\Vert A\Vert_F\le\sqrt{n}\Vert A\Vert_2∥A∥2≤∥A∥F≤n∥A∥2
1n∥A∥∞≤∥A∥2≤n∥A∥∞\frac {1}{\sqrt{n}}\Vert A\Vert_\infty\le\Vert A\Vert_2\le\sqrt{n}\Vert A\Vert_{\infty}n1∥A∥∞≤∥A∥2≤n∥A∥∞
1n∥A∥1≤∥A∥2≤n∥A∥1\frac {1}{\sqrt{n}}\Vert A\Vert_1\le\Vert A\Vert_2\le\sqrt{n}\Vert A\Vert_1n1∥A∥1≤∥A∥2≤n∥A∥1
其中，F范数的定义为：
∥A∥F=(∑i=1n∑j=0naij2)12\Vert A\Vert_F=(\sum_{i=1}^n \sum_{j=0}^n a_{ij}^2)^{\frac 12}∥A∥F=(∑i=1n∑j=0naij2)21,可以证明F范数也满足相容性

谱半径

记ρ(A)=max⁡{∣λ∣:λ∈σ(A)}\rho(A)=\max\{|\lambda|:\lambda \in\sigma(A)\}ρ(A)=max{∣λ∣:λ∈σ(A)}，为n阶方阵的谱半径，其中σ(A)\sigma(A)σ(A)表示A特征值的全体.
显然，谱半径就是最大特征根，且有∥A∥2=ρ(ATA)\Vert A\Vert_2=\sqrt{\rho(A^TA)}∥A∥2=ρ(ATA)，
特别地，当A对称时，还有∥A∥2=ρ(A)\Vert A\Vert_2=\rho(A)∥A∥2=ρ(A)
下面给出几个关于谱半径的重要结论：
定理5：对任意一种A的从属范数，有ρ(A)≤∥A∥\rho(A)\le\Vert A\Vertρ(A)≤∥A∥
定理6：谱半径ρ(A)\rho (A)ρ(A)是A的所有范数的下确界，即：
ρ(A)=inf⁡μ∥A∥μ\rho(A)=\inf\limits_{\mu}\Vert A\Vert _{\mu}ρ(A)=μinf∥A∥μ
（这个定理的证明比较繁琐，要用到若尔当标准型，感兴趣的朋友可查查资料）
定理7：设A∈Rn×nA\in\mathbb R^{n\times n}A∈Rn×n,lim⁡k→∞Ak=0\lim\limits_{k\to\infty}A^k=0k→∞limAk=0的充要条件是ρ(A)<1\rho(A)<1ρ(A)<1.
（这里其实还涉及到矩阵级数的收敛性，篇幅问题就不说明了）

说明

mathor cup临近，下一期估计就要等到月底了。下一期讲讲线性方程组的扰动分析。然后的话，我想了想，追赶法的程序我过两天再上传吧，想要下载的朋友就点我的头像，找找我上传的资源，里面就会有啦。

数值计算之第四期：追赶法和范数相关推荐

Datawhale团队第四期录取名单！
Datawhale团队公示:Datawhale 组织成员 Datawhale已经成立一年半了,从一开始的12个人,学习互助,到提议建立开源组织,做更多开源的事情,帮助更多学习者,也促进我们更好地成长 ...
百度黄埔学院计划第四期来了！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale发布组织方:百度黄埔学院如今,越来越多的企业踏上新基建的浪潮,开始接触人工 ...
Datawhale第四期组队学习团队成员
第四期组队学习团队成员集训负责人评优助教基础算法梳理 Sm1les 钱令武高级算法梳理于鸿飞小雪 ML项目实践杨冰楠孙涛编程孙超小熊统计学李奇锋蓝昔 Leetcode 老 ...
2019微生物组—宏基因组分析技术专题研讨会第四期
文章目录课程简介课程大纲一.分析平台搭建二.生信基础三.图表解读和绘制专题四.宏基因组学概述五.宏基因组学有参分析流程六.宏基因组无参分析流程七.高级分析与可视化实战学习完本课程, ...
【阿里云总监课第四期】时髦的云原生应用怎么写？
为什么80%的码农都做不了架构师?>>> 概述应用已经跨入了云原生的时代.要写一个时髦的云原生应用,首先当然要了解什么是云原生.CNCF,也就是云原生计算基金会,作为目前人气 ...
参与有奖 | Arthas 第 5 期征文活动火热开启！（内附第四期中奖名单）
为了让更多开发者开始用上 Arthas 这个 Java 诊断神器,3 月 26 日,我们联合 JetBrains 推出了第一期 Arthas 有奖征文活动:聊聊这些年你和 Arthas 之间的那些事儿 ...
线下课程推荐 | 知识图谱理论与实战：构建行业知识图谱（第四期）
知识,是智能的前提. 2012年,Google推出"Google Knowledge Graph",并利用其在搜索引擎中增强搜索结果,这便是"知识图谱"名称的由 ...
分布式技术追踪 2017年第四期
分布式技术追踪 2017年第四期欢迎大家订阅高柯用架构师微信公众号, 除了"每周一报"之外, 还有更多原创技术文章等着你. 分布式系统实践 1. Apache Beam成功孵 ...
第四期直播分享预告-高薪offer指南
第四期直播分享预告 ● 精简回顾和总结之前分享的精华内容 ● 深度剖析大厂求职本质原理(需求,简历,面试,策略): ● 如何学习和深入理解网络(上周分享,剩余部分继续):帮你梳理关于网络的一切知识,让 ...
拿不到offer全额退款 | 第四期人工智能 NLP / CV 课培训招生
人工智能与自然语言处理/计算机视觉课培训招生 Artificial Intelligence ForNLP/CV Courses 真实企业级项目驱动找工作拿不到offer全额退款 GitHub年度活 ...

数值计算之第四期：追赶法和范数

追赶法解三对角矩阵

矩阵范数及向量范数

向量范数

矩阵范数

谱半径

说明

数值计算之第四期：追赶法和范数相关推荐

最新文章

热门文章