【数理知识】《矩阵论》方保镕老师-第3章-矩阵的分解

上一章	回到目录	下一章

第3章矩阵的分解

3.1 矩阵的三角分解
- 3.1.1 消元过程的矩阵描述
- 3.1.2 矩阵的三角分解
- 3.1.3 常用的三角分解公式
3.2 矩阵的 QR(正交三角) 分解
- 3.2.1 QR 分解的概念
- 3.2.2 QR 分解的实际求法
- - 1. 吉文斯 (Givens) 方法
  - 2. 豪斯霍尔德 (Housholder) 方法
3.3 矩阵的最大秩分解
3.4 矩阵的奇异值分解和极分解
- 定义 3.4.1 奇异值
- 定理 3.4.2 奇异值分解
3.5 矩阵的谱分解
- 3.5.1 正规矩阵（可以酉对角化）
- - 定义 3.5.1 正规矩阵
  - 实正规矩阵
  - 定理 3.5.1
- 3.5.2 正规矩阵的谱分解
- 3.5.3 单纯矩阵（可相似对角化）的谱分解
- - 左特征向量、右特征向量
  - 谱分解
  - - 扩展：谱半径 spectrum radius
    - 扩展：为什么若迭代矩阵的谱半径小于1，则对任意初始向量都收敛?

3.1 矩阵的三角分解

3.1.1 消元过程的矩阵描述

3.1.2 矩阵的三角分解

3.1.3 常用的三角分解公式

3.2 矩阵的 QR(正交三角) 分解

3.2.1 QR 分解的概念

如果实（复）非奇异矩阵 AAA 能化成正交（酉）矩阵 QQQ 与实（复）非奇异上三角矩阵 RRR 的乘积，即
A=QR(3.2.1)A = QR \tag{3.2.1}A=QR(3.2.1)
则称此为 AAA 的 QRQRQR 分解。

3.2.2 QR 分解的实际求法

1. 吉文斯 (Givens) 方法

2. 豪斯霍尔德 (Housholder) 方法

3.3 矩阵的最大秩分解

3.4 矩阵的奇异值分解和极分解

定义 3.4.1 奇异值

设 A∈Crm×nA\in \mathbb{C}^{m\times n}_rA∈Crm×n，AHAA^HAAHA 的特征值为
λ1≥λ2≥⋯λr>λr+1=λr+2=⋯λn=0，\lambda_1\ge \lambda_2\ge \cdots \lambda_r> \lambda_{r+1} = \lambda_{r+2} = \cdots \lambda_n = 0，λ1≥λ2≥⋯λr>λr+1=λr+2=⋯λn=0，

则称 σi=λi(i=1,2,⋯,r)\sigma_i = \sqrt{\lambda_i}(i = 1,2,\cdots,r)σi=λi(i=1,2,⋯,r) 为矩阵 AAA 的正奇异值，简称奇异值。

定理 3.4.2 奇异值分解

设 A∈Crm×nA\in \mathbb{C}^{m\times n}_rA∈Crm×n，则存在 mmm 阶酉矩阵 UUU 和 nnn 阶酉矩阵 VVV，使得
UHAV=[Δ000](3.4.2)U^HAV = \left[\begin{matrix} \Delta & 0 \\ 0 & 0 \end{matrix}\right]\tag{3.4.2}UHAV=[Δ000](3.4.2)

或
A=U[Δ000]VH(3.4.3)A = U \left[\begin{matrix} \Delta & 0 \\ 0 & 0 \end{matrix}\right] V^H \tag{3.4.3}A=U[Δ000]VH(3.4.3)

其中，Δ=diag(σ1,σ2,⋯,σr)\Delta=diag(\sigma_1, \sigma_2,\cdots, \sigma_r)Δ=diag(σ1,σ2,⋯,σr)，λi\lambda_iλi 为 AAHAA^HAAH 的非零特征值，且 σi=λi(i=1,2,⋯,r)\sigma_i = \sqrt{\lambda_i}(i = 1,2,\cdots,r)σi=λi(i=1,2,⋯,r)，而 σi\sigma_iσi 是 AAA 的全部奇异值。

3.5 矩阵的谱分解

3.5.1 正规矩阵（可以酉对角化）

定义 3.5.1 正规矩阵

设 AAA 是复数域上的方阵，如果有
AAH=AHA(3.5.1)AA^H = A^HA \tag{3.5.1}AAH=AHA(3.5.1)

则称 AAA 为正规矩阵。

实正规矩阵

如果 AAA 是实数域上的方阵，如果有
AAT=ATA(3.5.2)AA^T = A^TA \tag{3.5.2}AAT=ATA(3.5.2)

则称 AAA 为实正规矩阵。

定理 3.5.1

设 A∈Cn×nA\in \mathbb{C}^{n\times n}A∈Cn×n，则 AAA 酉相似于对角矩阵的充要条件是 AAA 为正规矩阵。

3.5.2 正规矩阵的谱分解

设 AAA 为正规矩阵，由定理 3.5.1 可知，存在酉矩阵 UUU 使得 UHAU=diag(λ1,λ2,⋯,λn)U^HAU = diag(\lambda_1,\lambda_2,\cdots,\lambda_n)UHAU=diag(λ1,λ2,⋯,λn)，因而
A=Udiag(λ1,λ2,⋯,λn)UHA = Udiag(\lambda_1,\lambda_2,\cdots,\lambda_n)U^HA=Udiag(λ1,λ2,⋯,λn)UH

令 U=(α1,α2,⋯,αn)U = (\alpha_1,\alpha_2,\cdots,\alpha_n)U=(α1,α2,⋯,αn)，则
A=(α1,α2,⋯,αn)[λ1λ2⋱λn][α1Hα2H⋮αnH]=(λ1α1α1H+λ2α2α2H+⋯+λnαnαnH)(3.5.3)\begin{aligned} A & = (\alpha_1,\alpha_2,\cdots,\alpha_n) \left[\begin{matrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \\ \end{matrix}\right] \left[\begin{matrix} \alpha_1^H \\ \alpha_2^H \\ \vdots \\ \alpha_n^H \\ \end{matrix}\right] \\ & = (\lambda_1\alpha_1\alpha_1^H + \lambda_2\alpha_2\alpha_2^H + \cdots + \lambda_n\alpha_n\alpha_n^H) \end{aligned}\tag{3.5.3}A=(α1,α2,⋯,αn)⎣⎢⎢⎡λ1λ2⋱λn⎦⎥⎥⎤⎣⎢⎢⎢⎡α1Hα2H⋮αnH⎦⎥⎥⎥⎤=(λ1α1α1H+λ2α2α2H+⋯+λnαnαnH)(3.5.3)

由于 λ1,λ2,⋯,λn\lambda_1,\lambda_2,\cdots,\lambda_nλ1,λ2,⋯,λn 为 AAA 的特征值，α1,α2,⋯,αn\alpha_1,\alpha_2,\cdots,\alpha_nα1,α2,⋯,αn 为对应的两两正交的单位特征向量，故上式称为正规矩阵 AAA 谱分解或特征（值）分解。

3.5.3 单纯矩阵（可相似对角化）的谱分解

左特征向量、右特征向量

右特征向量 xix_ixi 如下，也是默认常用向量形式：
Axi=λixiAx_i = \lambda_i x_iAxi=λixi

左特征向量 yiTy_i^TyiT 如下：
ATyi=λiyi,i=1,2,⋯,n(3.5.13)A^Ty_i = \lambda_i y_i, \quad i = 1,2,\cdots, n \tag{3.5.13}ATyi=λiyi,i=1,2,⋯,n(3.5.13)

上式两端取转置得
yiTA=λiyiT,i=1,2,⋯,n(3.5.14)y_i^TA = \lambda_i y_i^T, \quad i = 1,2,\cdots, n \tag{3.5.14}yiTA=λiyiT,i=1,2,⋯,n(3.5.14)

又见：【数理知识】特征值、特征向量、左特征向量

谱分解

单纯矩阵 AAA 的谱分解如下，即 AAA 分解成 nnn 个矩阵 GiG_iGi 之和的形式，其线性组合系数是 AAA 的谱（所有的特征值）。
A=∑i=1nλiGi(3.5.20)A = \sum_{i=1}^{n} \lambda_i G_i \tag{3.5.20}A=i=1∑nλiGi(3.5.20)

其中，
Gi=xiyiT(3.5.19)G_i = x_i y_i^T \tag{3.5.19}Gi=xiyiT(3.5.19)

其中，yiTy_i^TyiT 为 AAA 的左特征向量，xix_ixi 为 AAA 的右特征向量。

扩展：谱半径 spectrum radius

在数学中，矩阵或者有界线性算子的谱半径是指其特征值绝对值集合的上确界，一般若为方阵 AAA 的谱半径则写作 ρ(A)\rho(A)ρ(A)
ρ(A)=max⁡1≤i≤n∣λi∣\rho(A) = \max_{1\le i\le n} |\lambda_i|ρ(A)=1≤i≤nmax∣λi∣

扩展：为什么若迭代矩阵的谱半径小于1，则对任意初始向量都收敛?

首先知道 ρ(B)<1⇔lim⁡n→∞Bn=0\rho(B) <1 \Leftrightarrow \lim_{n\rightarrow \infty} B^n = 0ρ(B)<1⇔n→∞limBn=0

From: 为什么若迭代矩阵的谱半径小于1，则对任意初始向量都收敛

上一章	回到目录	下一章