注: 以下内容均由个人整理, 不保证完全准确, 如有纰漏, 欢迎交流讨论
参考: 杨明, 刘先忠. 矩阵论(第二版)[M]. 武汉: 华中科技大学出版社, 2005

3 矩阵的分解

3.1 常见的矩阵标准形与分解

常见标准形

等价标准形: P , Q P, Q P,Q 可逆
A m × n = P m × m [ I r 0 0 0 ] Q n × n A_{m\times n}=P_{m\times m}\begin{bmatrix}I_r&0\\0&0\end{bmatrix}Q_{n\times n} Am×n=Pm×m[Ir000]Qn×n
相似标准形: P P P 可逆
A n × n = P J A P − 1 A_{n\times n}=PJ_AP^{-1} An×n=PJAP−1

LU 和 LDV 分解

LU 分解: A ∈ F n × n A\in F^{n\times n} A∈Fn×n, 有下三角形矩阵 L L L, 上三角形矩阵 U U U, 使得 A = L U A = LU A=LU.
LDV 分解: A ∈ F n × n A\in F^{n\times n} A∈Fn×n, L , V L, V L,V 分别是主对角线元素为 1 的下三角形和上三角形矩阵, D D D 为对角矩阵, 使得 A = L D V A = LDV A=LDV

Th 3.1 矩阵的 k k k 阶顺主子式: 取矩阵的前 k k k 行、前 k k k 列得到的行列式.
Th 3.1: A ∈ F n × n A\in F^{n\times n} A∈Fn×n 有唯一 LDV 分解 ⟺ A A A 的顺主子式 ∣ A k ∣ ≠ 0 , k = 1 , 2 , . . . , n − 1 |A_k|\neq 0, k=1,2,...,n-1 ∣Ak∣=0,k=1,2,...,n−1, ∣ A 0 ∣ = 1 |A_0|=1 ∣A0∣=1. 其中 D = d i a g ( d 1 , d 2 , … , d n ) , d k = ∣ A k ∣ ∣ A k − 1 ∣ , k = 1 , … , n D = diag(d_1,d_2,…,d_n), d_k = \frac{|A_k|}{|A_{k-1}|}, k=1, …, n D=diag(d1,d2,…,dn),dk=∣Ak−1∣∣Ak∣,k=1,…,n.

LU 和 LDV 分解分解方法

LU 分解:

构造增广矩阵 ( A ∣ I ) (A|I) (A∣I)
使用第 i i i 行乘数 k k k 加到第 j j j 行( i ＜ j i＜j i＜j)型(不能交换两行, 也不能对一行本身乘或除一系数)行初等变换将增广矩阵 ( A ∣ I ) (A|I) (A∣I) 中 A A A 变为上三角矩阵, 此时增广矩阵为 ( U ∣ L − 1 ) (U|L^{-1}) (U∣L−1).
( A ∣ I ) ⟶ 非交换两行 ( U ∣ L − 1 ) \pmb{(A|I)\stackrel{非交换两行}{\longrightarrow}(U|L^{-1})} (A∣I)⟶非交换两行(U∣L−1)(A∣I)⟶非交换两行(U∣L−1)(A∣I)⟶非交换两行(U∣L−1)
根据增广矩阵得到的 L − 1 L^{-1} L−1 求逆得 L L L.

最终得到 A = L U A=LU A=LU.

LDV 分解:

进行 LU 分解得到 L , U L,U L,U
从 U U U 矩阵每行提取对角线元素的值得到矩阵 D D D
U = [ d 1 u 12 ⋯ u 1 n d 2 ⋯ u 2 n ⋱ ⋮ d n ] ⟶ D = [ d 1 d 2 ⋱ d n ] , V = [ 1 u 12 d 1 ⋯ u 1 n d 1 1 ⋯ u 2 n d 2 ⋱ ⋮ 1 ] U=\begin{bmatrix} d_1&u_{12}&\cdots&u_{1n}\\ &d_2&\cdots&u_{2n}\\ & &\ddots&\vdots\\ & & &d_n \end{bmatrix}\longrightarrow D=\begin{bmatrix} d_1& & & \\ &d_2& & \\ & &\ddots&\ \\ & & &d_n \end{bmatrix},V=\begin{bmatrix} 1&\frac{u_{12}}{d_1}&\cdots&\frac{u_{1n}}{d_1}\\ &1&\cdots&\frac{u_{2n}}{d_2}\\ & &\ddots&\vdots\\ & & &1 \end{bmatrix} U=⎣⎢⎢⎢⎡d1u12d2⋯⋯⋱u1nu2n⋮dn⎦⎥⎥⎥⎤⟶D=⎣⎢⎢⎡d1d2⋱ dn⎦⎥⎥⎤,V=⎣⎢⎢⎢⎡1d1u121⋯⋯⋱d1u1nd2u2n⋮1⎦⎥⎥⎥⎤

LU 和 LDV 求解 AX=b

A X = b ⇒ { L Y = b U X = Y AX=b\Rightarrow \begin{cases}LY=b\\UX=Y\end{cases} AX=b⇒{LY=bUX=Y
A X = b ⇒ { L Z = b D Y = Z V X = Y AX=b\Rightarrow \begin{cases}LZ=b\\DY=Z\\VX=Y\end{cases} AX=b⇒⎩⎪⎨⎪⎧LZ=bDY=ZVX=Y

满秩分解

Def 3.2: 设 A ∈ F m × n , r a n k ( A ) = r A\in F^{m\times n}, rank(A)=r A∈Fm×n,rank(A)=r, 若存在秩为 r r r 的矩阵 B ∈ F m × r B\in F^{m\times r} B∈Fm×r(列满秩, 瘦高矩阵), C ∈ F r × n C\in F^{r\times n} C∈Fr×n(行满秩, 矮胖矩阵), 使得 A = B C A=BC A=BC, 则称此式为 A A A 的满秩分解.

Th 3.3 任何非零矩阵 A ∈ F m × n A\in F^{m\times n} A∈Fm×n 都有满秩分解.

满秩分解方法

求矩阵列的极大无关组

对矩阵 A A A 进行行初等变换得到最简形矩阵, 取最简形矩阵前 r a n k ( A ) rank(A) rank(A) 行得到矩阵 C C C.
依次选择矩阵 C C C 中每一行最左侧的 “1” 所在的列对应的 “ A A A 的列” 构成矩阵 B B B.

举例:
A = [ 1 1 2 0 2 2 1 0 1 ] → [ 1 0 1 0 1 1 0 0 0 ] A=\begin{bmatrix} 1&1&2\\ 0&2&2\\ 1&0&1 \end{bmatrix}\rightarrow\begin{bmatrix} 1&0&1\\ 0&1&1\\ 0&0&0 \end{bmatrix} A=⎣⎡101120221⎦⎤→⎣⎡100010110⎦⎤
C = [ 1 0 1 0 1 1 ] , B = [ 1 1 0 2 1 0 ] C=\begin{bmatrix} 1&0&1\\ 0&1&1 \end{bmatrix}, B=\begin{bmatrix} 1&1\\ 0&2\\ 1&0 \end{bmatrix} C=[100111],B=⎣⎡101120⎦⎤

可对角化矩阵的谱分解

矩阵的谱: 矩阵 A A A 互异的特征值的集合 { λ 1 , λ 2 , . . . , λ s } \{\lambda_1,\lambda_2,...,\lambda_s\} {λ1,λ2,...,λs}.

矩阵的谱分解:
A = P ( λ 1 [ I r 1 0 ⋱ 0 ] + λ 2 [ 0 I r 2 ⋱ 0 ] + ⋯ + λ s [ 0 0 ⋱ λ s ] ) P − 1 = P ( λ 1 Q 1 + λ 2 Q 2 + ⋯ + λ s Q s ) P − 1 = P ( ∑ i = 1 s λ i Q i ) P − 1 = ∑ i = 1 s λ i P Q i P − 1 = ⁣ = ⁣ = ⁣ = ⁣ = ⁣ = ⁣ = ⁣ = d e f P i = P Q i P − 1 ∑ i = 1 s λ i P i \begin{aligned} A&=P(\lambda_1\begin{bmatrix} I_{r_1}& & & \\ &0& & \\ & &\ddots& \\ & & &0\\ \end{bmatrix}+\lambda_2\begin{bmatrix} 0& & & \\ &I_{r_2}& & \\ & &\ddots& \\ & & &0\\ \end{bmatrix}+\cdots+\lambda_s\begin{bmatrix} 0& & & \\ &0& & \\ & &\ddots& \\ & & &\lambda_s\\ \end{bmatrix})P^{-1}\\ &=P(\lambda_1Q_1+\lambda_2Q_2+\cdots+\lambda_sQ_s)P^{-1}\\ &=P(\sum_{i=1}^s\lambda_iQ_i)P^{-1}=\sum_{i=1}^s\lambda_iPQ_iP^{-1}\\ &\overset{def\ P_i=PQ_iP^{-1}}{=\!=\!=\!=\!=\!=\!=\!=}\sum_{i=1}^s\lambda_iP_i \end{aligned} A=P(λ1⎣⎢⎢⎡Ir10⋱0⎦⎥⎥⎤+λ2⎣⎢⎢⎡0Ir2⋱0⎦⎥⎥⎤+⋯+λs⎣⎢⎢⎡00⋱λs⎦⎥⎥⎤)P−1=P(λ1Q1+λ2Q2+⋯+λsQs)P−1=P(i=1∑sλiQi)P−1=i=1∑sλiPQiP−1========def Pi=PQiP−1i=1∑sλiPi

Q i , P i Q_i,P_i Qi,Pi 性质:

∑ i = 1 s Q i = ∑ i = 1 s P i = I n \sum_{i=1}^sQ_i=\sum_{i=1}^sP_i=I_n ∑i=1sQi=∑i=1sPi=In
Q i 2 = Q i , P i 2 = P i , i = 1 , 2 , . . . , s Q_i^2=Q_i,P_i^2=P_i,i=1,2,...,s Qi2=Qi,Pi2=Pi,i=1,2,...,s 幂等矩阵
Q i Q j = 0 , P i P j = 0 , i ≠ j Q_iQ_j=0,P_iP_j=0,i\neq j QiQj=0,PiPj=0,i=j

Th 3.5: 矩阵可对角化 ⟺ 矩阵有谱分解 A = ∑ i = 1 s λ i P i A=\sum_{i=1}^s\lambda_iP_i A=∑i=1sλiPi, 其中 P i P_i Pi 满足上述 3 条性质.

幂等矩阵性质: P ∈ F n × n , P 2 = P P\in F^{n\times n},P^2=P P∈Fn×n,P2=P

P H , ( I − P ) P^H,(I-P) PH,(I−P) 仍为幂等矩阵
P P P 的谱/特征值 ⊆ { 0 , 1 } \subseteq\{0,1\} ⊆{0,1}, P P P 相似于对角矩阵
F n = N ( P ) ⊕ R ( P ) F^n=N(P)\oplus R(P) Fn=N(P)⊕R(P), 零空间 N ( P ) = V λ = 0 N(P)=V_{\lambda=0} N(P)=Vλ=0, 列空间 R ( P ) = V λ = 1 R(P)=V_{\lambda=1} R(P)=Vλ=1

3.2 Schur 分解与正规矩阵

对角形矩阵

欧式空间: 实对称矩阵 A ( A T = A ) A(A^T=A) A(AT=A) 相似于对角矩阵. 存在正交矩阵 C ( C C T = C T C = I ) C\ (CC^T=C^TC=I) C (CCT=CTC=I):
C T A C = C − 1 A C = [ λ 1 λ 2 ⋱ λ n ] C^TAC=C^{-1}AC=\begin{bmatrix} \lambda_1& & & \\ &\lambda_2& & \\ & &\ddots& \\ & & &\lambda_n \end{bmatrix} CTAC=C−1AC=⎣⎢⎢⎡λ1λ2⋱λn⎦⎥⎥⎤

酉空间: Hermite 矩阵 A ( A H = A ) A(A^H=A) A(AH=A) 相似于对角矩阵. 存在酉矩阵 U ( U U H = U H U = I ) U\ (UU^H=U^HU=I) U (UUH=UHU=I):
U H A U = U − 1 A U = [ λ 1 λ 2 ⋱ λ n ] U^HAU=U^{-1}AU=\begin{bmatrix} \lambda_1& & & \\ &\lambda_2& & \\ & &\ddots& \\ & & &\lambda_n \end{bmatrix} UHAU=U−1AU=⎣⎢⎢⎡λ1λ2⋱λn⎦⎥⎥⎤

UR 和 QR 分解

Th 3.7 可逆矩阵的 UR (酉)分解:
A ∈ C n × n A\in C^{n\times n} A∈Cn×n 为可逆矩阵, 则存在酉矩阵(正交矩阵) U U U 和主对角线上元素皆正的上三角矩阵 R R R, 使得 A = U R A=UR A=UR.

Th 3.8 列满秩矩阵(列线性无关, 瘦高矩阵)的 QR 分解:
矩阵 A ∈ C n × r A\in C^{n\times r} A∈Cn×r 是列满秩的矩阵, 则矩阵 A A A 可以分解为 A = Q R A=QR A=QR, 其中 Q ∈ C n × r Q\in C^{n\times r} Q∈Cn×r 的列向量是标准正交的向量组, R ∈ C r × r R\in C^{r\times r} R∈Cr×r 是主对角线上元素皆正的上三角形矩阵.

UR 和 QR 分解方法

思路: 将矩阵 A A A 的列向量(均线性无关)视作矩阵列空间中的一组基 A = ( α 1 , . . . , α r ) A=(\alpha_1,...,\alpha_r) A=(α1,...,αr), 使用 Schmidt 正交化方法对其求标准正交基.
( α 1 , α 2 , . . . , α r ) = ( ϵ 1 , ϵ 2 . . . , ϵ r ) [ ∣ ∣ β 1 ∣ ∣ ( α 2 , ϵ 1 ) ⋯ ( α r , ϵ 1 ) ∣ ∣ β 2 ∣ ∣ ⋯ ( α r , ϵ 2 ) ⋱ ⋮ ∣ ∣ β r ∣ ∣ ] (\alpha_1,\alpha_2,...,\alpha_r)=(\epsilon_1,\epsilon_2...,\epsilon_r)\begin{bmatrix} ||\beta_1||&(\alpha_2,\epsilon_1)&\cdots&(\alpha_r,\epsilon_1)\\ &||\beta_2||&\cdots&(\alpha_r,\epsilon_2)\\ & &\ddots&\vdots\\ & & &||\beta_r|| \end{bmatrix} (α1,α2,...,αr)=(ϵ1,ϵ2...,ϵr)⎣⎢⎢⎢⎡∣∣β1∣∣(α2,ϵ1)∣∣β2∣∣⋯⋯⋱(αr,ϵ1)(αr,ϵ2)⋮∣∣βr∣∣⎦⎥⎥⎥⎤

U U U/ Q Q Q: 标准正交基 ( ϵ 1 , ϵ 2 . . . , ϵ r ) (\epsilon_1,\epsilon_2...,\epsilon_r) (ϵ1,ϵ2...,ϵr)
R R R: [ ∣ ∣ β 1 ∣ ∣ ( α 2 , ϵ 1 ) ⋯ ( α r , ϵ 1 ) ∣ ∣ β 2 ∣ ∣ ⋯ ( α r , ϵ 2 ) ⋱ ⋮ ∣ ∣ β r ∣ ∣ ] \begin{bmatrix}||\beta_1||&(\alpha_2,\epsilon_1)&\cdots&(\alpha_r,\epsilon_1)\\ &||\beta_2||&\cdots&(\alpha_r,\epsilon_2)\\ & &\ddots&\vdots\\ & & &||\beta_r||\end{bmatrix} ⎣⎢⎢⎢⎡∣∣β1∣∣(α2,ϵ1)∣∣β2∣∣⋯⋯⋱(αr,ϵ1)(αr,ϵ2)⋮∣∣βr∣∣⎦⎥⎥⎥⎤

Schur 分解

Th 3.9 Schur 分解: 对矩阵 A ∈ C n × n A\in C^{n\times n} A∈Cn×n, 存在酉矩阵 U U U 和上三角矩阵 T T T, 使得:
U H A U = T = [ λ 1 ∗ ∗ ∗ λ 2 ⋱ ∗ ⋱ ∗ λ n ] U^HAU=T=\begin{bmatrix} \lambda_1&*&*&*\\ &\lambda_2&\ddots&*\\ & &\ddots&*\\ & & &\lambda_n \end{bmatrix} UHAU=T=⎣⎢⎢⎡λ1∗λ2∗⋱⋱∗∗∗λn⎦⎥⎥⎤

正规矩阵酉相似

Def’ 3.3: 方阵 A A A 是正规矩阵 ⟺ A H A = A A H A^HA=AA^H AHA=AAH

常见的正规矩阵:

对角矩阵
实对称和反对称矩阵: A T = A A^T=A AT=A, A T = – A A^T=–A AT=–A
Hermite 矩阵和反 Hermite 矩阵: A H = A A^H=A AH=A, A H = – A A^H=–A AH=–A
正交矩阵和酉矩阵: A T A = A A T = I A^TA=AA^T=I ATA=AAT=I, A H A = A A H = I A^HA=AA^H=I AHA=AAH=I

正规矩阵特性:
Th 3.10: A ∈ C n × n A\in C^{n\times n} A∈Cn×n 是正规矩阵 ⟺ A A A 酉相似于对角矩阵 ("正规"是"酉相似"的不变性质).
⟺ A A A 有 n n n 个标准正交的特征向量.
⟺ (推论) A A A 有 n n n 个标准正交的特征向量构成空间 C n C^n Cn 的标准正交基. 即
理解: 正规矩阵关键在"酉相似于"对角矩阵. "相似"是线性变换从一组基到另一组基的坐标变换; 而"酉相似"是线性变换从一组标准正交基到另一组标准正交基的坐标变换.
⟺ A A A 有谱分解: A = ∑ i = 1 s λ i P i A=\sum_{i=1}^s\lambda_iP_i A=∑i=1sλiPi. P P P 满足: P i 2 = P i , P i H = P i P_i^2=P_i,P_i^H=P_i Pi2=Pi,PiH=Pi; P i P j = 0 , i ≠ j P_iP_j=0,i\neq j PiPj=0,i=j; ∑ i = 1 s P i = I \sum_{i=1}^sP_i=I ∑i=1sPi=I. (即满足谱分解矩阵 P i P_i Pi 的性质外还需要满足 Hermite 性, P i = P Q i P − 1 ⟶ 正规矩阵 P i = U Q i U H P_i=PQ_iP^{-1}\overset{正规矩阵}{\longrightarrow}P_i=UQ_iU^H Pi=PQiP−1⟶正规矩阵Pi=UQiUH)

Hermite 矩阵

Hermite 矩阵: A H = A A^H=A AH=A

基本性质:

Hermite 矩阵的特征值为实数, 且不同特征值对应的特征向量正交.
∀ A is Hermite , ∃ U , U U H = U H U = I \forall A \text{ is Hermite},\exists U,UU^H=U^HU=I ∀A is Hermite,∃U,UUH=UHU=I: A = U d i a g ( λ 1 , . . . , λ n ) U H A=U\ diag(\lambda_1,...,\lambda_n)\ U^H A=U diag(λ1,...,λn) UH (任一 Hermite 阵 A 存在酉矩阵 U 使得 A 酉相似于对角阵)
半正定(正定)Hermite 阵的特征值非负(为正)
半正定矩阵: 任意的实非零列向量 x x x 有 x T A x ≥ 0 x^TAx≥0 xTAx≥0
正定矩阵: 任何非零向量 x x x 有 x T A x > 0 x^TAx>0 xTAx>0

Hermite 矩阵谱分解:
设 A ∈ F n × n A\in F^{n\times n} A∈Fn×n 是秩为 k k k 的半正定的 Hermite 矩阵, 则 A A A 可以分解为下列半正定矩阵的和:
A = v 1 v 1 H + v 2 v 2 H + . . . + v k v k H A=v_1v_1^H+v_2v_2^H+...+v_kv_k^H A=v1v1H+v2v2H+...+vkvkH
其中, { v 1 , v 2 , … , v k } \{v_1, v_2, …,v_k\} {v1,v2,…,vk} 是 F n F^n Fn 中的正交向量组, 且秩为 1.

3.3 矩阵的奇异值分解

矩阵 A H A A^HA AHA 和 A A H AA^H AAH

A ∈ C m × n A\in C^{m\times n} A∈Cm×n, A H A ∈ C n × n , A A H ∈ C m × m A^HA\in C^{n\times n},AA^H\in C^{m\times m} AHA∈Cn×n,AAH∈Cm×m 为 Hermite 矩阵, 从而也为正规矩阵.

Th 3.12

r a n k ( A ) = r a n k ( A H A ) = r a n k ( A A H ) rank(A)=rank(A^HA)=rank(AA^H) rank(A)=rank(AHA)=rank(AAH)
A H A A^HA AHA 和 A A H AA^H AAH 的非零特征值相等
A H A A^HA AHA 和 A A H AA^H AAH 半正定.
r ( A ) = n r(A) = n r(A)=n时, A H A ∈ C n × n A^HA\in C^{n\times n} AHA∈Cn×n 正定
r ( A ) = m r(A) = m r(A)=m 时, A A H ∈ C m × m AA^H\in C^{m\times m} AAH∈Cm×m 正定
⇒ A H A A^HA AHA 和 A A H AA^H AAH 的特征值是非负实数: λ 1 ≥ λ 2 ≥ . . . ≥ λ n ≥ 0 \lambda_1\geq\lambda_2\geq...\geq\lambda_n\geq0 λ1≥λ2≥...≥λn≥0

奇异值

Def’ 3.4: A ∈ C m × n , r a n k ( A ) = r A\in C^{m\times n}, rank(A) = r A∈Cm×n,rank(A)=r, 设 A H A A^HA AHA 的特征值 λ 1 ≥ λ 2 ≥ . . . ≥ λ r > 0 , λ r + 1 = . . . = λ n = 0 \lambda_1\geq\lambda_2\geq...\geq\lambda_r > 0, \lambda_{r+1}=...=\lambda_n=0 λ1≥λ2≥...≥λr>0,λr+1=...=λn=0, 则矩阵 A A A 的奇异值:
σ i = λ i , i = 1 , 2 , . . . , r \sigma_i=\sqrt{\lambda_i},i=1,2,...,r σi=λi ,i=1,2,...,r
注: 此处的 λ i \lambda_i λi 是矩阵 A H A A^HA AHA 的特征值, 奇异值为正(实)数

Th 3.13 奇异值性质:

正规矩阵 A A A 的奇异值等于 A A A 的(非零)特征值的模 ∣ λ i ∣ , i = 1 , 2 , . . . , n |\lambda_i|,i=1,2,...,n ∣λi∣,i=1,2,...,n
(正规矩阵 A H A = A A H = U d i a g ( λ n λ n ‾ , . . . , λ 1 λ 1 ‾ ) U H A^HA=AA^H=U\ diag(\lambda_n\overline{\lambda_n},...,\lambda_1\overline{\lambda_1})\ U^H AHA=AAH=U diag(λnλn,...,λ1λ1) UH, 所以特征值 σ i = ∣ λ i ∣ \sigma_i=|\lambda_i| σi=∣λi∣)
正定的 Hermite 矩阵 A A A 的奇异值就是 A A A 的特征值 σ i = λ i \sigma_i=\lambda_i σi=λi
若 ∃ U ∈ C m × m , V ∈ C n × n \exists U\in C^{m\times m},V\in C^{n\times n} ∃U∈Cm×m,V∈Cn×n 均为酉矩阵, ∃ B ∈ C m × n \exists B\in C^{m\times n} ∃B∈Cm×n: U A V ＝ B UAV ＝B UAV＝B, 则称 A A A 和 B B B 酉等价 (等价是要求 P , Q P,Q P,Q 可逆).
酉等价的矩阵有相同的奇异值 ("奇异值"是"酉等价"的不变性质).

奇异值分解

Th 3.14 奇异值分解: 设矩阵 A ∈ C m × n , r a n k ( A ) = r A\in C^{m\times n}, rank(A)=r A∈Cm×n,rank(A)=r. σ 1 ≥ σ 2 ≥ . . . ≥ σ r > 0 \sigma_1\geq\sigma_2\geq...\geq\sigma_r > 0 σ1≥σ2≥...≥σr>0 是矩阵 A A A 的奇异值, 则存在酉矩阵 U ∈ C m × m , V ∈ C n × n U\in C^{m\times m}, V\in C^{n\times n} U∈Cm×m,V∈Cn×n, 分块矩阵 Σ = [ Δ 0 0 0 ] ∈ C m × n \Sigma=\begin{bmatrix}\Delta&0\\0&0\end{bmatrix}\in C^{m\times n} Σ=[Δ000]∈Cm×n, 使
A = U Σ V H = U [ Δ 0 0 0 ] V H A=U\Sigma V^H=U\begin{bmatrix}\Delta&0\\0&0\end{bmatrix}V^H A=UΣVH=U[Δ000]VH
其中, Δ = d i a g ( σ 1 , σ 2 , . . . , σ r ) \Delta=diag(\sigma_1,\sigma_2,...,\sigma_r) Δ=diag(σ1,σ2,...,σr)

奇异值分解方法

目标: 求矩阵 A m × n A_{m\times n} Am×n 的奇异值分解 U Σ V H U\Sigma V^H UΣVH

求 A H A A^HA AHA 的特征值. 由非零特征值降序排序得到奇异值. Δ = d i a g ( σ 1 , σ 2 , . . . , σ r ) \Delta=diag(\sigma_1,\sigma_2,...,\sigma_r) Δ=diag(σ1,σ2,...,σr), 进而得到矩阵 Σ m × n \Sigma_{m\times n} Σm×n.
分别求 A H A A^HA AHA 特征值对应的特征向量 α 1 , . . . , α n \alpha_1,...,\alpha_n α1,...,αn, 分别将其标准化得到矩阵 V n × n V_{n\times n} Vn×n
V = ( v 1 , v 2 , . . . , v n ) = ( α 1 ∣ ∣ α 2 ∣ ∣ , α 2 ∣ ∣ α 1 ∣ ∣ , . . . , α n ∣ ∣ α n ∣ ∣ ) V=(v_1,v_2,...,v_n)=(\frac{\alpha_1}{||\alpha_2||},\frac{\alpha_2}{||\alpha_1||},...,\frac{\alpha_n}{||\alpha_n||}) V=(v1,v2,...,vn)=(∣∣α2∣∣α1,∣∣α1∣∣α2,...,∣∣αn∣∣αn)
利用公式 u i = A v i σ i \pmb{u_i=\frac{Av_i}{\sigma_i}} ui=σiAviui=σiAviui=σiAvi 求矩阵 U m × m = ( u 1 , u 2 , . . . , u m ) U_{m\times m}=(u_1,u_2,...,u_m) Um×m=(u1,u2,...,um) 的每一列 u i u_i ui.
当 σ i = 0 \sigma_i=0 σi=0 时, 需要自行扩充向量 u i : ∀ j < i , u i ⊥ u j u_i: \forall j<i, u_i\perp u_j ui:∀j<i,ui⊥uj. 一般使用叉乘 × \times × 计算(eg: u 3 = u 1 × u 2 u_3=u_1\times u_2 u3=u1×u2).

左右奇异值向量奇异值展开式

A m × n , r a n k ( A ) = r A^{m\times n},rank(A)=r Am×n,rank(A)=r
V = ( v 1 , . . . , v r ∣ v r + 1 , . . . , v n ) = ( V 1 ∣ V 2 ) V=(v_1,...,v_r|v_{r+1},...,v_n)=(V_1|V_2) V=(v1,...,vr∣vr+1,...,vn)=(V1∣V2), v i v_i vi 为右奇异向量
U = ( u 1 , . . . , u r ∣ u r + 1 , . . . , u m ) = ( U 1 ∣ U 2 ) U=(u_1,...,u_r|u_{r+1},...,u_m)=(U_1|U_2) U=(u1,...,ur∣ur+1,...,um)=(U1∣U2), u i u_i ui 为左奇异向量

V 2 V_2 V2 的列向量是空间 N ( A ) N(A) N(A) 的标准正交基 ( A V 2 = 0 AV_2=0 AV2=0)
V 1 V_1 V1 的列向量是空间 N ⊥ ( A ) N^\perp(A) N⊥(A) 的标准正交基 ( V 1 H V 2 = 0 V_1^HV_2=0 V1HV2=0)
U 1 U_1 U1 的列向量是 R ( A ) R(A) R(A) 的标准正交基 ( A = U 1 Δ r V 1 H A=U_1\Delta_rV_1^H A=U1ΔrV1H)
U 2 U_2 U2 的列向量是 R ⊥ ( A ) R^\perp(A) R⊥(A) 的标准正交基 ( U 1 H U 2 = 0 U_1^HU_2=0 U1HU2=0)

奇异值展开式:
A = σ 1 u 1 v 1 H + σ 2 u 2 v 2 H + . . . + σ r u r v r H A=\sigma_1u_1v_1^H+\sigma_2u_2v_2^H+...+\sigma_ru_rv_r^H A=σ1u1v1H+σ2u2v2H+...+σrurvrH

奇异值分解与线性变换

矩阵 A ∈ C m × n A\in C^{m\times n} A∈Cm×n 可定义线性变换 T A : C n → C m T_A:C^n\rightarrow C^m TA:Cn→Cm.
A A A 有奇异值分解 A = U Σ V H A=U\Sigma V^H A=UΣVH, 取 U U U 和 V V V 的列向量分别作 C n C^n Cn 和 C m C^m Cm 的标准正交基, 则线性变换 T A T_A TA 对应的变换矩阵为 Σ \Sigma Σ.

∀ α = V X ∈ C n \forall\alpha=VX\in C^n ∀α=VX∈Cn:
T A ( α ) = A α = ( U Σ V H ) V X = U ( Σ X ) = U [ σ 1 x 1 ⋮ σ r x r 0 ⋮ 0 ] T_A(\alpha)=A\alpha=(U\Sigma V^H)VX=U(\Sigma X)=U\begin{bmatrix} \sigma_1x_1\\ \vdots\\ \sigma_rx_r\\ 0\\ \vdots\\ 0 \end{bmatrix} TA(α)=Aα=(UΣVH)VX=U(ΣX)=U⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡σ1x1⋮σrxr0⋮0⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤
即原像 α \alpha α 的像在基 { u 1 , . . . , u m } \{u_1,...,u_m\} {u1,...,um} 的坐标为 ( σ 1 x 1 , . . . , σ r x r , 0 , . . . , 0 ) T (\sigma_1x_1,...,\sigma_rx_r,0,...,0)^T (σ1x1,...,σrxr,0,...,0)T.

Th 3.16 对实矩阵 A m × n A_{m\times n} Am×n, R n R_n Rn 中单位球面在线性变换 T A T_A TA 下像的集合是 R m R^m Rm:

球面( r = n r=n r=n)
椭球体( r < n r < n r<n)

方阵极分解

A ∈ C n × n , r a n k ( A ) = r A\in C^{n\times n}, rank(A)=r A∈Cn×n,rank(A)=r, A A A 有极分解:
A = P Q = ( U Σ U H ) ( U V H ) A=PQ=(U\Sigma U^H)(UV^H) A=PQ=(UΣUH)(UVH)
其中:

P = U Σ U H ∈ C n × n , r a n k ( P ) = r P=U\Sigma U^H\in C^{n\times n},rank(P)=r P=UΣUH∈Cn×n,rank(P)=r 是半正定 Hermite 矩阵( r = n r=n r=n 为正定矩阵), 对应在 u i u_i ui 方向进行拉伸变换
Q = U V H ∈ C n × n Q=UV^H\in C^{n\times n} Q=UVH∈Cn×n 是酉矩阵, 对应旋转变换

[矩阵论] Unit 3. 矩阵的分解 - 知识点整理相关推荐

[矩阵论] Unit 1. 线性空间与线性变换 - 知识点整理
注: 以下内容均由个人整理, 不保证完全准确, 如有纰漏, 欢迎交流讨论参考: 杨明, 刘先忠. 矩阵论(第二版)[M]. 武汉: 华中科技大学出版社, 2005 1 线性空间与线性变换 1.1 线 ...
[矩阵论] Unit 6. 矩阵的 Kronecker 积与 Hadamard 积 - 知识点整理
注: 以下内容均由个人整理, 不保证完全准确, 如有纰漏, 欢迎交流讨论参考: 杨明, 刘先忠. 矩阵论(第二版)[M]. 武汉: 华中科技大学出版社, 2005 6 矩阵的 Kronecker 积 ...
矩阵论第二章矩阵的分解
1. QR分解(UR分解): 这是最基础的分解. 定理1: 设满秩方程A∈R(n x n), 则存在正交矩阵Q及正线(主对角线上元为正)上三角阵R,满足 A = QR, 且分解唯一. 构造性证明: 将 ...
机器学习知识点(十九)矩阵特征值分解基础知识及Java实现
1.特征值分解基础知识矩阵乘法Y=AB的数学意义在于变换,以其中一个向量A为中心,则B的作用主要是使A发生伸缩或旋转变换.一个矩阵其实就是一个线性变换,因为一个矩阵乘以一个向量后得到的向量,其实就相 ...
【数理知识】《矩阵论》方保镕老师-第3章-矩阵的分解
上一章回到目录下一章第3章矩阵的分解 3.1 矩阵的三角分解 3.1.1 消元过程的矩阵描述 3.1.2 矩阵的三角分解 3.1.3 常用的三角分解公式 3.2 矩阵的 QR(正交三角) 分解 ...
矩阵论理论知识（四）矩阵的分解
矩阵的分解 QR分解正轨矩阵及Schur分解正规矩阵满秩分解奇异值分解单纯矩阵的谱分解通过一些方法,将矩阵分解为一些较为简单的矩阵,可以更容易地使我们了解矩阵的性质. QR分解通过Gra ...
管理mysql表知识点,数据库知识点整理(全)
<数据库知识点整理(全)>由会员分享,可在线阅读,更多相关<数据库知识点整理(全)(12页珍藏版)>请在人人文库网上搜索. 1.UNIT 1四个基本概念1.数据(Data):数 ...
06-JAVA面试核心知识点整理(时间较多的同学全面复习)
JVM (1) 基本概念: JVM是可运行Java代码的假想计算机 ,包括一套字节码指令集.一组寄存器.一个栈.一个垃圾回收,堆和一个存储方法域.JVM 是运行在操作系统之上的,它与硬件没有直接的 ...
程序员笔试知识点整理
程序员笔试知识点整理 0.常考基础必知必会 A. 排序:排序有几种,各种排序的比较,哪些排序是稳定的,快排的算法: B. 查找:哈希查找.二叉树查找.折半查找的对比,哈希映射和哈希表的区别? C. 链 ...

[矩阵论] Unit 3. 矩阵的分解 - 知识点整理

3 矩阵的分解

3.1 常见的矩阵标准形与分解

常见标准形

LU 和 LDV 分解

LU 和 LDV 分解分解方法

LU 和 LDV 求解 AX=b

满秩分解

满秩分解方法

可对角化矩阵的谱分解

3.2 Schur 分解与正规矩阵

对角形矩阵

UR 和 QR 分解

UR 和 QR 分解方法

Schur 分解

正规矩阵酉相似

Hermite 矩阵

3.3 矩阵的奇异值分解

矩阵 A H A A^HA AHA 和 A A H AA^H AAH

奇异值

奇异值分解

奇异值分解方法

左右奇异值向量奇异值展开式

奇异值分解与线性变换

方阵极分解

[矩阵论] Unit 3. 矩阵的分解 - 知识点整理相关推荐

最新文章

热门文章

[矩阵论] Unit 3. 矩阵的分解 - 知识点整理

3 矩阵的分解

3.1 常见的矩阵标准形与分解

常见标准形

LU 和 LDV 分解

LU 和 LDV 分解分解方法

LU 和 LDV 求解 AX=b

满秩分解

满秩分解方法

可对角化矩阵的谱分解

3.2 Schur 分解与正规矩阵

对角形矩阵

UR 和 QR 分解

UR 和 QR 分解方法

Schur 分解

正规矩阵 酉相似

Hermite 矩阵

3.3 矩阵的奇异值分解

矩阵 A H A A^HA AHA 和 A A H AA^H AAH

奇异值

奇异值分解

奇异值分解方法

左右奇异值向量 奇异值展开式

奇异值分解与线性变换

方阵极分解

[矩阵论] Unit 3. 矩阵的分解 - 知识点整理相关推荐

最新文章

热门文章

正规矩阵酉相似

左右奇异值向量奇异值展开式