学习来源：《矩阵分析与应用》张贤达清华大学出版社

奇异值分解

一、矩阵奇异值与矩阵的关系

矩阵的奇异值与矩阵的范数、行列式、条件数、特征值等有密切关系。

1. 奇异值与范数的关系

矩阵 $A$ 的谱范数等于 $A$ 的最大奇异值，即

$\left \| A \right \|_{spec}=\sigma_1$

根据矩阵的奇异值分解定理，由于矩阵 $A$ 的 Frobenius 范数 $\left \| A \right \|_F$ 是酉不变的，即

$\left \| U^HAV \right \|_F=\left \| A \right \|_F$

因此，有

$\left \| A \right \|_F=\left [ \sum_{i=1}^{m}\sum_{j=1}^{n}\left | a_{ij} \right |^2 \right ]^{\frac{1}{2}}$

$=\left \| U^HAV \right \|_F-\left \| \Sigma \right \|_F$

$=\sqrt{\sigma_1^2+\sigma_2^2+\cdots +\sigma_r^2}$

也就是说，任何一个矩阵的 Frobenius 范数等于该矩阵所有非零奇异值平方和的正平方根。

2. 奇异值与行列式的关系

设 $A$ 是 $n\times n$ 正方矩阵。由于酉矩阵的行列式的绝对值为 1 ，所以有

$\left | det(A) \right |=\left | det\Sigma \right |=\sigma_1\sigma_2\cdots \sigma_n$

当所有的 $\sigma_i$ 都不为零，则 $A$ 是非奇异的；当存在 $\sigma_i$ 为零时，则 $A$ 是奇异的。

对于一个 $n\times n$ 矩阵 $A$ ，以下不等式均成立：

$\left\{\begin{matrix} n\sigma_1\geqslant \left \| A \right \|_F \geqslant \sigma_1\\ \sigma_1^n\geqslant \sigma_1^{n-1}\sigma_n\geqslant \left | det(A) \right |\geqslant \sigma_n^n\\ \left \| A \right \|_F\geqslant \sigma_1\geqslant \left | det(A) \right |^{\frac{1}{n}}\\ \left | det(A) \right |^{\frac{1}{n}}\geqslant \sigma_n\geqslant \frac{\left | det(A) \right |}{\left \| A \right \|_F^{n-1}}\\ \frac{\left \| A \right \|_F^n}{\left | det(A) \right |}\geqslant \frac{\sigma_1}{\sigma_n}\geqslant max\left \{ 1,\frac{1}{n}\frac{\left \| A \right \|_F}{\left | det(A) \right |^{\frac{1}{n}}} \right \} \end{matrix}\right.$

3. 奇异值与条件数的关系

对于一个 $m\times n$ 矩阵 $A$ ，其条件数可以利用奇异值定义为

$cond(A)=\frac{\sigma_1}{\sigma_p},\qquad p=min\left \{ m,n \right \}]$

因为 $\sigma_1 \geqslant \sigma_p$ ，所以条件数是一个大于或等于 1 的正数。对于一个奇异矩阵来说，由于至少有一个奇异值 $\sigma_p=0$ ，因此奇异矩阵的条件数为无穷大；当一个矩阵 $A$ 的条件数不是无穷大但很大时，称矩阵 $A$ 是接近奇异的。它的意思是，当矩阵 $A$ 的条件数很大时，矩阵 $A$ 的行向量或列向量的线性相关性很强。

对于方程 $Ax=b$ ， $A^HA$ 的奇异值分解为

$A^HA=V\Sigma^2V^H$

即矩阵 $A^HA$ 的最大和最小奇异值分别是矩阵 $A$ 的最大和最小奇异值的平方，所以

$cond(A^HA)=\frac{\sigma_1^2}{\sigma_n^2}=\left [ cond(A) \right ]^2$

也就是说，矩阵 $A^HA$ 的条件数是矩阵 $A$ 的条件数的平方。

4. 奇异值与特征值的关系

设 $n\times n$ 正方对称矩阵 $A$ 的特征值为 $\lambda_1,\lambda_2,\cdots ,\lambda_n(\left | \lambda_1 \right | \geqslant \left | \lambda_2 \right | \geqslant \cdots \geqslant \left | \lambda_n \right |)$ ，奇异值为 $\sigma_1,\sigma_2,\cdots ,\sigma_n(\sigma_1\geqslant \sigma_2\geqslant \cdots \geqslant \sigma_n\geqslant 0)$ ，则

$\sigma_1\geqslant \left | \lambda_i \right |\geqslant \sigma_n(i=1,2,\cdots ,n),\quad cond(A)\geqslant \frac{\left | \lambda_1 \right |}{\left | \lambda_n \right |}$

二、奇异值的性质汇总

1. 奇异值服从的等式关系

1）矩阵 $A_{m\times n}$ 和其复共轭转置矩阵 $A^H$ 具有相同的奇异值。

2）矩阵 $A_{m\times n}$ 的非零奇异值是 $AA^H$ 或 $A^HA$ 的非零特征值的正平方根。

3） $\sigma> 0$ 是矩阵矩阵 $A_{m\times n}$ 的单奇异值，当且仅当 $\sigma^2$ 是 $AA^H$ 或 $A^HA$ 的单特征值。

4）若 $p=min\left \{ m,n \right \}$ ，且 $\sigma_1,\sigma_2,\cdots ,\sigma_p$ 是矩阵 $A_{m\times n}$ 的奇异值，则

$tr(A^HA)=\sum_{i=1}^{p}\sigma_i^2$

5）矩阵行列式的绝对值等于矩阵奇异值的乘积，即

$\left | det(A) \right |=\sigma_1\sigma_2\cdots \sigma_n$

6）矩阵 $A$ 的谱范数等于 $A$ 的最大奇异值，即 $\left \| A \right \|_{spec}=\sigma_{max}$ 。

7）若 $m\geqslant n$ ，则对于矩阵 $A_{m\times n}$ ，有

$\sigma_{min}(A)=min\left \{ \left $\frac{x^HA^HAx}{x^Hx}\right $^{\frac{1}{2}}:x\neq 0 \right \}$

$=min\left \{ \left $x^HA^HAx \right $^{\frac{1}{2}} :x^Hx=1,x\in C^n\right \}$

8）若 $m\geqslant n$ ，则对于矩阵 $A_{m\times n}$ ，有

$\sigma_{max}(A)=max\left \{ \left $\frac{x^HA^HAx}{x^Hx}\right $^{\frac{1}{2}}:x\neq 0 \right \}$

$=max\left \{ \left $x^HA^HAx \right $^{\frac{1}{2}} :x^Hx=1,x\in C^n\right \}$

9）若 $m\times m$ 矩阵 $A$ 非奇异，则

$\frac{1}{\sigma_{min}(A)}=max\left \{ \left ( \frac{x^H(A^{-1})^HA^{-1}x}{x^Hx} \right )^{\frac{1}{2}}:x\neq 0,x\in C^n \right \}$

10）若 $A=U\begin{bmatrix} \Sigma_1 &O \\ O& O \end{bmatrix}V^H$ 是 $m\times n$ 矩阵 $A$ 的奇异值分解，则 $A$ 的 Moose-Penrose 逆矩阵

$A^\dagger=V\begin{bmatrix} \Sigma_1^{-1} &O \\ O& O \end{bmatrix}U^H$

11）若 $\sigma_1,\sigma_2,\cdots ,\sigma_p$ 是 $m\times n$ 矩阵 $A$ 的非零奇异值（其中， $p=min\left \{ m,n \right \}$ ），则矩阵 $\begin{bmatrix} O & A\\ A^H& O \end{bmatrix}$ 具有 $2p$ 个非零奇异值 $\sigma_1,\cdots ,\sigma_p,-\sigma_1,\cdots ,-\sigma_p$ 和 $\left | m-n \right |$ 个零奇异值。

2. 奇异值服从的不等式关系

1）若 $A$ 和 $B$ 是 $m\times n$ 矩阵，则对于 $1\leqslant i,j\leqslant p,i+j\leqslant p+1(p=min\left \{ m,n \right \})$ ，有

$\sigma_{i+j-1}(A+B)\leqslant \sigma_i(A)+\sigma_j(B)$

特别地，当 $j=1$ 时， $\sigma_i(A+B)\leqslant \sigma_i(A)+\sigma_i(B),i=1,2,\cdots ,p$ 成立。

2）对矩阵 $A_{m\times n},B_{m\times n}$ ，有

$\sigma_{max}(A+B)\leqslant \sigma_{max}(A)+\sigma_{max}(B)$

3）若 $A$ 和 $B$ 是 $m\times n$ 矩阵，则

$\sum_{j=1}^{p}\left [ \sigma_j(A+B)-\sigma_j(A) \right ]^2 \leqslant \sigma_{max}(A)+\sigma_{max}(B)$

4）若 $A_{m\times n}=[a_1,a_2,\cdots ,a_m]$ 的奇异值 $\sigma_1(A)\geqslant \sigma_2(A)\geqslant \cdots \geqslant \sigma_m(A)$ ，则

$\sum_{j=1}^{k}[\sigma_{m-k+j}(A)]^2\leqslant \sum_{j=1}^{k}a_j^Ha_j\leqslant \sum_{j=1}^{k}[\sigma_j(A)]^2,\quad k=1,2,\cdots ,m$

5）若 $p=min\left \{ m,n \right \}$ ，且 $A_{m\times n}$ 和 $B_{m\times n}$ 的奇异值排列为 $\sigma_1(A)\geqslant \sigma_2(A)\geqslant \cdots \geqslant \sigma_p(A)$ ， $\sigma_1(B)\geqslant \sigma_2(B)\geqslant \cdots \geqslant \sigma_p(B)$ 和 $\sigma_1(A+B)\geqslant \sigma_2(A+B)\geqslant \cdots \geqslant \sigma_p(A+B)$ ，则

$\sigma_{i+j-1}(AB^H)\leqslant \sigma_i(A)\sigma_j(B),\quad 1\leqslant i,j\leqslant p,\quad i+j\leqslant p+1$

6）设 $m\times (n-1)$ 矩阵 $B$ 是去掉 $m\times n$ 矩阵 $A$ 的任意一列得到的矩阵，且它们的奇异值都按照非降序排列，则

$\sigma_1(A)\geqslant \sigma_1(B)\geqslant \sigma_2(A)\geqslant \sigma_2(B)\geqslant \cdots \geqslant \sigma_h(A)\geqslant \sigma_h(B)\geqslant 0$

式中， $h=min\left \{ m,n-1 \right \}$ 。

7）设 $(m-1)\times n$ 矩阵 $B$ 是去掉 $m\times n$ 矩阵 $A$ 的任意一行的到的矩阵，且它们的奇异值按照非降序排列，则

$\sigma_1(A)\geqslant \sigma_1(B)\geqslant \sigma_2(A)\geqslant \sigma_2(B)\geqslant \cdots \geqslant \sigma_h(A)\geqslant \sigma_h(B)\geqslant 0$

式中， $h=min\left \{ m,n-1 \right \}$ 。

8）矩阵 $A_{m\times n}$ 的最大奇异值满足不等式

$\sigma_{max }(A)\geqslant \left [ \frac{1}{n}tr(A^HA) \right ]^{\frac{1}{2}}$

矩阵分析与应用(20)相关推荐

matlab循环卷积互相关函数,线性系统及最优控制.doc
火箭军工程大学博士生招生考试初试业务课考试大纲火箭军工程大学研究生招生办公室二〇一七年八月目录 TOC \o "1-3" \h \z \u 1001公共英语 - 1 - ...
利用php屏蔽海外ip访问，高效实现
<?php/*** 屏蔽海外ip访问* 使用ip2long函数得到ip转为整数的值,判断值是否在任一一个区间中* 以下是所有国内ip段* 调用方法:IschinaIp($ALLIPS)* 返回值 ...
MATLAB小技巧（20）矩阵分析--主成分回归
MATLAB小技巧(20)矩阵分析--主成分回归前言一. MATLAB仿真二. 仿真结果三. 小结前言 MATLAB进行图像处理相关的学习是非常友好的,可以从零开始,对基础的图像处理都已经有 ...
实验二 matlab矩阵分析与处理
实验二 matlab矩阵分析与处理目录实验二 matlab矩阵分析与处理 2 1.1实验目的 3 1.2实验内容 3 1.3流程图 4 1.4程序清单 4 1.5运行结果及分析 6 1.6实验的收 ...
矩阵分析与应用-1.7-逆矩阵
文章目录前言一.逆矩阵的定义与性质二.矩阵求逆引理前言本文学习过程来源是<矩阵分析与应用-张贤达>一书. 可以通过 z-lib 下载. 这部分内容与线性代数的内容重合, 讲述的是 ...
矩阵分析之Householder Reduction
矩阵分析之Householder Reduction 我们都知道通过高斯消元法.初等行变换可以得到一个矩阵的行阶梯表达.但这不是唯一的方法.Householder reduction就可以完成这项任务 ...
matlab卷积矩阵绝对值,MATLAB矩阵分析和计算
MATLAB矩阵分析和计算编辑锁定讨论上传视频本词条缺少概述图,补充相关内容使词条更完整,还能快速升级,赶紧来编辑吧! <MATLAB矩阵分析和计算>是清华大学出版社出版的一本图 ...
数据分析 - 3.矩阵分析法（学习笔记）
有不懂行的小白把它捧到"核心思维","底层逻辑"的高度.哈哈,才没有那么神呢. 数据分析领域,有一个简单,但非常致命的核心问题:"到底指标是多少,才算 ...
九大数据分析方法：矩阵分析法
今天分享九大数据分析方法系列:矩阵分析法.矩阵分析法是在各路数据分析文章中,出现频率最高的词.甚至有不懂行的小白把它捧到"核心思维","底层逻辑"的高度.哈哈, ...
如何在Python中实现矩阵分析
矩阵分析根据事物(如产品,服务等)的两个重要属性(指标)作为分析依据,进行关联分析,找出解决问题的一种分析方法. 如何使用Python进行矩阵分析呢各个省份的GDP-人口矩阵分析,代码实现如下: ...

矩阵分析与应用(20)