1、特征值分解（EVD）

实对称矩阵

在理角奇异值分解之前，需要先回顾一下特征值分解，如果矩阵 $A$ 是一个 $m*m$ 的实对称矩阵（即 $A=A^T$ ），那么它可以被分解成如下的形式

$A = Q\Sigma Q^T = Q\begin{bmatrix} \lambda1 & \\ & \lambda2 & \\ & & \lambda3 \\ \end{bmatrix}Q^T \quad \quad \quad \quad #(1-1)$

其中 $Q$ 为标准正交阵，即有 $QQ^T = I$ ， $\Sigma$ 为对角矩阵，且上面的矩阵的维度均为 $m*m$ 。 $\lambda_i$ 称为特征值， $q_i$ 是 $Q$ 的（特征矩阵）中的列向量，称为特征向量。

（注： $I$ 在这里表示单位阵，有时候也用 $E$ 表示单位阵。式（1-1）的具体求解过程就不多叙述了，可以追忆一下美好的大学时光的线性代数，简单地有如下关系： $Aq_i = \lambda_i q_i,\quad q_i^Tq_j = 0(i\neq j)$ ）

一般矩阵

上面的特征值分解，对矩阵有着较高的要求，它需要被分解的矩阵，它需要被分解的矩阵 $A$ 为实对称矩阵，但是现实中，我们所遇到的问题一般不是是对称矩阵。那么当我们碰到一般性的矩阵，即有一个 $m*n$ 的矩阵 $A$ ，它是否能被分解成上面的式（1-1）的形式呢？当然是可以的，这就是我们下面要讨论的内容。

2、奇异值分解（SVD）

2.1 奇异值分解定义

有一个 $m*n$ 的实数矩阵 $A$ ，我们想要把它分解成如下的形式

$A=U\Sigma V^T \quad \quad \quad \quad (2-1)$

其中 $U$ 和 $V$ 均为单位正交阵，即有 $UU^T=I$ 和 $VV^=I$ ， $U$ 称为左奇异矩阵， $V$ 称为右奇异矩阵， $\Sigma$ 仅在主对角线上有值，我们称它为奇异值，其他元素均为0。上面矩阵的维度分别为 $U\in R^{m*m}, \Sigma \in R^{m*n}, V\in R^{n*n}$ 。

一般地 $\Sigma$ 有如下形式（这里是4*5）

$\Sigma=\begin{bmatrix} \sigma_1 & 0&0 &0 &0 \\ 0& \sigma_2 &0 &0 &0 \\ 0& 0& \sigma_3 & 0& 0\\ 0& 0& 0& \sigma_4 &0 \end{bmatrix}_{m*n}$

图1-1 奇异值分解

对于奇异值分解，我们可以利用上面的图形象表示，图中方块的颜色表示值的大小，颜色越浅，值越大。对于奇异值矩阵ΣΣ，只有其主对角线有奇异值，其余均为0。

2.2 奇异值求解

正常求上面的 $U,V,\Sigma$ 不便于求，我们可以利用如下性质

$AA^T=U\Sigma V^TV\Sigma U^T = U\Sigma \Sigma^T U^T \quad \quad \quad \quad (2-2)$

$AA^T=V\Sigma ^T U^T U \Sigma V^T = V\Sigma ^T \Sigma V^T \quad \quad \quad \quad (2-3)$

（注：需要指出的是，这里 $\Sigma \Sigma ^T$ 与 $\Sigma^T\Sigma$ 在矩阵的角度上来说，它们是不相等的，因为它们的维数不同 $\Sigma \Sigma^T \in R^{m*m}$ ，而 $\Sigma^T \Sigma \in R^{n*n}$ ，但是他们在主对角线的奇异值是相等的，即有

$\Sigma\Sigma^T=\begin{bmatrix} \sigma^2_1& 0& 0& 0& \\ 0& \sigma^2_2& 0& 0& \\ 0& 0& \sigma^2_3& 0& \\ 0 & 0& 0& \sigma^2_4& \end{bmatrix}_{m*m}$ $\Sigma^T\Sigma=\begin{bmatrix} \sigma^2_1& 0& 0& 0& \\ 0& \sigma^2_2& 0& 0& \\ 0& 0& \sigma^2_3& 0& \\ 0 & 0& 0& \sigma^2_4& \end{bmatrix}_{n*n}$

可以看到式（2-2）与式（1-1）的形式非常相同，进一步分析，我们可以发现 $AA^T$ 和 $A^TA$ 也是对称矩阵，那么可以利用式（1-1），做特征值分解。利用式（2-2）特征值分解，得到的特征矩阵即为 $U$ ；利用式（2-3）特征值分解，得到的特征值矩阵即为 $V$ ；对 $\Sigma \Sigma ^T$ 或 $\Sigma^T \Sigma$ 的特征值开方，可以得到所有的奇异值。

3、奇异值分解应用

3.1 纯数学例子

假设我们现在有矩阵 $A$ ，需要对其做奇异值分解，已知

$A=\begin{bmatrix} 1 & 5& 7& 6&1 \\ 2& 1& 10& 4 &1 \\ 3& 6 & 7& 5 & 2 \end{bmatrix}$

那么可以求出 $AA^T$ 和 $A^TA$ ，如下

$AA^T = \begin{bmatrix} 112 & 105& 114\\ 105& 137& 110\\ 114& 110& 123 \end{bmatrix}$ $AA^T = \begin{bmatrix} 14 & 25& 48& 29& 15\\ 25& 62& 87& 64&21 \\ 48& 87& 198& 117&61 \\ 29& 64& 117& 77&32 \\ 15& 21& 61 & 32& 21 \end{bmatrix}$

分别对上面做特征值分解，得到如下结果

U =
[[-0.55572489, -0.72577856,  0.40548161],[-0.59283199,  0.00401031, -0.80531618],[-0.58285511,  0.68791671,  0.43249337]]V =
[[-0.18828164, -0.01844501,  0.73354812,  0.65257661,  0.06782815],[-0.37055755, -0.76254787,  0.27392013, -0.43299171, -0.17061957],[-0.74981208,  0.4369731 , -0.12258381, -0.05435401, -0.48119142],[-0.46504304, -0.27450785, -0.48996859,  0.39500307,  0.58837805],[-0.22080294,  0.38971845,  0.36301365, -0.47715843,  0.62334131]]

奇异值 $\Sigma$ =Diag(18.54,1.83,5.01)

详解SVD（奇异值分解）相关推荐

什么是奇异值？奇异值分解是什么？SVD分解详解及实战
什么是奇异值?奇异值分解是什么?SVD(Singular Value Decomposition)分解详解及实战 TSVD:Truncated Singular Value Decomposition ...
人工智能里的数学修炼 | 矩阵的花样分解：特征值分解（EVD）、相似对角化、QR分解、Schur分解、奇异值分解（SVD）的概念纠缠与详解
前言在高等代数里,矩阵分解是一个十分基础与重要的内容,任何一个学校对于理工科的研究生教育都会开设相应的课程,如:矩阵分析.矩阵论.线性系统等.看了不少社区的问答.笔记和博客,在它们的基础上加入一些自 ...
奇异值分解(SVD)原理详解
奇异值分解(SVD)原理详解一.奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法.两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就 ...
奇异值分解(SVD)的原理详解及推导
1. 写在前面最近整理推荐系统模型的时候, 第二个模型打算整理一下隐语义模型, 这里面绕不开一种思想就是矩阵分解, 而作为矩阵分解的经典方法SVD感觉这次有必要学学了, SVD不仅是一个数学问题,在 ...
奇异值的含义（包含数学和物理）和SVD详解（包含酉矩阵的定义）
一.奇异值的含义(包含数学和物理) 下面的博客中分享了一个关于奇异值物理含义的文章那个 https://blog.csdn.net/u011754972/article/details/1221007 ...
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG) 优化算法
深度学习优化函数详解系列目录深度学习优化函数详解(0)– 线性回归问题深度学习优化函数详解(1)– Gradient Descent 梯度下降法深度学习优化函数详解(2)– SGD 随机梯度下降 ...
ORB-SLAM2代码/流程详解
ORB-SLAM2代码详解文章目录 ORB-SLAM2代码详解 1. ORB-SLAM2代码详解01_ORB-SLAM2代码运行流程 1 运行官方Demo 1.2. 阅读代码之前你应该知道的事情 1 ...
详解CPU漏洞对机器学习的影响：几乎所有卷积层都受影响，QR分解降速37%
作者 | Mikel Bober-Irizar 翻译 | 刘畅编辑 | Donna (备注:KPTI 在计算机中指 Kernel page-table isolation,是一种Linux内核 ...
【OpenCV 4开发详解】图像透视变换
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社发行所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4 ...

详解SVD（奇异值分解）