奇异值分解（Singular Value Decomposition, SVD）—

原文作者：Dr. Edel Garcia

原文地址：https://fenix.tecnico.ulisboa.pt/downloadFile/3779576344458/singular-value-decomposition-fast-track-tutorial.pdf

摘要：本快速教程提供了使用奇异值分解（SVD）算法分解矩阵的说明。教程涵盖奇异值、左右特征向量以及计算矩阵的full SVD的快捷方式。
关键词：奇异值分解，SVD，奇异值，特征向量，full SVD，矩阵分解
问题：计算下列矩阵的full SVD：

$A=\begin{bmatrix} 4 &0 \\ 3 &-5 \end{bmatrix}$

解释一下full SVD：

假设A是一个M*N的矩阵，那么得到的U是一个M*M的方阵（里面的向量是正交的，U里面的向量称为左奇异向量）， $\Sigma$ 是一个M*N的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值）， $V^{\ast }$ （V的转置）是一个N*N的矩阵（里面的向量也是正交的，V里面的向量称为右奇异向量）。

1.将A的转置和A做矩阵乘法，得到N*N的一个方阵 $A^{T}A$ ，进行特征分解，得到的特征值和特征向量满足下式：

$(A^{T}A)v_{i}=\lambda _{i}v_{i}$

得到矩阵 $A^{T}A$ 的n个特征值和对应的n个特征向量v，将所有 $A^{T}A$ 的特征向量张成一个N*N的矩阵V，就是SVD公式里面的V。一般将V中的每个特征向量叫做A的右奇异向量，其可以用来降低数据的维度。

2.将A和A的转置做矩阵乘法，得到M*M的一个方阵 $AA^{T}$ ，进行特征分解，得到的特征值和特征向量满足下式：

$(AA^{T})u_{i}=\lambda _{i}u_{i}$

得到矩阵 $AA^{T}$ 的m个特征值和对应的m个特征向量u，将所有 $AA^{T}$ 的特征向量张成一个M*M的矩阵U，就是SVD公式里面的U。一般将U中的每个特征向量叫做A的左奇异向量，其可以用来降低数据的数量级。

full SVD的full在于 U 和 V 都是方阵，而 U 中被虚线框出的部分的重要性都为0，对 A 其实是没有贡献的。

而Reduced SVD就是把多余的bottom去掉，对应的 V 仍然是方阵。

解决步骤：

1.计算转置矩阵 $A^{T}$ 和 $A^{T}A$ 。

$A^{T}=\begin{bmatrix} 4 &3 \\ 0 &-5 \end{bmatrix}$

$A^{T}A=\begin{bmatrix} 4 &3 \\ 0 &-5 \end{bmatrix}\begin{bmatrix} 4 &0 \\ 3 &-5 \end{bmatrix}=\begin{bmatrix} 25 &-15 \\ -15 &25 \end{bmatrix}$

2.确定 $A^{T}A$ 的特征值并以绝对值按降序排序，对其开方得到A的奇异值。

$A^{T}A-cI=\begin{bmatrix} 25-c &-15 \\ -15 &25-c \end{bmatrix}$

$\left | A^{T}A-cI \right |=(25-c)(25-c)-(-15)(-15)=0$

特征方程 $\rightarrow c^{2}-50c+400=0$

二次方程得到两个值，按降序排序 $\rightarrow \left | 40 \right |> \left | 10 \right |$

特征值 $\rightarrow c_{1}=40\; \; c2=10$

奇异值 $\rightarrow s_{1}=\sqrt{40}=6.3245\; \; > \; \; s_{2}=\sqrt{10}=3.1622$

3.通过沿对角线降序放置奇异值来构造对角矩阵S，计算它的逆矩阵 $S^{-1}$ 。

$S=\begin{bmatrix} 6.3245 &0 \\ 0 &3.1622 \end{bmatrix}$

$S^{-1}=\begin{bmatrix} 0.1581 &0 \\ 0 &0.3162 \end{bmatrix}$

4.使用步骤2中的有序特征值计算 $A^{T}A$ 的特征向量，将这些特征向量沿列放置得到V，计算它的转置矩阵 $V^{T}$ 。

$c_{1}=40$ 对应的特征向量为 $x_{1}=\begin{bmatrix} 0.7071\\ -0.7071 \end{bmatrix}$

$c_{2}=10$ 对应的特征向量为 $x_{2}=\begin{bmatrix} 0.7071\\ 0.7071 \end{bmatrix}$

$V=\begin{bmatrix} x_{1} &x_{2} \end{bmatrix}=\begin{bmatrix} 0.7071 &0.7071 \\ -0.7071 &0.7071 \end{bmatrix}$

$V^{T}=\begin{bmatrix} 0.7071 &-0.7071 \\ 0.7071 &0.7071 \end{bmatrix}$

5.计算 $U=AVS^{-1}$ ，为了完成证明，利用 $A=USV^{T}$ 计算full SVD。

$U=AVS^{-1}=\begin{bmatrix} 4 &0 \\ 3 &-5 \end{bmatrix}\begin{bmatrix} 0.7071 &0.7071 \\ -0.7071 &0.7071 \end{bmatrix}\begin{bmatrix} 0.1581 &0 \\ 0 &0.3162 \end{bmatrix}=\begin{bmatrix} 0.4472 &0.8944 \\ 0.8944 &-0.4472 \end{bmatrix}$

$A=USV^{T}=\begin{bmatrix} 0.4472 &0.8944 \\ 0.8944 &-0.4472 \end{bmatrix}\begin{bmatrix} 6.3245 &0 \\ 0 &3.1622 \end{bmatrix}\begin{bmatrix} 0.7071 &-0.7071 \\ 0.7071 &0.7071 \end{bmatrix}$

$=\begin{bmatrix} 3.9998 &0 \\ 2.9999 &-4.9997 \end{bmatrix}=\begin{bmatrix} 4 &0 \\ 3 &-5 \end{bmatrix}$

通过检验V和U的特征向量，可以看出它们的正交性。这可以通过计算列向量之间的点积来证明，所有点积都等于零。或者，我们可以绘制下图，并看到它们都是正交的。

奇异值分解（Singular Value Decomposition, SVD）——快速教程相关推荐

特征分解(eigendecomposition) and 奇异值分解(singular value decomposition, SVD)
MIT | 数据分析、信号处理和机器学习中的矩阵方法笔记系列 Lecture 6 Singular Value Decomposition (SVD)
本系列为MIT Gilbert Strang教授的"数据分析.信号处理和机器学习中的矩阵方法"的学习笔记. Gilbert Strang & Sarah Hansen | ...
Singular Value Decomposition(SVD)--奇异值分解【转】
奇异值分解是线性代数中一种重要的矩阵分解,在信号处理.统计学等领域有重要应用.奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似.然而这两种矩阵分解尽管有其相关性,但还是有明显 ...
奇异值（Singular value decomposition SVD)分解
本文摘自两篇博客,感谢博主分享一.原文地址:http://blog.csdn.net/wangzhiqing3/article/details/7446444 SVD分解 SVD分解是LSA的数学基 ...
Chapter 7 (Symmetric Matrices and Quadratic Forms): The Singular Value Decomposition (奇异值分解, SVD)
目录奇异值奇异值的定义非零奇异值 The Singular Value Decomposition (SVD) 奇异值分解一些性质几何解释紧奇异值分解与截断奇异值分解奇异值分解与矩阵近似 ...
奇异值分解（Singular Values Decomposition，SVD）
奇异值分解 1.奇异值分解 1.1 变换(Transformations) 1.2 线性变换(Linear Transformations) 1.3 降维(Dimensionality Reducti ...
什么是奇异值？奇异值分解是什么？SVD分解详解及实战
什么是奇异值?奇异值分解是什么?SVD(Singular Value Decomposition)分解详解及实战 TSVD:Truncated Singular Value Decomposition ...
推荐系统学习笔记之三 LFM (Latent Factor Model) 隐因子模型 + SVD (singular value decomposition) 奇异值分解
Low Rank Matrix Factorization低阶矩阵分解在上一篇笔记之二里面说到我们有五部电影,以及四位用户,每个用户对电影的评分如下,?表示未评分. Movies\User User ...
SVD奇异值分解（Singular Value Decomposition）
奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,是矩阵分析中正规矩阵酉对角化的推广.在信号处理.统计学等领域有重要应用. 假设M是一个m×n阶矩阵 ...
特征值分解（Eigen Value Decomposition，EVD）、奇异值分解（Singular Value Decomposition，SVD）原理、公式推导及应用
1 正交矩阵&正交变换正交变换是保持图形形状和大小不变的几何变换,包含旋转.平移.轴对称及这些变换的复合形式,正交变换可以保持向量的长度和向量之间的角度不变.特别的,标准正交基经正交变换后仍 ...

奇异值分解（Singular Value Decomposition, SVD）——快速教程

奇异值分解（Singular Value Decomposition, SVD）——快速教程相关推荐

最新文章

热门文章