SVD奇异值分解（Singular Value Decomposition）

奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，是矩阵分析中正规矩阵酉对角化的推广。在信号处理、统计学等领域有重要应用。

假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是实数域或复数域。如此则存在一个分解使得

其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。

常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)

直观的解释 [2]

在矩阵M的奇异值分解中

·U的列(columns)组成一套对M的正交"输入"或"分析"的基向量。这些向量是MM*的特征向量。

·V的列(columns)组成一套对M的正交"输出"的基向量。这些向量是M*M的特征向量。

·Σ对角线上的元素是奇异值，可视为是在输入与输出间进行的标量的"膨胀控制"。这些是M*M及MM*的奇异值，并与U和V的列向量相对应。

奇异值和奇异向量, 以及他们与奇异值分解的关系

一个非负实数σ是M的一个奇异值仅当存在Km 的单位向量u和Kn的单位向量v如下：

其中向量u 和v分别为σ的左奇异向量和右奇异向量。

对于任意的奇异值分解

矩阵Σ的对角线上的元素等于M的奇异值. U和V的列分别是奇异值中的左、右奇异向量。因此,上述定理表明:

一个m × n的矩阵至多有 p = min(m,n)个不同的奇异值。

总是可以找到在Km 的一个正交基U，组成M的左奇异向量。

总是可以找到和Kn的一个正交基V，组成M的右奇异向量。

如果一个奇异值中可以找到两个左（或右）奇异向量是线性相关的，则称为退化。

非退化的奇异值具有唯一的左、右奇异向量，取决于所乘的单位相位因子eiφ（根据实际信号）。因此，如果M的所有奇异值都是非退化且非零，则它的奇异值分解是唯一的，因为U中的一列要乘以一个单位相位因子且同时V中相应的列也要乘以同一个相位因子。

根据定义，退化的奇异值具有不唯一的奇异向量。因为，如果u1和u2为奇异值σ的两个左奇异向量，则两个向量的任意规范线性组合也是奇异值σ一个左奇异向量，类似的，右奇异向量也具有相同的性质。因此，如果M 具有退化的奇异值，则它的奇异值分解是不唯一的。

因为 U 和 V 向量都是单位化的向量, 我们知道 U的列向量 u1,..., um组成了 K空间的一组标准正交基。同样， V的列向量 v1,..., vn也组成了 K空间的一组标准正交基(根据向量空间的标准点积法则).

线性变换 T: K → K，把向量 Nx变换为 Mx。考虑到这些标准正交基，这个变换描述起来就很简单了: T( vi) = σi ui, for i = 1,...,min( m, n), 其中 σi 是对角阵Σ中的第 i个元素; 当 i > min( m, n)时， T( vi) = 0。

这样，SVD理论的几何意义就可以做如下的归纳：对于每一个线性映射 T: K → K， T把 K的第 i个基向量映射为 K的第 i个基向量的非负倍数,然后将余下的基向量映射为零向量。对照这些基向量，映射 T就可以表示为一个非负对角阵。

1. 矩阵范数的概念设A∈C m×n，定义一个实值函数||A||，若满足：

(1) 非负性：||A||≥0，且||A||=0当且仅当A=0； (2) 齐次性：||aA||=|a| ||A||，a∈C； (3) 三角不等式：||A+B||≤||A||+||B||，A,B∈ Cm×n; (4) 相容性：||AB||≤||A|| ||B||

则称||A||为A的矩阵范数。例1 设A=(aij)∈C n×n，则

都是

定理2：由向量的1-范数、2-范数和∞-范数分别诱导出的矩阵范数分别是

通常依次称为列和范数、谱范数和行和范数。

定理3：谱范数和F-范数都是酉不变范数，即对于任意酉矩阵P和Q，有||PAQ||=||A||。

SVD奇异值分解（Singular Value Decomposition）相关推荐

特征分解(eigendecomposition) and 奇异值分解(singular value decomposition, SVD)
【线性代数】6-7:SVD分解(Singular Value Decomposition-SVD)
原文地址1:https://www.face2ai.com/Math-Linear-Algebra-Chapter-6-7转载请标明出处 Abstract: 本文介绍SVD,奇异值分解,应该可以算是本 ...
SVD奇异值分解中特征值与奇异值的数学理解与意义
前言之前的博客中SVD推荐算法写得不是很严谨,r̂ ui=∑Ff=1PufQfi+μ+bu+bir^ui=∑f=1FPufQfi+μ+bu+bi\hat{r}_{ui}=\sum_{f=1}^{F} ...
SVD奇异值分解（理论与C++实现）
SVD奇异值分解前言理论推导部分代码实现前言奇异值分解(singular value decomposition,以下简称SVD)是线性代数中一种重要的矩阵分解.SVD将矩阵分解为奇异向 ...
Singular Value Decomposition(SVD)--奇异值分解【转】
奇异值分解是线性代数中一种重要的矩阵分解,在信号处理.统计学等领域有重要应用.奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似.然而这两种矩阵分解尽管有其相关性,但还是有明显 ...
推荐系统学习笔记之三 LFM (Latent Factor Model) 隐因子模型 + SVD (singular value decomposition) 奇异值分解
Low Rank Matrix Factorization低阶矩阵分解在上一篇笔记之二里面说到我们有五部电影,以及四位用户,每个用户对电影的评分如下,?表示未评分. Movies\User User ...
Chapter 7 (Symmetric Matrices and Quadratic Forms): The Singular Value Decomposition (奇异值分解, SVD)
目录奇异值奇异值的定义非零奇异值 The Singular Value Decomposition (SVD) 奇异值分解一些性质几何解释紧奇异值分解与截断奇异值分解奇异值分解与矩阵近似 ...
特征值分解（Eigen Value Decomposition，EVD）、奇异值分解（Singular Value Decomposition，SVD）原理、公式推导及应用
1 正交矩阵&正交变换正交变换是保持图形形状和大小不变的几何变换,包含旋转.平移.轴对称及这些变换的复合形式,正交变换可以保持向量的长度和向量之间的角度不变.特别的,标准正交基经正交变换后仍 ...
奇异值分解（Singular Values Decomposition，SVD）
奇异值分解 1.奇异值分解 1.1 变换(Transformations) 1.2 线性变换(Linear Transformations) 1.3 降维(Dimensionality Reducti ...

SVD奇异值分解（Singular Value Decomposition）

SVD奇异值分解（Singular Value Decomposition）相关推荐

最新文章

热门文章