　　原文 | https://mp.weixin.qq.com/s/HrN8vno4obF_ey0ifCEvQw

　　奇异值分解（Singular value decomposition）简称SVD，是将矩阵分解为特征值和特征向量的另一种方法。奇异值分解可以将一个比较复杂的矩阵用更小更简单的几个子矩阵相乘来表示，这些小矩阵描述的都是矩阵的重要的特性。奇异值分解在图形降噪、推荐系统中都有很重要的应用。

　　对于任意矩阵A，都可以奇异值分解成下面的形式，其中U和V是正交矩阵，Σ是对角矩阵：

　　如果A是正定矩阵，它的奇异值分解就是A=QΛQT，即用一个正交矩阵Q就可以使正定矩阵A进行奇异值分解，不需要两个。对于可对角化的矩阵来说，A=SΛS-1，但这种形式下的特征向量矩阵S并不是正交矩阵，而SVD要求U和V都是正交矩阵。

奇异值分解的目标

　　A是m×n的矩阵，四个基本子空间的正交性可以用下图表示，其中r是矩阵的秩：

　　可以把矩阵A看作一种线性变换操作，将其行空间中的每一个向量v，变换为列空间的向量u，即u=Av。类似地，我们也可以在行空间中找到一组正交基，通过矩阵A线性变换成列空间中的另一组正交基：

　　行空间中的一组正交基可以通过格拉姆-施密特正交化得到——任意一组基都可以通过格拉姆-施密特正交化变成一组正交基，但是随便一组正交基经过矩阵A的线性变换后的向量却未必正交，因此这组满足要求的正交基非常特殊，它们需要满足：

　　更进一步，在V中寻找标准正交向量，并使U中的向量标准化，从而使U和V标准正交：

　　其中vi和ui都是单位向量，σi是ui的倍数，称为奇异值。上式就是奇异值分解的目标：寻找行空间的一组标准正交基，通过A变成列空间的一组标准正交基。

　　由于V中的向量的都是正交向量，因此VVT=I：

　　这正是奇异值分解的形式。如果A是正定矩阵，AQ=QΛ，它的奇异值分解就是A=QΛQT，此时U=V=Q，Σ=Λ。

如何分解

　　我们已经知道奇异值分解的目标是A=UΣVT，现在的问题是怎样找到合适的正交矩阵U和V？

　　考虑首先解决U和V中的一个，先将U消去：

　　注意到ATA是一个对称方阵，并且符合正定矩阵正交分解的形式，V就是ATA的标准化后的特征向量，σi2就是ATA的特征值，σi取特征值的正平方根。

正交向量的方向问题

　　，求A的奇异值分解。

　　目标是A=UΣVT，先求解V：

　　计算特征值和特征向量：

　　将特征向量标准化：

　　现在我们有了下面的式子：

　　通过上式可以进一步求得U。但是我们打算用和求V同样的方式求得U：

　　好了，现在验证一下奇异值分解的结果：

　　这个结果并不等于A。问题出在哪呢？

　　我们注意到，如果U的一个向量反向，U中的两个向量仍然是正交向量，且此时可以完成奇异值分解：

　　这是因为在奇异值分解的过程中，一旦确认了V中向量的方向之后，U中向量的方向也一起被限定了，而在本例中，我们用一种和V无关的方式求得了U，而这种方法并不一定总是有效，需要尝试改变向量的方向。通过将V代入AV=UΣ求得U，可以避免这个问题。

奇异矩阵的奇异值分解

　　奇异矩阵A也可以进行奇异值分解。，求奇异矩阵A的奇异值分解。

　　A是秩1矩阵。容易看出A的行空间的基是v1=(4, 3)，行空间是一维的，与之垂直的向量在零空间上，v2=(3, -4)。相应地，A的列空间也是一维的，它的基是u1=(1, 2)，与之垂直的向量在左零空间上，u2=(2, -1)。将上面的4个向量标准化，得到4个新的向量：

　　接下来通过AAT的特征向量求得Σ：

　　AAT也是一个秩1矩阵，因此可确定一个特征值是0，通过矩阵的迹可确定另一个特征值是125，由此得到了Σ：

长方矩阵的奇异值分解

　　长方矩阵也可以进行奇异值分解。

　　虽然A是一个3×2的长方矩阵，但这并不影响奇异值分解。

　　可以看出AAT的3个特征值是5,0,0，3个特征向量标准正交向量：

　　注意此时奇异值矩阵是3×2的矩阵，它的尺寸和A一致（通过ATA只能求得2个特征值）：

　　同样的方法可以求得U。最终：

　　出处：微信公众号 "我是8位的"

　　本文以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，非商业用途！

　　扫描二维码关注作者公众号“我是8位的”

线性代数笔记31——奇异值分解相关推荐

MIT线性代数笔记三矩阵的乘法和逆矩阵
文章目录 1. 矩阵乘法 Matrix multiplication 1.1 标准方法(行乘以列) 1.2 列向量的线性组合 1.3 行向量的线性组合 1.4 分块乘法 2. 逆矩阵 2.1 逆矩阵的 ...
线性代数笔记6——直线和曲线的参数方程
什么是参数方程一般地,在平面直角坐标系中,如果曲线上任意一点的坐标x.y都是某个变数t的函数: 并且对于t的每一个允许的取值,由方程组确定的点(x, y)都在这条曲线上,那么这个方程就叫做曲线的参数 ...
【线性代数笔记】线性代数知识点总结、概念之间关系总结
文章目录矩阵的秩 1. 基础 2. 秩与行列式的关系 3. 秩与伴随矩阵的关系 4. 秩标准型 5. 秩与分块矩阵的关系 6. 秩与向量组的关系 7. 秩与线性方程组的关系 8. 秩与特征值的关系 ...
线性代数笔记：Khatri-Rao积
1 介绍 Khatri-Rao积的定义是两个具有相同列数的矩阵与矩阵的对应列向量的克罗内克积(线性代数笔记:Kronecker积_UQI-LIUWJ的博客-CSDN博客) 排列而成的,其生成的矩阵大小 ...
线性代数笔记：概率矩阵分解 Probabilistic Matrix Factorization （PMF）
概率矩阵分解模型可以解决大规模.稀疏且不平衡的数据. 1 PMF的两点假设 1.1.观测噪声(观测评分矩阵和近似评分矩阵之差)服从高斯噪声的正态分布观测评分矩阵是ground truth的矩阵,我们 ...
李宏毅线性代数笔记5：线性方程组
1 线性方程的解 1.1 两维的情况 span of the columns of A--由A的列向量张成的空间 2 线性方程有解的充要条件线性方程x1a1+x2a2+--+xnan=β有解(con ...
我总结的120页《图解MIT线性代数笔记.pdf》，都是干货！
作者:丁坤博北京大学研究生线性代数在工科学科上的地位是任何学科无可比拟的,MIT的线性代数课程更是线性代数课程中的最佳学习资料,我们本次分享这套课程的图解笔记. 经过最近几个月的整理和总结,我们产 ...
线性代数笔记11——向量空间
向量空间又称线性空间,是线性代数的中心内容和基本概念之一.在解析几何里引入向量概念后,使许多问题的处理变得更为简洁和清晰,在此基础上的进一步抽象化,形成了与域相联系的向量空间概念. 线性组合线性组合 ...
线性代数笔记-3Blue1Brown：(一)
线性代数笔记-3Blue1Brown:(一) 文章目录线性代数笔记-3Blue1Brown:(一) 一.向量是什么? 二.线性组合.张成的空间和基三.矩阵与线性变换三.矩阵乘法与线性变换复合四 ...

线性代数笔记31——奇异值分解