SVD 与 PCA 的直观解释(3): SVD的直观解释及推导

引子：SVD分解就是把一个实数矩阵M分拆成UDV。U，V都是正交旋转矩阵。这个分拆可以形象的理解为，我要看看这个空间M性质怎么样？那我可以用标准笛卡尔空间来构造出一个一模一样的M空间。想象M空间是个特殊形状的泥塑，笛卡尔空间是块标准的正方形泥块。把笛卡尔空间放在手里，先旋转着看看(即左乘V)，再找合适的地方捏捏它(再左乘D)，好让它和M一样。最后再旋转(再左乘U)，把它摆得和M一样。这样就360度无死角的构造了一个M空间。如果发现M空间有的地方很扁，那么我就掉丢这个维度，这就是SVD的降维，也是SVD的核心。

注释：关于上面为何是特征向量的说明。

PS:一室友秦屌，问我M不是方阵，是3*2的矩阵。作用在2*1的向量 x 上，Mx 就变成了三维的了。这还能通过两次旋转达到效果吗？注意，旋转也可以是不同维度的，不只是在平面内旋转。一个正方形我可以让它绕着原点立起来旋转。这就由二维变成三维了。

reference：

http://www.ams.org/samplings/feature-column/fcarc-svd

http://en.wikipedia.org/wiki/Singular_value_decomposition#History

http://diaorui.net/archives/61

SVD 与 PCA 的直观解释(3): SVD的直观解释及推导相关推荐

算法杂记-SVD，PCA，KPCA以及PPCA和FA
算法杂记-SVD,PCA,KPCA以及PPCA和FA SVD 定义假设\(A\)为\(M\times N\)矩阵,则存在\(M\times M\)维正交矩阵\(U=[u_1,u_2,\cdots,u ...
串糖葫芦了：矩阵乘法/线性变换 + 特征分解/奇异值分解（SVD） + PCA（请假设中间串了一根棍儿O(∩_∩)O）
文章目录写在前面可以开始串山楂了第一个山楂:矩阵变换对应旋转例子第二个山楂:矩阵变换对应缩放的例子第三个山楂:只有方阵才有的特征分解 Eigen Decomposition 第四个山楂:从方 ...
奇异值分解SVD与PCA
首先:奇异值分解是一个有着很明显的物理意义的一种方法,它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示,这些小矩阵描述的是矩阵的重要的特性. 1. 奇异值与特征值基础知识特征值分解和奇 ...
SVD奇异值分解(PCA,LSI)
版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gm ...
画出降维后的图片_机器学习实战基础（二十三）：sklearn中的降维算法PCA和SVD（四） PCA与SVD 之 PCA中的SVD...
PCA中的SVD 1 PCA中的SVD哪里来? 细心的小伙伴可能注意到了,svd_solver是奇异值分解器的意思,为什么PCA算法下面会有有关奇异值分解的参数?不是两种算法么?我们之前曾经提到过,P ...
主成分分析PCA和矩阵的奇异值分解SVD
PCA和SVD 引言:在机器学习中,因为高纬空间样本具有稀疏性,导致模型比较难找到数据特征等原因.所以需要进行高维数据样本的降维,其中比较常使用的一种降维方法就是PCA.PCA主要是用于数据的降维 ...
SVD与PCA的区别
SVD与PCA区别矩阵对向量的乘法,对应于该向量得旋转.伸缩.若对某向量只发生了伸缩而无旋转变化,则该向量是该矩阵的特征向量,伸缩比为特征值. PCA用来用来提取一个场的主要信息(即对数据集的列数- ...
奇异值分解(SVD)与PCA(主成分分析)
奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统(稍后讲解),以及自然语言处 ...
Eigendecomposition, SVD and PCA
特征值分解, SVD 和 PCA 特征值分解特征值与特征向量 Av=λv Av = \lambda v 注意矩阵 AA是一个线性变换.那么这个公式是说,该线性变换作用在向量vv上,相当于仅仅对向量 ...
因果解释能够对规则进行解释吗?
来源:<哲学动态>2017年第10期作者:初维峰(西安交通大学人文社会科学学院) 本文受中国博士后科学基金面上资助项目"当代西方因果解释理论研究"(2017M6131 ...

SVD 与 PCA 的直观解释(3): SVD的直观解释及推导

SVD 与 PCA 的直观解释(3): SVD的直观解释及推导相关推荐

最新文章

热门文章