SVD 与 PCA 的直观解释(1): 线性变换

一直想弄明白SVD分解后面蕴含的直观意义，可这牵扯到矩阵乘法和线性变换的物理含义的理解。在考虑SVD用途时又牵扯到PCA降维，而PCA降维里又扯到特征值和特征向量。于是，索性全记下来，供诸位探讨学习。

全文将解答如下问题：

一.线性变换

经常看到在一个向量的左侧乘以一个矩阵，那矩阵乘法到底有什么样的含义？直观的解释又是什么？文章将从拉伸和基变换两个方面做解释。请重视对线性变换的理解，它对理解特征向量，SVD有很大好处。

二.特征值和特征向量

在我们的直观世界中特征值和特征向量到底是一种怎样的存在？

三.SVD分解

为什么要进行SVD分解？他有什么直观的物理或者几何含义？

SVD分解的公式又是如何推导出来的？

四.PCA降维

数据降维是干嘛？为什么能丢掉一些维度，为什么特征值大就是主成分？SVD分解在降维中的应用。

一.线性变换

什么是线性变换？在数学中，线性映射（也叫做线性变换或线性算子）是在两个向量空间之间的函数，它保持向量加法和标量乘法的运算。术语“线性变换”特别常用，尤其是对从向量空间到自身的线性映射。

如果 V 和 W 是有限维的，并且在这些空间中有选择好的基，则从 V 到 W 的所有线性映射可以被表示为矩阵；（来自维基百科）

上面说的这么迷糊，线性变换就是向量加法和标量乘法的运算，而矩阵乘法正好就只有加和乘的运算。

所以这里，我要解释的是线性变换在这种加法和乘法里所带来的拉伸效果或者说是解释向量如何在不同矩阵空间中表示。

这部分首先用两个特例来演示线性变换的拉伸效果（其实也就是一个矩阵左乘一个向量），然后用基底的变换来解释矩阵乘法，以及为什么会产生这种效果。

先通过两个二维的简单特例来图示线性变换的拉伸效果：

1.假设有一个对角矩阵M，M乘以一个向量(x,y)可以看做M将点(x,y)变换为另一个点

变换的效果如下，变换后的平面仅仅是沿 X 水平方面进行了拉伸3倍，垂直方向是并没有发生变化。

2.看另一个矩阵

用这个矩阵乘以其他向量，产生的效果：

图片来源 http://www.ams.org/samplings/feature-column/fcarc-svd

这种效果的另一种演示，请注意基底的变化(即图中矩阵的边界，原来是正交的，变化后不是)：

图片来源 http://blog.stata.com/2011/03/03/understanding-matrices-intuitively-part-1/

在进行下面的解释之前，我想灌输一个概念，一个矩阵的列向量就是一组“基底"(先不谈奇异矩阵)。这些基底就张成了一个空间。如3阶单位矩阵I，它的列向量就张成了我们熟知的三维坐标系笛卡尔空间。

SVD 与 PCA 的直观解释(1): 线性变换相关推荐

SVD 与 PCA 的直观解释(2): 特征值与特征向量
这一部分主要讲特征值和特征向量背后的物理或者几何方面的直观解释. 参考地址:http://zh.wikipedia.org/wiki/%E7%89%B9%E5%BE%81%E5%90%91%E9%87 ...
SVD 与 PCA 的直观解释(4): PCA 主成分分析
这部分主要讲解特征向量空间和SVD分解在PCA中的应用. reference: A Tutorial on Principal Component Analysis .pdf (通俗易懂) htt ...
SVD 与 PCA 的直观解释(3): SVD的直观解释及推导
引子:SVD分解就是把一个实数矩阵M分拆成UDV.U,V都是正交旋转矩阵.这个分拆可以形象的理解为,我要看看这个空间M性质怎么样?那我可以用标准笛卡尔空间来构造出一个一模一样的M空间.想象M空间是个特 ...
串糖葫芦了：矩阵乘法/线性变换 + 特征分解/奇异值分解（SVD） + PCA（请假设中间串了一根棍儿O(∩_∩)O）
文章目录写在前面可以开始串山楂了第一个山楂:矩阵变换对应旋转例子第二个山楂:矩阵变换对应缩放的例子第三个山楂:只有方阵才有的特征分解 Eigen Decomposition 第四个山楂:从方 ...
pca主成分分析结果解释_主成分分析(PCA)原理精讲 | 统计学专题
引言:当数据维度较高时,我们很难通过普通的方法做图,更不能分析样本间的关系.故我们接下来学习降维度.可视化的主成分分析(Principal Component Analysis,PCA). 1.何时使 ...
SVD奇异值分解(PCA,LSI)
版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gm ...
雅可比矩阵几何意义的直观解释及应用
首先,看一眼多元向量值函数 f:Rn→Rm\mathbf{f}: \mathbb{R}^{n} \rightarrow \mathbb{R}^{m}f:Rn→Rm的雅可比矩阵, 什么叫多元向量值函数呢 ...
算法杂记-SVD，PCA，KPCA以及PPCA和FA
算法杂记-SVD,PCA,KPCA以及PPCA和FA SVD 定义假设\(A\)为\(M\times N\)矩阵,则存在\(M\times M\)维正交矩阵\(U=[u_1,u_2,\cdots,u ...
画出降维后的图片_机器学习实战基础（二十三）：sklearn中的降维算法PCA和SVD（四） PCA与SVD 之 PCA中的SVD...
PCA中的SVD 1 PCA中的SVD哪里来? 细心的小伙伴可能注意到了,svd_solver是奇异值分解器的意思,为什么PCA算法下面会有有关奇异值分解的参数?不是两种算法么?我们之前曾经提到过,P ...

SVD 与 PCA 的直观解释(1): 线性变换

SVD 与 PCA 的直观解释(1): 线性变换相关推荐

最新文章

热门文章