PCA-主成分分析经常用于我们数据学习处理数据时对数据进行降维处理，因为我们的数据集中经常存在一些“无关紧要”的信息。

举一个简单的例子，如果你选择一个心仪的新车，你的选择可能会根据你是否喜欢大排量车，喜欢某种颜色，或者喜欢某个品牌等等有关，如果有人的喜好不同，那么他做出的决定就可能大有不同对不对？我们可以说这些信息对我们的选择有着很大的影响，它的信息量很大。

但是如果其中有一个信息是你喜不喜欢洗脚，你觉得选择车的种类与是否喜欢洗脚有没有很大的关系呢？是不是没有，也可以说这个信息对我们的选择没有很大的影响。

根据上述的解释，我们可能会想到我们在数据降维就是去除这些“无关紧要”的信息。

那么我们怎样让计算机找到这些“无关紧要”的信息呢？

这就是下面要说的PCA的主要思想。

假设我们数据分布如上图所示，我们可以发现我们的数据与X轴有着很大的关系，与Y轴关系不大，我们如果把数据由图中的二维降低到只有X轴的一维好像也没有损失什么信息对不对

我们对上面这个图中点的分布进行更加专业的解释就是，这些点在X轴上数据分布的方差大，在Y轴上数据分布的方差小。

所以我们可以找到我们PCA的主要思想就是让数据在尽可能高方差的“方向”上进行降维，我们结合下图进行理解：

上图来自，笔者极度推荐对PCA数学证明有着很大兴趣的同学去看看这篇文章，定会受益匪浅

主成分分析（PCA）原理总结 - 刘建平Pinard - 博客园​www.cnblogs.com

我们结合上面这图，显然，我们可以选择在U1，U2或者X Y轴上进行数据降维，但是我们发现在这四种方式中，U1的降维后的方差最大，所以我们选择U1进行我们数据降维的方向

那么，我们如何让计算机在我们的数据集中找到最合适的方向并进行降维呢？

首先我们直到数据在计算机中一般以矩阵的形式存在，假设我们拥有一个M*N的数据集，代表着我们有着M个特征，N组数据，我们降维的过程就是找到一个方向进行投影，降低M的数值，所以我们需要找到我们投影方向的特征矩阵，然后进行左乘，进行行变换。

那么我们怎样找到投影的方向，或者说特征矩阵呢？

首先我们明确一点： 引用《线性代数的几何意义》的描述：“矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。”

我们只要找到对于我们数据中协方差矩阵，特征值最大的几个特征向量组合起来就是我们转换矩阵，也可以说是投影方向

协方差矩阵传送门：

Xinyu Chen：如何直观地理解「协方差矩阵」？​zhuanlan.zhihu.com

特征值与特征向量传送门：

https://blog.csdn.net/dongtinghong/article/details/14216139​blog.csdn.net

那么下面我们说说PCA的过程把：

1) 对所有的样本进行中心化
2) 计算样本的协方差矩阵
3) 对矩阵进行特征值分解
4）取出最大的n个特征值对应的特征向量, 将所有的特征向量标准化后，组成特征向量矩阵W。
5）对样本集中的每一个样本转化为新的样本
6) 得到输出样本集

如果大家对其背后的数学推导过程很感兴趣的话，可以去我上面给出的链接中找到答案。

既然都说到PCA了，我们就简单的提一提LDA吧

上面我们对PCA的处理过程中是只在乎数据本身，不在乎数据背后的结果如何的对不对，用机器学习中的术语来说，这是一种无监督的降维方式，那么既然有无监督的，肯定有有监督的对不对，这就是我们LDA了，其次，由于我们是有监督的降维方式，所以LDA对于分类问题有着更加优异的表现。

下面我们聊一聊LDA的基本思想吧。

我们还是用图来解释：

上面的x和o分别代表两个类别对不对，那么我们在哪个坐标轴上投影降维更好呢？

应该是X轴对不对，因为它将两个类分离出来了对不对。

更加专业一点，两个类之间的方差比较大对不对。

我们再看看上面的两个图，是不是右边的图分类更好一点？

为什么，因为它不仅类间方差大，并且类内的方差小。

所以，这就是我们的LDA的降维标准，投影方向使得类间方差大，并且类内的方差小。

那么LDA的过程是什么样的呢？

1) 计算类内散度矩阵
2) 计算类间散度矩阵
3）计算 类内散度矩阵的转置* 类间散度矩阵 的最大的d个特征值和对应的d个特征向量得到投影矩阵
4) 对样本集中的每一个样本特征转化为新的样本
5) 得到输出样本集

具体的数学原理证明和实现过程建议大家观看：

线性判别分析LDA原理总结 - 刘建平Pinard - 博客园​www.cnblogs.com

希望大家有所收获，如果大家有收获的话，给笔者点个赞就是对笔者最大的鼓励，比心心。