PCA是无类别信息，不知道样本属于哪个类，用PCA通常对全体数据操作。LDA有类别信息投影到类内间距最小&&类间间距最大。

首先我们应该明白这两个算法的原理是不一样的，PCA是选择投影后使得整个数据方差最大的方向来投影，假设就是方差越大，信息量越多，PCA是一种无监督算法，没有类别信息。而LDA是选择投影后使得类内方差小而类间方差大的方向来投影，用到了类别信息，所以选择用哪种算法来降维应该是根据具体的目的和场景来的，如果目的就是分类，那么显然LDA的选择标准更合理，如果没有类别信息（无监督），那就只能选PCA，总之，两者选择投影的方向的标准是不一样的，看哪个和你的需要更契合。

下面我们来看一个实例：

通过上面降维结果，我们能过看到：

PCA研究对象是全局数据对象，就是说PCA关心的是原始数据投影后包含信息量的大小，并没有考虑分类信息。

LDA这是以分类信息为目标函数，关心的是投影后的数据，既满足类内间距越小越好，类间间距越大越好。

PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。

2.LDA的线性预测能力

LDA既然叫做线性判别分析，应该具有一定的预测功能，比如新来一个样例x，如何确定其类别？
拿二值分类来说，我们可以将其投影到直线上，得到y，然后看看y是否在超过某个阈值y0，超过是某一类，否则是另一类。而怎么寻找这个y0呢？
看

根据中心极限定理，独立同分布的随机变量符合高斯分布，然后利用极大似然估计求

 然后用决策理论里的公式来寻找最佳的y0，详情请参阅PRML。

3.使用LDA的一些限制

3.1 LDA至多可生成C-1维子空间

LDA降维后的维度区间在[1,C-1]，与原始特征数n无关，对于二值分类，最多投影到1维。

3.2 LDA不适合对非高斯分布样本进行降维。

上图中红色区域表示一类样本，蓝色区域表示另一类，由于是2类，所以最多投影到1维上。不管在直线上怎么投影，都难使红色点和蓝色点内部凝聚，类间分离。

这个问题，现在已经有了一些解决办法，那就是利用基于核函数的线性判别分析。关于核函数的设计以及变换技巧，我在SVM系列文章中做过非常详细的分析。

3.3 LDA在样本分类信息依赖方差而不是均值时，效果不好。

图中,样本点依靠方差信息进行分类，而不是均值信息。LDA不能够进行有效分类，因为LDA过度依靠均值信息。

4.参看资料

[1] https://www.zhihu.com/question/35666712/answer/86915281

[2] http://www.cnblogs.com/jerrylead/archive/2011/04/21/2024389.html