主成分分析

1、背景

在许多领域的研究中，往往需要对反映事物的多个变量进行大量观测，收集大量数据以便进行分析寻找规律。由于各变量间存在一定相关性，因此可以用较少的指标来综合各变量中的各类信息。主成分分析（PCA）就属于这类降维方法。

2、问题描述

下表1是某些学生的成绩统计：

假设这些科目成绩不相关，显然，数学、物理、化学这三门课的成绩构成了这组数据的主成分（数学作为第一主成分，因为数学成绩拉的最开）。

下面再看一组学生的成绩统计，见表2：

我们无法从表2中直接看出这组数据的主成分，因为数据太多太乱了。如果把这些数据在相应的空间中表示出来，也许你就能换一个观察角度找出主成分。如下图1所示：

3、PCA主成分分析

（1）思想

将n维特征映射到k维上（k<n），这k维是全新的正交特征，称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。

（2）思考

假设三维空间中有一系列点，这些点分布在一个过原点的斜面上，那么这组数据的表示只用x’和y’两个维度表示即可。三点一定共面，也就是说三维空间中任意三点中心化后都是线性相关的，一般来讲n维空间中的n个点一定能在一个n-1维子空间中分析！

上一段文字中，认为把数据降维后并没有丢弃任何东西，因为这些数据在平面以外的第三个维度的分量都为0。现在，假设这些数据在z’轴有一个很小的抖动，那么我们仍然用上述的二维表示这些数据，理由是我们可以认为这两个轴的信息是数据的主成分，对于我们的分析已经足够了，z’轴上的抖动很有可能是噪声，也就是说本来这组数据是有相关性的，噪声的引入，导致了数据不完全相关，但是，这些数据在z’轴上的分布与原点构成的夹角非常小，也就是说在z’轴上有很大的相关性，综合这些考虑，就可以认为数据在x’,y’ 轴上的投影构成了数据的主成分！

4、进一步知识

关于PCA的实例、推导请参考原文链接：

【参考链接】 http://blog.csdn.net/zhongkelee/article/details/44064401

PCA主成分分析基本介绍相关推荐

PCA主成分分析实战和可视化 | 附R代码和测试数据
一文看懂PCA主成分分析中介绍了PCA分析的原理和分析的意义(基本简介如下,更多见博客),今天就用数据来实际操练一下.(注意:用了这么多年的PCA可视化竟然是错的!!!) 在公众号后台回复**&quo ...
PCA主成分分析特征降维 opencv实现
最近对PCA主成分分析做了一定的了解,对PCA基础和简单的代码做了小小的总结有很多博客都做了详细的介绍,这里也参考了这些大神的成果: http://blog.sina.com.cn/s/blog_7 ...
pca 主成分分析_超越普通PCA：非线性主成分分析
pca 主成分分析 TL;DR: PCA cannot handle categorical variables because it makes linear assumptions about t ...
pca主成分分析_降维：主成分分析（PCA）
用于降维的PCA算法的设计原理及其从头开始在Python中的实现介绍借助高性能CPU和GPU的可用性,几乎可以使用机器学习和深度学习模型解决所有回归,分类,聚类和其他相关问题.但是,在开发此类模型 ...
PCA主成分分析教程（origin分析绘制，无须R语言）
PCA主成分分析教程(origin分析&绘制,无须R语言) 相关性分析,相关的介绍内容大家自行搜索资料即可,这里不给大家过多阐述. 案例解读 PCA作为常见的一种聚类分析方法,在很多SCI论文 ...
谱定理、瑞利熵、PCA(主成分分析)、clustering algorihtm
目录一.谱定理(Spectral theorem) 二.瑞利熵(Rayleigh Quotients) 三.什么是PCA? 一.谱定理(Spectral theorem) 参考资料: 知乎文章:ht ...
关于PCA主成分分析与KL变换
最近看了PCA主成分分析,其中KL变化是其中的一种方法具体的原理我转载了以下文章 http://blog.csdn.net/kingskyleader/article/details/7734710 ...
PCA主成分分析（PCA降维）
PCA主成分分析 PCA任务介绍公式推导算法实现降维是对数据高维度特征的一种预处理方法. 降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的.在实 ...
讲讲PCA主成分分析
在机器学习的领域中,我们对原始数据进行特征提取,经常会得到高维度的特征向量.在这些多特征的高维空间中,会包含一些冗余和噪声.所以我们希望通过降维的方式来寻找数据内部的特性,提升特征表达能力,降低模型的 ...

PCA主成分分析基本介绍