PCA（Principal Component Analysis）原理简单分析

PCA是一种常见的数据分析方法，通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于数据的降维。

例如在淘宝店铺的数据集中，每天的数据记录格式为：（日期，浏览量，访客数，下单数，成交数，成交金额），其中日期是一个记录标志数据而并非实际有用的数据，数据挖掘和机器学习大多只关心数据的度量值而非标记值，因此我们可以忽略日期字段的数据值得到一个五维向量记录。

我们当然可以对这个五维向量进行分析和挖掘，这样的资源消耗是绝对可以接受的，实际情况下，机器学习的维数可能远远超过五维，出现几十维甚至成百上千维，这种情况下如果不对数据进行降维，机器学习的资源消耗是不可接受的。

降维当然就意味着信息的丢失，但是因为不同字段数据之间往往存在着相关性，所以我们可以在降维的同时将信息的损失降低。举个例子，若性别男取值1，性别女取值0，对于这种非此即彼的数据信息，我们去掉其中一类对整个数据信息实际上并没有影响，保留一类完全可以还原另一类。

当然上面只是特例，实际情况中数据信息之间不可能都是非此即彼的关系，此时我们就需要寻找其他的相关关系，还是以上面淘宝店铺为例，从经验我们可以知道，浏览量和访客数往往具有较强的相关关系，而下单数和成交数也关系密切，直观理解为如果某天的浏览量较高那么访客数也较高。这种情况表明，此时我们删除浏览量或访客数其中的一个，应该并不会丢失太多信息，这只是从现实实际例子来看，理论上还需要对降维问题进行数学化和形式化的分析，这就是PCA。

在进行图像的特征提取的过程中，提取的特征维数太多经常会导致特征匹配时过于复杂，消耗系统资源，不得不采用特征降维的方法。所谓特征降维，即采用一个低纬度的特征来表示高纬度。特征降维一般有两类方法：特征选择和特征抽取。特征选择即从高纬度的特征中选择其中的一个子集来作为新的特征；而特征抽取是指将高纬度的特征经过某个函数映射至低纬度作为新的特征。常用的特征抽取方法就是PCA。

Matlab中已经包含了实现了的PCA算法，可以通过princomp函数调用。其形式为：

[COEFF,SCORE, latent]=princomp(X);

其中，参数的含义如下：

PCA（Principal Component Analysis）原理简单分析相关推荐

主成分分析PCA(principal component analysis)原理
PCA在很多方面均有应用,但是之前没有仔细探究过,最近看了一些博客和论文,做一下总结. 主成分分析(Principal Component Analysis,PCA), 是一种统计方法.通过正交变换将 ...
JAVA实现PCA主成分分析_主成分分析PCA(principal component analysis)原理
PCA在很多方面均有应用,但是之前没有仔细探究过,最近看了一些博客和论文,做一下总结. 主成分分析(Principal Component Analysis,PCA), 是一种统计方法.通过正交变换将 ...
pca主成分分析结果解释_SKLEARN中的PCA(Principal Component Analysis)主成分分析法
PCA(Principal Component Analysis)主成分分析法是机器学习中非常重要的方法,主要作用有降维和可视化.PCA的过程除了背后深刻的数学意义外,也有深刻的思路和方法. 1. 准 ...
【机器学习sklearn】主成分分析PCA(Principal Component Analysis)
主成分分析方法PCA 前言一.PCA是什么? 二.代码实践使用MNIST数据集实现sklearn库里的主成分分析方法不同主成分个数对应的可解释方差分析(Explained Variance) 总 ...
【碎片知识（9）】PCA (Principal Component Analysis) [主成分分析]
离开很久啦,从Ph.D.套磁开始到全部settle down花费了太久的时间,在上周也终于把研究方向定下来了,终于手头的事告一段落了.未来是跨度三到四年的research生涯,无数师兄师姐告诫我,读博 ...
Robust principal component analysis?(RPCA简单理解)
参考文献:Candès, E.J., Li, X., Ma, Y., and Wright, J.: 'Robust principal component analysis?', J. ACM, 2 ...
机器学习降维算法一：PCA (Principal Component Analysis)
引言: 机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达 ...
主成分分析碎石图_R: 主成分分析 ~ PCA(Principal Component Analysis)
本文摘自:http://www.cnblogs.com/longzhongren/p/4300593.html 以表感谢.感谢综述: 主成分分析因子分析典型相关分析,三种方法的共同点主要是用来对 ...
如何利用PCA（Principal component analysis）来简化数据
本博文的的内容为以下: 降维技术主成分分析(PCA) 对半导体数据进行降维处理降维(dimensionality reduction)的目标就是对输入的数目进行消减,由此剔除数据中的噪声并提高机器 ...
Principal Component Analysis(PCA)
Principal Component Analysis(PCA) Principal Component Analysis(PCA) 概念去中心化(零均值化): 将输入的特征减去特征的均值, 相当 ...

PCA（Principal Component Analysis）原理简单分析

PCA（Principal Component Analysis）原理简单分析相关推荐

最新文章

热门文章