主成分分析(Principal Component Analysis，PCA)， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

主成分分析的意义

主成分分析是把各变量之间互相关联的复杂关系进行简化的分析方法。

主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，对高维变量进行降维处理。

研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息,这种分析叫主成分分析，这些综合指标就称为主成分，主成分间不相关。

主成分分析中要思考的问题

(1) 基于相关系数矩阵还是基于协方差矩阵做主成分分析。当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。

(2) 选择几个主成分。主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。

(3) 解释主成分所包含的意义。

下面的四张图中，哪一种有更高的精度？原始变量的信息损失最少？

旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。

Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂问题时避免了信息重叠所带来的虚假性。二维平面上各点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。

主成分分析的步骤

一、基于协方差矩阵

在实际问题中，X的协方差通常是未知的，样品有

----样本协方差矩阵

第一步：由X的协方差阵Σx，求出其特征根，即解方程

可得特征根

第二步：求出分别所对应的特征向量U1，U2，…，Up，

第三步：计算累积贡献率，给出恰当的主成分个数。

第四步：计算所选出的k个主成分的得分。将原始数据的值中心化:

代入前k个主成分的表达式，分别计算出各k个主成分的得分，并按得分值的大小排序。

 二、基于相关系数矩阵

如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。

① 解特征方程，求出特征值，并使其按大小顺序排列 

② 分别求出对应于特征值的特征向量 ，要求=1，即,   其中eij表示向量ej的第i个分量。

③ 计算主成分贡献率及累计贡献率。

▲贡献率:

▲累计贡献率:

一般取累计贡献率达85—95%的特征值λ1,λ2,....,λn

所对应的第一、第二、…、第m(m≤p)个主成分。

④ 计算主成分载荷

⑤ 各主成分的得分

主成分分析与MATLAB实现

下面分别介绍与主成分相关的MATLAB函数:pcacov,princomp和pcares。

样本相关阵和样本协差阵决定的主成分是不同的。

通常，在所考虑的各指标(随机向量各分量)单位相同时，用协差阵求主成分，单位不同时用相关阵求主成分。

1。

pcacov函数用来根据协方差矩阵或相关系数矩阵进行主成分分析，其调用格式如下：

[COEFF,latent,explained]=pcacov(v)

• COEFF是P个主成分的系数矩阵，它的第i列是第i个主成分的系数向量。

• 输出参数latent是p个主成分的方差构成的列向量，即协方差矩阵V的p个特征值(从大到小)构成的向量。

• 输出参数explained是p个主成分的贡献率向量。

2。

princomp函数用来根据样本观测值矩阵进行主成分分析，其调用格式如下：

[COEFF,SCORE,latent,tsqure]=princomp(X)

• X：是n行p列的观测值矩阵，每一行对应一个观测(样品)，每一列对应一个变量。

• COEFF：是p个主成分的系数矩阵，

• SCORE：是n个样品的p个主成分的得分矩阵，它是n行p列的矩阵，每一行对应一个观测值，每一列对应一个主成分，第i行第j列元素是i个样品的第j个主成分得分。

• latent ：样本协方差矩阵的特征值向量，特征值按降序排列。

• p个元素的列向量tsqure：它的第i个元素是第i个观测对应的霍特林(Hotelling)

• T²统计量，描述了第i个观测与数据集(样本观测矩阵)的中心之间的距离，可用来寻找远离中心的极端数据。

注意：

princomp函数对样本数据进行了中心化处理，即把X中的每一个元素减去其所在列的均值，相应地，princomp函数返回的主成分就是中心化的主成分得分。

当n≤p时，即观测的个数小于或等于维数时，

SCORE矩阵的第n列到第p列元素均为0，

latent第n到第p个元素均为0。

求样本值矩阵X的协方差矩阵命cov(X)

相关系数矩阵命令：corrcoef(X);corr(X);

3。

pcares函数由样本的主成分得分重建(恢复)原始数据的问题，若只用前m个主成分的得分来重建原始数据，则可能会有一定的误差，前面称之为残差。MATLAB统计工具箱中提供了pcares函数，用来重建数据，并求样本观测值矩阵中每个观测的每一个分量所对应的残差，其调用格式如下：

residuals=pcares(x,ndim)

[residuals,reconstructed]=pcares(X,ndim)

• X是n行p列的样本观测值矩阵，它的每一行对应一个观测(样品)，每一列对应一个变量，ndim参数用来指定所用的主成分的个数，它是一个小于或等于p的正的标量，最好取为正整数。

• 输出参数residuals是一个与X同样大小的矩阵，其元素为X中相应元素所对应的残差。

• 输出参数reconstructed为用前ndim个主成分的得分重建的观测数据，它是X的一个近似。

注意：

pcares调用了 princomp函数，它只能接受原始样本观测数据作为他的输入，并且它不会自动对数据作标准化变换，若需要对数据作标准化变换，可以先用zscore函数将数据标准化，然后调用pcares函数重建观测数据并求残差。若从协方差矩阵或相关系数矩阵出发求解主成分，请用pcacov函数，此时无法重建观测数据和求残差。

今天的学习就到这里，下期的主成分分析我们讲讲其应用案例。

•  END  •