数学建模学习笔记（十三）—

文章目录

一、综述
二、主成分分析
三、主成分分析的计算步骤（可在Matlab实现）
四、对于主成分的解释
五、主成分分析的应用

一、综述

主成分分析的本质是降维，她能够将多个指标转换为少数几个主成分。这些主成分之间互不相关，且是原变量的线性组合。通过对主成分的分析便可对原始数据有一个较为准确的把握。

二、主成分分析

假设有 nnn 个样本，ppp 个指标，则可构成大小为 n×pn \times pn×p 的样本矩阵 xxx：x=[x11x12⋯x1px21x22⋯x2p⋮⋮⋱⋮xn1xn2⋯xnp]x = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1p} \\ x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{np} \end{bmatrix}x=⎣⎢⎢⎢⎡x11x21⋮xn1x12x22⋮xn2⋯⋯⋱⋯x1px2p⋮xnp⎦⎥⎥⎥⎤ 假设想要找到一组变量 z1,z2,⋯,zm(m≤p)z_1, z_2, \cdots, z_m (m \leq p)z1,z2,⋯,zm(m≤p)，且满足：{z1=l11x1+l12x2+⋯+l1pxpz2=l21x1+l22x2+⋯+l2pxp⋮zm=lm1x1+lm2x2+⋯+lmpxp\left\{ \begin{aligned} &z_1 = l_{11}x_1 + l_{12}x_2 + \cdots + l_{1p}x_p \\ & z_2 = l_{21}x_1 + l_{22}x_2 + \cdots + l_{2p}x_p \\ \vdots \\ &z_m = l_{m1}x_1 + l_{m2}x_2 + \cdots + l_{mp}x_p \end{aligned} \right.⎩⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎧⋮z1=l11x1+l12x2+⋯+l1pxpz2=l21x1+l22x2+⋯+l2pxpzm=lm1x1+lm2x2+⋯+lmpxp 系数 lijl_{ij}lij 的确定原则：
（1）ziz_izi 与 zj(i≠j;i,j=1,2,⋯,m)z_j(i \neq j; i, j = 1, 2, \cdots, m)zj(i=j;i,j=1,2,⋯,m) 相互无关；
（2）z1z_1z1 是 x1,x2,⋯,xpx_1, x_2, \cdots, x_px1,x2,⋯,xp 的一切线性组合中方差最大者；
（3）z2z_2z2 是与 z1z_1z1 不相关的 x1,x2,⋯,xpx_1, x_2, \cdots, x_px1,x2,⋯,xp 的所有线性组合中方差最大者；
（4）以此类推，从而可以确定 lijl_{ij}lij。

三、主成分分析的计算步骤（可在Matlab实现）

对原始数据矩阵进行标准化处理
按列计算均值 xjˉ=1n∑i=1nxij\bar{x_j} = \frac{1}{n}\sum_{i = 1}^{n}x_{ij}xjˉ=n1∑i=1nxij 和标准差 Sj=∑i=1n(xij−xjˉ)2n−1S_j = \sqrt{\frac{\sum_{i = 1}^{n}(x_{ij} - \bar{x_j})^2}{n - 1}}Sj=n−1∑i=1n(xij−xjˉ)2 ，计算的标准化数据 Xij=xij−xjˉSjX_{ij} = \frac{x_{ij} - \bar{x_j}}{S_j}Xij=Sjxij−xjˉ，从而可以得到原始数据进行标准化后的矩阵：X=[X11X12⋯X1pX21X22⋯X2p⋮⋮⋱⋮Xn1Xn2⋯Xnp]X = \begin{bmatrix} X_{11} & X_{12} & \cdots & X_{1p} \\ X_{21} & X_{22} & \cdots & X_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ X_{n1} & X_{n2} & \cdots & X_{np} \end{bmatrix}X=⎣⎢⎢⎢⎡X11X21⋮Xn1X12X22⋮Xn2⋯⋯⋱⋯X1pX2p⋮Xnp⎦⎥⎥⎥⎤
计算标准样本的协方差矩阵 rij=1n−1∑i=1n(Xki−Xˉi)(Xkj−Xˉj)=1n−1∑i=1nXkiXkjr_{ij} = \frac{1}{n - 1}\sum_{i = 1}^{n}(X_{ki} - \bar{X}_i)(X_{kj} - \bar{X}_j) = \frac{1}{n - 1}\sum_{i = 1}^{n}X_{ki}X_{kj}rij=n−11i=1∑n(Xki−Xˉi)(Xkj−Xˉj)=n−11i=1∑nXkiXkj 从而可以得到协方差矩阵：R=[r11r12⋯r1pr21r22⋯r2p⋮⋮⋱⋮rp1rp2⋯rpp]R = \begin{bmatrix} r_{11} & r_{12} & \cdots & r_{1p} \\ r_{21} & r_{22} & \cdots & r_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ r_{p1} & r_{p2} & \cdots & r_{pp} \end{bmatrix}R=⎣⎢⎢⎢⎡r11r21⋮rp1r12r22⋮rp2⋯⋯⋱⋯r1pr2p⋮rpp⎦⎥⎥⎥⎤
计算 RRR 的特征值和特征向量
特征值：λ1≥λ2≥⋯≥λp≥0\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0λ1≥λ2≥⋯≥λp≥0
特征向量：KaTeX parse error: Undefined control sequence: \cdtos at position 150: …\end{bmatrix}, \̲c̲d̲t̲o̲s̲, a_p = \begin…
计算主成分贡献率以及累计贡献率

贡献率 = λi∑k=1pλk(i=1,2,⋯,p)\frac{\lambda_i}{\sum_{k = 1}^{p}\lambda_k} (i = 1, 2, \cdots, p)∑k=1pλkλi(i=1,2,⋯,p)

累计贡献率 = ∑k=1iλk∑k=1pλk(i=1,2,⋯,p)\frac{\sum_{k = 1}^{i}\lambda_k}{\sum_{k = 1}^{p}\lambda_k} (i = 1, 2, \cdots, p)∑k=1pλk∑k=1iλk(i=1,2,⋯,p)
写出主成分
第 iii 个主成分：Fi=a1iX1+a2iX2+⋯+apiXp(i=1,2,⋯,m)F_i = a_{1i}X_1 + a_{2i}X_2 + \cdots + a_{pi}X_p (i = 1, 2, \cdots, m)Fi=a1iX1+a2iX2+⋯+apiXp(i=1,2,⋯,m)
根据系数分析主成分代表的意义
对于每个主成分而言，指标前面的系数越大，代表该指标对于主成分的影响越大。注意：对于主成分的解释往往是最困难的一步。

四、对于主成分的解释

主成分的解释往往带有一点模糊性，没有原始变量那么清晰透彻，许多人将它称为降维的代价。一旦主成分中某个主成分无法解释，那么整个主成分分析也就失败了。

五、主成分分析的应用

主成分聚类
计算出主成分之后，可以将其视为新的指标，然后再SPSS中进行聚类分析。
主成分回归
主成分回归可以用于解决多重共线性的问题。计算出主成分后将其视为自变量，便可以在Stata中进行回归分析。注意进行异方差检验哦~~~

关于多重共线性下，主成分回归和逐步回归的选取：
1. 如果主成分能够被很好的解释，那么两者都采用(๑•̀ㅂ•́)و✧！
2. 如果主成分不能很好的解释，那么建议采用逐步回归。