一、简介

1.Principal Component Analysis

2.用途：降维中最常用的一种手段，可用于数据压缩、提取重要信息等领域。

3.目标：基于方差提取最有价值的信息

二、PCA求解原理

1.优化目标

（1）第一个目标：将一组N维向量降为K维（K大于0，小于N），目标是选择K个单位（模为1）正交基，使原始数据变换到这组基上后，各字段两两间协方差为0

（2）第二个目标：每个字段的方差，则尽可能大（在正交的约束下，取最大的K个方差）

2.优化目标和协方差矩阵关系

（1）推倒原始矩阵与基变换矩阵后矩阵的关系。

假设原始X=(X1,X2,...,Xn）有N个特征，每个特征有m条数据，即m*n的矩阵。目标将为K（k<n)维的数据，需要找到一个（n*k）维的变换基P=（n*k）完成这个任务。设变换后矩阵维Y=（Y1,Y2,...,Yk）为（m*k）维。

即：Y=XP

（2）推倒原始矩阵的协方差矩阵C与基变换矩阵后矩阵的协方差矩阵D的关系。

设原始矩阵的协方差矩阵维C，变换基维P，则Y=PX。其中C为

通过基变换降维后的协方差D为

（3）由协方差矩阵推出的优化目标：

寻找一个矩阵P，满足PTCP是一个对角矩阵，并且对角元素按从大到小依次排列，那么P的前K列就是要寻找的基，用X乘以P的前K列组成的矩阵就使得X从N维降到了K维并满足上述优化条件。

3.变换矩阵P的求解原理

（1）协方差矩阵C是一个实对称矩阵，实对称矩阵有性质：

（a）实对称矩阵不同特征值对应的特征向量必然正交。

（b）设特征向量λλ重数为r，则必然存在r个线性无关的特征向量对应于λλ，因此可以将这r个特征向量单位正交化

（2）所以针对实对称矩阵C，一定可以找到n个单位正交特征向量，设这n个特征向量为e1,e2,e3,..,en，组成矩阵：

P=（e1 e2 e3 ... en），这个P可以使C对角化：

三、PCA实现步骤

假设有m条n维数据

1.将原始数据按列组成m行n列矩阵X

2.将X的每一列（代表一个属性字段）进行零均值化，即减去这一行的均值

3.求出协方差矩阵

$C=\frac{1}{m-1}X^{T}X$

4.求出协方差矩阵的特征值及对应的特征向量

5.将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k列组成矩阵P

6.Y=XP即为降维到k维后的数据(m×k)

四、python代码实例（python3.7）

实例采用常用的iris.data数据集

1.读取数据，并且设定第一行名称

import numpy as np
import pandas as pd
df = pd.read_csv('iris.data')
df.head()df.columns=['sepal_len', 'sepal_wid', 'petal_len', 'petal_wid', 'class']
df.head()

结果：

 sepal_len   sepal_wid   petal_len   petal_wid   class
0   4.9 3.0 1.4 0.2 Iris-setosa
1   4.7 3.2 1.3 0.2 Iris-setosa
2   4.6 3.1 1.5 0.2 Iris-setosa
3   5.0 3.6 1.4 0.2 Iris-setosa
4   5.4 3.9 1.7 0.4 Iris-setosa

2.将数据集分为数据类X和类别类Y

# split data table into data X and class labels yX = df.iloc[:,0:4].valuesy = df.iloc[:,4].values

3.将X的每一列（代表一个属性字段）进行零均值化

from sklearn.preprocessing import StandardScaler
X_std = StandardScaler().fit_transform(X)
print (X_std)

4.求取X的协方差矩阵

（1）方法一：按照定义

mean_vec = np.mean(X_std, axis=0)
cov_mat = (X_std - mean_vec).T.dot((X_std - mean_vec)) / (X_std.shape[0]-1)
print('Covariance matrix \n%s' %cov_mat)
结果：
Covariance matrix
[[ 1.00675676 -0.10448539  0.87716999  0.82249094][-0.10448539  1.00675676 -0.41802325 -0.35310295][ 0.87716999 -0.41802325  1.00675676  0.96881642][ 0.82249094 -0.35310295  0.96881642  1.00675676]]

（2）方法二：numpy求取协方差的函数cov

print('NumPy covariance matrix: \n%s' %np.cov(X_std.T))
结果：
NumPy covariance matrix:
[[ 1.00675676 -0.10448539  0.87716999  0.82249094][-0.10448539  1.00675676 -0.41802325 -0.35310295][ 0.87716999 -0.41802325  1.00675676  0.96881642][ 0.82249094 -0.35310295  0.96881642  1.00675676]]

注意：输入一定要是n*m，n为特征个数，m为样本数目。即cov输入需要为：

5.求取协方差矩阵的特征值和特征向量

cov_mat = np.cov(X_std.T)
eig_vals, eig_vecs = np.linalg.eig(cov_mat)print('Eigenvectors \n%s' %eig_vecs)
print('\nEigenvalues \n%s' %eig_vals)结果：
Eigenvectors
[[ 0.52308496 -0.36956962 -0.72154279  0.26301409][-0.25956935 -0.92681168  0.2411952  -0.12437342][ 0.58184289 -0.01912775  0.13962963 -0.80099722][ 0.56609604 -0.06381646  0.63380158  0.52321917]]Eigenvalues
[2.92442837 0.93215233 0.14946373 0.02098259]

6.特征值和特征向量由高到低排序

# Make a list of (eigenvalue, eigenvector) tuples
eig_pairs = [(np.abs(eig_vals[i]), eig_vecs[:,i]) for i in range(len(eig_vals))]
print (eig_pairs)
print ('----------')
# Sort the (eigenvalue, eigenvector) tuples from high to low
eig_pairs.sort(key=lambda x: x[0], reverse=True)#打印
# Visually confirm that the list is correctly sorted by decreasing eigenvalues
print('Eigenvalues in descending order:')
for i in eig_pairs:print(i[0])结果：
[(2.9244283691111144, array([ 0.52308496, -0.25956935,  0.58184289,  0.56609604])), (0.932152330253508, array([-0.36956962, -0.92681168, -0.01912775, -0.06381646])), (0.14946373489813417, array([-0.72154279,  0.2411952 ,  0.13962963,  0.63380158])), (0.02098259276427019, array([ 0.26301409, -0.12437342, -0.80099722,  0.52321917]))]
----------
Eigenvalues in descending order:
2.9244283691111144
0.932152330253508
0.14946373489813417
0.02098259276427019

7.取特征值最大的前2个特征向量，组成转换基P=4×2维

P=np.hstack((eig_pairs[0][1].reshape(4,1),eig_pairs[1][1].reshape(4,1)))
print('Matrix P:\n', P)结果：
Matrix P:[[ 0.52308496 -0.36956962][-0.25956935 -0.92681168][ 0.58184289 -0.01912775][ 0.56609604 -0.06381646]]

8.验证结果

（1）降维后矩阵Y=XP

Y = X_std.dot(matrix_w)
结果：
array([[-2.10795032,  0.64427554],[-2.38797131,  0.30583307],[-2.32487909,  0.56292316],[-2.40508635, -0.687591  ],[-2.08320351, -1.53025171],[-2.4636848 , -0.08795413],......[ 1.54200377,  0.90808604],[ 1.50925493, -0.26460621],[ 1.3690965 , -1.01583909],[ 0.94680339,  0.02182097]])

（2）降维前原始数据的绘图

plt.figure(figsize=(6, 4))
for lab, col in zip(('Iris-setosa', 'Iris-versicolor', 'Iris-virginica'),('blue', 'red', 'green')):plt.scatter(X[y==lab, 0],X[y==lab, 1],label=lab,c=col)
plt.xlabel('sepal_len')
plt.ylabel('sepal_wid')
plt.legend(loc='best')
plt.tight_layout()
plt.show()

结果：

（3）降维后的矩阵Y针对不同分类采用不同颜色绘图

plt.figure(figsize=(6, 4))
for lab, col in zip(('Iris-setosa', 'Iris-versicolor', 'Iris-virginica'),('blue', 'red', 'green')):plt.scatter(Y[y==lab,0],Y[y==lab,1],label=lab,c=col)
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.legend(loc='lower center')
plt.tight_layout()
plt.show()

结果：

（4）结论：由（2）和（3）中图可以看出，经过PCA后，基本核心特征被保留，分类的结果更加明显。

五、参考

1.PCA的数学原理，作者：张洋，链接：http://blog.codinglabs.org/articles/pca-tutorial.html

机器学习（4）：PCA主成分分析法实例相关推荐

机器学习：(PCA)主成分分析法及应用（spss）
目录 1．1.主成分分析法简介 1.2.主成分分析法的意义 1.3.主成分分析法的思想 1.4.主成分分析法的步骤 2.1.导入数据 2.2.生成图表 3.1.PCA算法梯度求解 3.1.1. 梯度上 ...
机器学习笔记033 | 主成分分析法（PCA）
进行维数约减(Dimensionality Reduction),目前最常用的算法是主成分分析法 (Principal Componet Analysis, PCA). 使用主成分分析法进行数据的降维 ...
PCA主成分分析法详解
第二次作业:PCA主成分分析(2021.03.18) 主成分分析(Principal Component Analysis,PCA)是一种常见的线性降维方法,广泛应用于图像处理.人脸识别.数据压缩.信 ...
特征工程：PCA主成分分析（实例）
1.特征转换的介绍样本特征只能从原始数据集中选择吗? 答案是否定的. 我们可以对原有特征进行组合,转化和提取获取新的特征. 其实生活中有很多这样的例子比如: 从三维空间到二维平面 ->用单个摄 ...
PCA主成分分析法浅理解
ML课刚学,发现更多是对线性代数的回顾.更进一步说,统计机器学习方法就是以高数.线代和概率论为基石构筑的"一栋大厦".下面主要沿着老师ppt的思路讲讲对PCA方法的个人理解. 这里 ...
数据分析案例-基于PCA主成分分析法对葡萄酒数据进行分析
机器学习经典算法之PCA主成分分析
PCA主成分分析法简介主成分分析算法(PCA)是最常用的线性降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的信息量最大(方差最大),以此使用较少的数 ...
pca各个向量之间的相关度_机器学习十大经典算法之PCA主成分分析
PCA主成分分析法简介主成分分析算法(PCA)是最常用的线性降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的信息量最大(方差最大),以此使用较少的数 ...
三维点云学习（1）上-PCA主成分分析法向量估计
三维点云学习(1)上环境安装 1.系统环境 win10 或者 ubuntu 2. Anaconda3+python3.6 使用Anaconda创建的conda虚拟环境进行python的编写环境安装 ...

机器学习（4）：PCA主成分分析法实例