一、流程生成模拟数据

模型训练

特征向量重要性分析

画图

二、Python语言

1、生成模拟数据

# 导入相关数据库

from sklearn import datasets

​

# 提取数据

digits = datasets.load_digits() #可以下载其他数据，例如鸢尾花：datasets.load_iris()

x = digits.data # 原始特征数据 numpy.shape(x) = (1797, 64) y = digits.target # 原始标签数据 numpy.shape(y) = (1797, )

2、模型训练

from sklearn import decomposition

pca = decomposition.PCA() # n_components默认为1，'mls'表示自动确定保留数

pca.fit(x)

3、特征向量重要性分析

#特征值 返回所保留的n个成分各自方差的百分比

print(pca.explained_variance_)

print(pca.explained_variance_ratio)

4、画图

# 画原始图

n_row, n_col = 2, 5

​

def plot_digits(images, y, max_n=10):

"""

显示手写数字的图像

"""

# 设置图像尺寸

fig = plt.figure(figsize=(2. * n_col, 2.26 * n_row))

i=0

while i < max_n and i < images.shape[0]:

p = fig.add_subplot(n_row, n_col, i + 1, xticks=[], yticks=[])

p.imshow(images[i], cmap=plt.cm.bone, interpolation='nearest')

# 添加标签

p.text(0, -1, str(y[i]))

i = i + 1

plot_digits(digits.images, digits.target, max_n=10)

​

# 画PCA主成分图

def plot_pca_scatter():

"""

主成分显示

"""

colors = ['black', 'blue', 'purple', 'yellow', 'white', 'red', 'lime', 'cyan', 'orange', 'gray']

for i in range(len(colors)):

# 只显示前两个主成分在二维坐标系中

px = X_pca[:, 0][y_digits == i]

py = X_pca[:, 1][y_digits == i]

plt.scatter(px, py, c=colors[i])

plt.legend(digits.target_names)

plt.xlabel('First Principal Component')

plt.ylabel('Second Principal Component')

n_components = 10 # 取前10个主成分

pca = PCA(n_components=n_components)

X_pca = pca.fit_transform(X_digits)

plot_pca_scatter()

5、重要函数说明 —— PCA

class sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False, svd_solver=‘auto’, tol=0.0, iterated_power=‘auto’, random_state=None)

参数说明：**n_components: 降维后的特征维度数目。 默认值：min(样本数，特征数) 设为‘mle' 且 svd_solver='full'， 使用Minkas MLE方法估计降维后维度

设为‘auto'且svd_solver='full'，等价于PPCA确定维度数 ​ 设为大于0小于1且svd_solver='full'，则根据主成分方差所占最小比例决定维度数

copy：默认True，如果为False，原输入数据被新结果覆盖

svd_solver:SVD求解方法。可选参数 ’auto'|'full'|'arpack'|'randomized'

tol:svd_solver = ‘arpack’，用来设置奇异值的容忍度。(我觉得应该类似于收敛门限这一类的参数)

random_state:svd_solver = ‘arpack’或者svd_solver = ‘randomized’时，这个参数起作用。用于产生随机数。

属性说明：components_:特征向量矩阵，每一行是一个特征向量

explained_variance_:components每一个特征向量对应的方差，就是特征值

explained_variance_ratio_:components_中每一个特征向量对应的特征值占总的特征值之和的比值。

singular_values_:奇异值

mean_:通过训练数据估计的每个特征上的均值。

noise_variance_:在PPCA模型下估计的噪声的协方差。

三、pca作用解析

PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。

因此，PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性就没有办法了，对于存在高阶相关性的数据，可以考虑Kernel PCA，通过Kernel函数将非线性相关转为线性相关，关于这点就不展开讨论了。另外，PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。

最后需要说明的是，PCA是一种无参数技术，也就是说面对同样的数据，如果不考虑清洗，谁来做结果都一样，没有主观参数的介入，所以PCA便于通用实现，但是本身无法个性化的优化。