三种方法实现PCA降维

主成分分析，即Principal Component Analysis（PCA），是多元统计中的重要内容，也广泛应用于机器学习和其它领域。它的主要作用是对高维数据进行降维。PCA把原先的n个特征用数目更少的k个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的k个特征互不相关。

　　PCA的主要算法如下：

组织数据形式，以便于模型使用；
计算样本每个特征的平均值；
每个样本数据减去该特征的平均值（归一化处理）；
求协方差矩阵；
找到协方差矩阵的特征值和特征向量；
对特征值和特征向量重新排列（特征值从大到小排列）；
对特征值求取累计贡献率；
对累计贡献率按照某个特定比例选取特征向量集的子集合；
对原始数据（第三步后）进行转换。

　　其中协方差矩阵的分解可以通过按对称矩阵的特征向量来，也可以通过分解矩阵的SVD来实现，而在Scikit-learn中，也是采用SVD来实现PCA算法的。

记录一下python实现PCA降维的三种方法：

1、直接法即上述原始算法

2、SVD（矩阵奇异值分解），带SVD的原始算法，在Python的Numpy模块中已经实现了SVD算法，并且将特征值从大从小排列，省去了对特征值和特征向量重新排列这一步

3、Scikit-learn模块，实现PCA类直接进行计算，来验证前面两种方法的正确性。

在进行PCA降维中，会涉及到协方差的相关知识：请参考另一篇博文：协方差的理解与python实现

import numpy as np
from sklearn.decomposition import PCA
import sys
#returns choosing how many main factors
def index_lst(lst, component=0, rate=0):#component: numbers of main factors#rate: rate of sum(main factors)/sum(all factors)#rate range suggest: (0.8,1)#if you choose rate parameter, return index = 0 or less than len(lst)if component and rate:print('Component and rate must choose only one!')sys.exit(0)if not component and not rate:print('Invalid parameter for numbers of components!')sys.exit(0)elif component:print('Choosing by component, components are %s......'%component)return componentelse:print('Choosing by rate, rate is %s ......'%rate)for i in range(1, len(lst)):if sum(lst[:i])/sum(lst) >= rate:return ireturn 0def main():# test datamat = [[-1,-1,0,2,1],[2,0,0,-1,-1],[2,0,1,1,0]]# simple transform of test dataMat = np.array(mat, dtype='float64')print('Before PCA transforMation, data is:\n', Mat)print('\nMethod 1: PCA by original algorithm:')p,n = np.shape(Mat) # shape of Matt = np.mean(Mat, 0) # mean of each column# substract the mean of each columnfor i in range(p):for j in range(n):Mat[i,j] = float(Mat[i,j]-t[j])# covariance Matrixcov_Mat = np.dot(Mat.T, Mat)/(p-1)# PCA by original algorithm# eigvalues and eigenvectors of covariance Matrix with eigvalues descendingU,V = np.linalg.eigh(cov_Mat)# Rearrange the eigenvectors and eigenvaluesU = U[::-1]for i in range(n):V[i,:] = V[i,:][::-1]# choose eigenvalue by component or rate, not both of them euqal to 0Index = index_lst(U, component=2)  # choose how many main factorsif Index:v = V[:,:Index]  # subset of Unitary matrixelse:  # improper rate choice may return Index=0print('Invalid rate choice.\nPlease adjust the rate.')print('Rate distribute follows:')print([sum(U[:i])/sum(U) for i in range(1, len(U)+1)])sys.exit(0)# data transformationT1 = np.dot(Mat, v)# print the transformed dataprint('We choose %d main factors.'%Index)print('After PCA transformation, data becomes:\n',T1)# PCA by original algorithm using SVDprint('\nMethod 2: PCA by original algorithm using SVD:')# u: Unitary matrix,  eigenvectors in columns# d: list of the singular values, sorted in descending orderu,d,v = np.linalg.svd(cov_Mat)Index = index_lst(d, rate=0.95)  # choose how many main factorsT2 = np.dot(Mat, u[:,:Index])  # transformed dataprint('We choose %d main factors.'%Index)print('After PCA transformation, data becomes:\n',T2)# PCA by Scikit-learnpca = PCA(n_components=2) # n_components can be integer or float in (0,1)pca.fit(mat)  # fit the modelprint('\nMethod 3: PCA by Scikit-learn:')print('After PCA transformation, data becomes:')print(pca.fit_transform(mat))  # transformed datamain()

输出结果如下：

Before PCA transforMation, data is:[[-1. -1.  0.  2.  1.][ 2.  0.  0. -1. -1.][ 2.  0.  1.  1.  0.]]Method 1: PCA by original algorithm:
Choosing by component, components are 2......
We choose 2 main factors.
After PCA transformation, data becomes:[[ 2.6838453  -0.36098161][-2.09303664 -0.78689112][-0.59080867  1.14787272]]Method 2: PCA by original algorithm using SVD:
Choosing by rate, rate is 0.95 ......
We choose 2 main factors.
After PCA transformation, data becomes:[[ 2.6838453   0.36098161][-2.09303664  0.78689112][-0.59080867 -1.14787272]]Method 3: PCA by Scikit-learn:
After PCA transformation, data becomes:
[[ 2.6838453  -0.36098161][-2.09303664 -0.78689112][-0.59080867  1.14787272]]

三种方法实现PCA降维相关推荐

pca算法python代码_三种方法实现PCA算法（Python）
主成分分析,即Principal Component Analysis(PCA),是多元统计中的重要内容,也广泛应用于机器学习和其它领域.它的主要作用是对高维数据进行降维.PCA把原先的n个特征用数目 ...
pca算法python实现_三种方法实现PCA算法（Python）
主成分分析,即Principal Component Analysis(PCA),是多元统计中的重要内容,也广泛应用于机器学习和其它领域.它的主要作用是对高维数据进行降维.PCA把原先的n个特征用数目 ...
python中pca算法_Python使用三种方法实现PCA算法
主成分分析(PCA) vs 多元判别式分析(MDA) PCA和MDA都是线性变换的方法,二者关系密切.在PCA中,我们寻找数据集中最大化方差的成分,在MDA中,我们对类间最大散布的方向更感兴趣. 一句 ...
中文文本关键词抽取的三种方法（TF-IDF、TextRank、word2vec）
链接地址:https://github.com/AimeeLee77/keyword_extraction 1.基于TF-IDF的文本关键词抽取方法词频(Term Frequency,TF) 指某一 ...
中文文本关键词抽取的三种方法-python
利用Python实现中文文本关键词抽取的三种方法转自github 文本关键词抽取,是对文本信息进行高度凝练的一种有效手段,通过3-5个词语准确概括文本的主题,帮助读者快速理解文本信息.目前,用于文本 ...
java数据输入的步骤_Java学习日志1.4 Scanner 数据输入的三种方法
Scanner sc = new Scanner(System.in); /注意in 是InputStream的缩写,是字节输入流的意思. 整句话的含义就是: new 一个对象,接受从键盘输入的数据, ...
RedHat 7.0及CentOS 7.0禁止Ping的三种方法
作者:荒原之梦原文链接:http://zhaokaifeng.com/?p=538 前言: "Ping"属于ICMP协议(即"Internet控制报文协议") ...
结构成员访问的三种方法
结构成员访问的三种方法 #include "stdio.h" #include "string.h" #include <stdlib.h> mai ...
html手机不能自动播放音乐,解决移动端浏览器 HTML 音频不能自动播放的三种方法...
由于Android,IOS移动端的浏览器以及微信自带的浏览器为了用户更好的体验,规定不自动播放音频视频,默认屏蔽了autoplay,如果要想达到自动播放效果,需要单独处理,方法有以下几种: 第一种:添 ...

三种方法实现PCA降维

三种方法实现PCA降维相关推荐

最新文章

热门文章