PCA-LPP代码实现

文章目录

PCA-LPP代码实现
- 0.引言
- 1.原理
- - 1.1 PCA目标函数
  - 1.2 LPP目标函数
  - 1.3 PCA-LPP原理
- 2.方案验证
- 3.结论

0.引言

提出集合主成分分析与局部保持嵌入的流形学习特征降维方法。该方法通过结合主成分分析(PCA)与局部保持嵌入(LPP)各自优点，兼具最大化保留数据的全局结构特性与局部结构特性，更利于提取原始数据集中的低维流行有效信息。最后，采用UCI数据集进行降维可视化分析。

1.原理

1.1 PCA目标函数

PCA的核心是通过投影矩阵A将高维数据降成低维数据，实现数据沿该坐标系的分布方差最大化，能够实现最大化保持数据的全局结构特性，其目标函数如下：

maxtr(A′XX′A)max tr(A'XX'A) maxtr(A′XX′A)

1.2 LPP目标函数

mintr(A′XLX′A);L=D−W;st.A′XDX′A=Imin tr(A'XLX'A);L=D-W;st.A'XDX'A=I mintr(A′XLX′A);L=D−W;st.A′XDX′A=I

1.3 PCA-LPP原理

maxtr(lA′XX′A−(1−l)A′XLX′A);st.A′XDX′A=I;其中：l是用于平衡PCA与LPP这两个目标函数的权重系数max tr(lA'XX'A-(1-l)A'XLX'A);st.A'XDX'A=I;其中：l是用于平衡PCA与LPP这两个目标函数的权重系数 maxtr(lA′XX′A−(1−l)A′XLX′A);st.A′XDX′A=I;其中：l是用于平衡PCA与LPP这两个目标函数的权重系数

2.方案验证

clc;clear;close all
load wine;fea=double(wine);gnd=wine_labels;
options = [];
options.Metric = 'Euclidean';
options.NeighborMode = 'KNN';
options.k = 10;
options.t = 1;
options.delta=100;
options.bSelfConnected = 1;
options.WeightMode = 'HeatKernel';
options.ReducedDim = 6;
options.PCARatio = 1;
W = constructW(fea);
%[eigvector1, eigvalue1, meanData, Y]=PCA(fea, options);
%[eigvector2, eigvalue2, Y] = LPP(fea, W, options);
[eigvector3,eigvalue3, Y] = PCALPP(fea,W,options);%% 特征可视化
figure
for i=1:max(gnd)n=find(gnd==i);plot3(fea(n,1),fea(n,2),fea(n,3),'*')%原始数据hold ongrid on
endmappedX1=Y;
figure
for i=1:max(gnd)n=find(gnd==i);plot3(mappedX1(n,1),mappedX1(n,2),mappedX1(n,3),'*')hold ongrid on
end
legend('1','2','3')

图1 原始数据可视化

图2 本文方法

3.结论

从图上可以，本文方法聚类效果更好。

PCA-LPP特征提取特征降维相关推荐

PCA、LPP及两者正交改进的特征提取特征降维算法
正交PCALPP代码实现文章目录正交PCALPP代码实现 0.引言 1.原理 1.1 PCA目标函数 1.2 LPP目标函数 1.3 CVPCALPP原理 2.方案验证 3.结论 0.引言传 ...
KPCA正交KLPP及两者结合改进的特征提取特征降维算法
正交KPCAKLPP代码实现文章目录正交KPCAKLPP代码实现 0.引言 1.原理 1.1 KPCA目标函数 1.2 KLPP目标函数 1.3 CVKPCAKLPP原理 2.方案验证 3.结论 ...
KPCA、KLPP及两者结合改进的特征提取特征降维算法
KPCA-KLPP代码实现文章目录 KPCA-KLPP代码实现 0.引言 1.原理 1.1 KPCA目标函数 1.2 KLPP目标函数 1.3 KPCA-KLPP原理 2.方案验证 3.结论 0.引 ...
基于主成分分析（PCA）的特征降维方法对葡萄酒数据集进行分类
当所要分析的样本特征过多时,我们可以采用主成分分析即PCA(principal component analysis)对数据进行降维和可视化.代码引自<python机器学习> PCA算法及 ...
PCA方法对特征降维
用CNN抽了feature后,维度太高了,降维如下: %使用PCA对数据降维 load fc7.txt; [pc, score, latent,tsquare]=princomp(fc7); k=cu ...
模式识别随堂笔记（5）ᝰ朴素贝叶斯、特征提取与降维表示
一.朴素贝叶斯 >>>朴素贝叶斯算法原理讲解 >>>贝叶斯分类(通过通俗的例子轻松理解朴素贝叶斯与半朴素贝叶斯)400+收藏朴素贝叶斯法(对于连续和离散属性的处理 ...
图像算法九：【图像特征提取】特征降维、PCA人脸特征抽取、局部二进制
PCA数学理论: 关于PCA的理论,资料很多,公式也一大把,本人功底有限,理论方面这里就不列出了.下面主要从应用的角度大概来讲讲具体怎么实现数据集的降维. 把原始数据中每个样本用一个向量表示,然后把所 ...
对pca降维后的手写体数字图片数据分类_机器学习：数据的准备和探索——特征提取和降维...
在数据的预处理阶段,特征提取和数据降维是提升模型表示能力的一种重要手段. 特征提取主要是从数据中找到有用的特征,用于提升模型的表示能力,而数据降维主要是在不减少模型准确率的情况下减少数据的特征数量. ...
特征降维-PCA（Principal Component Analysis）
1. 简介 PCA:Principal Component Analysis(主成分分析) 在进行图像的特征提取的过程中,提取的特征维数太多经常会导致特征匹配时过于复杂,消耗系统资源,不得不采用特征降 ...

PCA-LPP特征提取特征降维