稀疏保持投影

文章目录

稀疏保持投影
一、主要思想
二、算法步骤
- 2.1 稀疏表示权重
- 2.2 保持稀疏重构权重

参考论文：sparsity preserving projections with applications to face recognition
作者：Lishan Qiao,Songcan Chen,Xiaoyang Tan 2010

一、主要思想

线性降维方法：PCAf关注于全局，但对于非线性的数据结构，PCA的结果并不好
流行学习：Isomap,LLE,LE来处理非线性流行结构数据，但他们没有继承传统PCA的优点。LPP是LE的线性近似和NPE和LEA是LLE的线性近似，但是怎么确定邻居的尺寸还是难题。
SPP模型中，基于改进的稀疏表示来构造邻接权重矩阵。

二、算法步骤

2.1 稀疏表示权重

给定数据{ x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn}，其中 x i ∈ R m x_i∈R^m xi∈Rm
m i n s i ∣ ∣ s i ∣ ∣ 1 s . t . x i = X s i ， 1 = 1 T s i min_{s_i}||s_i||_1\\s.t.x_i=Xs_i，1=1^Ts_i minsi∣∣si∣∣1s.t.xi=Xsi，1=1Tsi （12）
其中 s i s_i si={ s i 1 , . . . , s i , i − 1 , 0 , s i , i + 1 , . . . , s i n s_{i1,...,s_{i,i-1},0,s_{i,i+1},...,s_{in}} si1,...,si,i−1,0,si,i+1,...,sin}T（第 i i i个元素为0，意味着把 x i x_i xi移出 X X X）, s i j ， j s_{ij}，j sij，j≠ i i i，表示每一个 x j x_j xj对重构 x i x_i xi的贡献， 1 1 1是全1列向量。
最后 S = S= S={ s 1 ′ , s 2 ′ , . . . s n ′ s'_1,s'_2,...s'_n s1′,s2′,...sn′}， s i ′ s'_i si′为上述得到的优化的 s i s_i si。

根据论文《Robust face recognition via sparse representation》，有两种解决上述MSR问题的方法：
第一种：
（15）
其中 ϵ \epsilon ϵ为error tolerance
第二种：
用 [ X , I ] [X,I] [X,I]代替 X X X，其中 I I I为 m m m维单位矩阵
(16)
其中 t i t_i ti是 m m m维向量。

2.2 保持稀疏重构权重

通过上述计算，我们可以得到稀疏权重矩阵 S S S，类似于LLE和NPE，有以下目标函数

从而：

添加约束 w ′ X X ′ w = 1 w'XX'w=1 w′XX′w=1，得到：

令 S β = S + S ′ − S ′ S S_{\beta}=S+S'-S'S Sβ=S+S′−S′S得到：

类似于PCA，NPE，最优的 w w w就是下面广义特征值问题的前 d d d个最大的特征向量：
(22)
基于上述讨论，总结得到SPP的算法如下：

注：对于许多高维数据，矩阵 X X ′ XX' XX′通常是奇异的，因为训练样本数比特征维数要小的多。为了解决这个问题，训练样本首先被投影到PCA子空间通过对应的特征向量 W p c a = [ w 1 , w 2 , . . . , w d ’ ] W_{pca}=[w_1,w_2,...,w_{d’}] Wpca=[w1,w2,...,wd’]，然后矩阵 X X ′ XX' XX′近似为：

显然这是非奇异的！

【机器学习】【降维】稀疏保持投影（SPP）相关推荐

四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps
四大机器学习降维算法:PCA.LDA.LLE.Laplacian Eigenmaps 引言机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习 ...
机器学习-降维算法(MDS算法)
机器学习-降维算法(MDS算法) 一,介绍在现实数据中,很多数据都是高纬度的,在高纬度情况下进行数据处理将会有极大的数据处理量.为了,减少计算量,常常需要缓解这种数据维度灾难,这有两种途径:降维和特 ...
机器学习降维-深度AI科普团队
降维许多机器学习问题涉及训练实例的几千甚至上百万个特征.这不仅导致训练非常缓慢,也让我们更加难以找到好的解决方案.我们一般可以大量减少特征的数量,将棘手的问题转化成容易解决的问题.比如处理图像时,其 ...
【机器学习】LPP\NPE\SR\SPP\CRP\RPCA\LRR\LRPP\LRPE\ LR-2DNPP\OMF-2DPCA等
文章目录 LPP NPE SR SPP LSPE CRP RPCA LRR LRPP LRPE NN_LRR ----------------华丽的分割线----------------------- ...
打破“维度的诅咒”，机器学习降维大法好
2021-05-30 13:27:52 水木番编译整理量子位报道 | 公众号 QbitAI 使用机器学习时,你是不是经常因为有太多无关特征而导致模型效果不佳而烦恼? 而其实,降维就是机器学习中能 ...
机器学习降维方法总结
降维在机器学习里面再正常不过了,这里总结了降维的一些方法,主要参考了陈利人老师的"数据分析领域中最为人称道的七种降维方法"(在微信公众号看到的,无法提供链接,有兴趣的可以搜索看原文 ...
机器学习-降维之主成分分析PCA算法原理及实战
主成分分析前言近年来,随着互联网和信息行业的发展,数据已经渗透到各行各业,成为重要的生产因素如数据记录和属性规模的急剧增长.社会已经进入大数据时代,数据越多越好似乎已经成为公理.然而,数据量并不是 ...
机器学习降维算法一：PCA(主成分分析算法)
引言: 机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达 ...
机器学习降维算法一：PCA (Principal Component Analysis)
引言: 机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达 ...

【机器学习】【降维】稀疏保持投影（SPP）