Sparse Principal Component Analysis

2024-04-11 08:45:41

目录

背景:
部分符号
创新点
文章梗概
- The LASSO AND THE ELASTIC NET
- 将PCA改造为回归问题
- 定理二单个向量（无需进行SVD版本）
- 定理三多个向量（无需进行SVD，非LASSO，非elastic net）
- 目标函数（最终版）
- 算法一
- 方差计算
- 复杂度
- \(p \gg n\) 算法改进
数值实验（pitprops）

背景:

sparse PCA 较 PCA来说更具可解释性，泛化性。

部分符号

\(\mathrm{X} \in \mathbb{R}^{n \times p}\)
假设样本已经中心化（每一个行为一个样本）
\(\mathrm{X}=[X_1,X_2,\ldots, X_p]\)
\(X_j = (x_{1j}, x_{2j},\ldots, x_{nj})\)
\(\mathrm{X = UDV^{T}}\)
\(\mathrm{Z=UD}\)为主成分（PCs）

创新点

1.将PCA问题转化为一个回归问题，利用最小角回归，可以高效求解Lasso问题。
2.二重迭代求解，sparse PCA问题。

文章梗概

The LASSO AND THE ELASTIC NET

普通的Lasso

\(Y=(y_1,y_2,\ldots,y_n)^{\mathrm{T}}\)
这个方法的问题在于，当\(p \gg n\)的时候，\(\hat{\beta}\)最多有n个非零项（这是为什么呢？）

The elastic net

将PCA改造为回归问题

定理一考虑单个向量（需要先进行SVD）

定理二单个向量（无需进行SVD版本）

定理三多个向量（无需进行SVD，非LASSO，非elastic net）

目标函数（最终版）

俩步求解

定理四 A given B的理论支撑（存疑）

算法一

方差计算

因为稀疏化后的向量，既不具有空间上（往往）的正交性，也不具有概率上（\(\mathrm{x^{T}Cy}=0\)）的正交性。这里，Zou 考虑的是概率上的正交性，将得到的向量正交化，把余量相加得最后的方差。

复杂度

\(n > p\) ： \(np^2+mO(p^3)\) #m是迭代次数

\(p \gg n\) 算法改进

简单来说，就是把step2改进下，原来需要求解一个elastic net问题，现在直接进行截断，自然会减轻不少负担。

数值实验（pitprops）

转载于:https://www.cnblogs.com/MTandHJ/p/10527979.html

Sparse Principal Component Analysis相关推荐

Sparse Principal Component Analysis via Rotation and Truncation
目录对以往一些SPCA算法复杂度的总结 Notation 论文概述原始问题问题的变种算法固定\(X\),计算\(R\) 固定\(R\),求解\(X\) (\(Z =VR^{\mathrm{T ...
笔记：Online robust principal component analysis via truncated nuclear norm regularization
Hong, B., Wei, L., Hu, Y., Cai, D., & He, X. (2016). Online robust principal component analysis ...
机器学习降维算法一：PCA (Principal Component Analysis)
引言: 机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达 ...
PCA（Principal Component Analysis）的原理、算法步骤和实现。
PCA的原理介绍: PCA(Principal Component Analysis)是一种常用的数据分析方法.PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分 ...
机器学习与高维信息检索 - Note 7 - 核主成分分析（Kernel Principal Component Analysis，K-PCA）
Note 7 - 核主成分分析(Kernel Principal Component Analysis) 核主成分分析 Note 7 - 核主成分分析(Kernel Principal Compone ...
机器学习与高维信息检索 - Note 4 - 主成分分析及其现代解释（Principal Component Analysis, PCA）及相关实例
主成分分析及其现代解释 4. 主成分分析及其现代解释 Principal Component Analysis and Its Modern Interpretations 4.1 几何学解释 The ...
PCA（principal component analysis）主成分分析降维和KPCA（kernel principal component analysis）核
PCA(principal component analysis)主成分分析降维和KPCA(kernel principal component analysis)核主成分分析降维方法详解及实战 PC ...
pca主成分分析结果解释_SKLEARN中的PCA(Principal Component Analysis)主成分分析法
PCA(Principal Component Analysis)主成分分析法是机器学习中非常重要的方法,主要作用有降维和可视化.PCA的过程除了背后深刻的数学意义外,也有深刻的思路和方法. 1. 准 ...
Machine Learning week 8 quiz: Principal Component Analysis
Principal Component Analysis 5 试题 1. Consider the following 2D dataset: Which of the following figur ...
Robust principal component analysis?(RPCA简单理解)
参考文献:Candès, E.J., Li, X., Ma, Y., and Wright, J.: 'Robust principal component analysis?', J. ACM, 2 ...

最新文章

热门文章