Robust PCA

Robust PCA

1. PCA

PCA是Principal Component Analysis的缩写，翻译为主元分析。它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字:主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。

从线性代数的角度看，PCA的目标就是使用另一组基去重新描述得到的数据空间。希望在这组新的基下，能尽量揭示原有的数据间的关系。这个维度即最重要的“主元”。PCA的目标就是找到这样的“主元”，最大程度的去除冗余和噪音的干扰。

2. RPCA

对于低秩矩阵X,假如X受到随机噪声的影响，则X的低秩性就会破坏，使X变成满秩的。考虑同一副人脸的多幅图像，如果将每一副人脸图像看成是一个行向量，并将这些向量组成一个矩阵的话，那么可以肯定，理论上，这个矩阵应当是低秩的。但是，由于在实际操作中，每幅图像会受到一定程度的影响，例如遮挡，噪声，光照变化，平移等。这些干扰因素的作用可以看做是一个噪声矩阵的作用。
与此类似的问题是视频图像中的物体检测问题。由于固定摄像机拍摄的背景是相对稳定的，所以其中的运动物体，例如行人，车辆，飞鸟等，可以看做是图像矩阵中的稀疏噪声。由于不同的图像同时受到独立的高斯噪声的影响，所以，要将低秩分解技术为恢复图像本源的信息提供了一个有力的工具。与经典PCA问题一样，鲁棒PCA本质上也是寻找数据在低维空间上的最佳投影问题。

在这里提一下最小二乘法，如下图所示

如左图所示，未受噪声干扰的样本点，张成的子空间为一维直线。如右图所示，当受到随机噪声干扰的样本点，低秩性被破坏，张成的空间为n维,通过最小二乘回归的算法，可以将数据恢复到一维直线上。当个别分量偏差比较大时，用最小二乘的回归算法会受到较大扰动。如下图:

RPCA就可以解决此类问题。

由于rank和L0范数在优化上存在非凸和非光滑特性，所以我们一般将它转换成求解以下一个松弛的凸优化问题：

Robust PCA相关推荐

Robust PCA 学习笔记
很久没有写学习笔记了,年初先后忙考试,忙课程,改作业,回家刚安定下来,读了大神上学期给的paper,这几天折腾数学的感觉很好,就在这里和大家一起分享一下,希望能够有所收获.响应了Jeffrey的建议, ...
PCA 与 Robust PCA区别
之前的一篇博客对PCA的原理.特点进行了介绍以及用python实现了PCA.本篇博客对PCA和Robust PCA进行简单的区别. 1.PCA 主成分分析(PCA)可以有效的找出数据中最重要的元素和结 ...
笔记：Online robust principal component analysis via truncated nuclear norm regularization
Hong, B., Wei, L., Hu, Y., Cai, D., & He, X. (2016). Online robust principal component analysis ...
漫谈概率 PCA 和变分自编码器
作者丨知乎DeAlVe 学校丨某211硕士生研究方向丨模式识别与机器学习介绍主成分分析(PCA)和自编码器(AutoEncoders, AE)是无监督学习中的两种代表性方法. PCA 的地位不必 ...
UFLDL教程：Exercise:PCA in 2D PCA and Whitening
相关文章 PCA的原理及MATLAB实现 UFLDL教程:Exercise:PCA in 2D & PCA and Whitening python-A comparison of vario ...
PCA的原理及MATLAB实现
相关文章 PCA的原理及MATLAB实现 UFLDL教程:Exercise:PCA in 2D & PCA and Whitening python-A comparison of vario ...
pca主成分分析_降维：主成分分析（PCA）
用于降维的PCA算法的设计原理及其从头开始在Python中的实现介绍借助高性能CPU和GPU的可用性,几乎可以使用机器学习和深度学习模型解决所有回归,分类,聚类和其他相关问题.但是,在开发此类模型 ...
PCA，AE，VAE，RPCA，概率PCA之间的联系与区别
文章目录 AE 自编码器 PCA 概率PCA VAE RPCA RPCA优化求解算法对比 [数学推导详见Rubost PCA优化总结](https://blog.csdn.net/u010510350 ...
主成分分析（PCA）原理和鲁棒主成分分析（RPCA）详解
主成分分析(PCA)原理和鲁棒主成分分析(RPCA)详解 1.相关背景在许多领域的研究与应用中,通常需要对含有多个变量的数据进行观测,收集大量数据后进行分析寻找规律.多变量大数据集无疑会为研究和应用 ...

Robust PCA

Robust PCA相关推荐

最新文章

热门文章