文章目录

思想
模型

参考论文：Low-Rank Preserving Projection Via Graph Regularized Reconstruction
作者：Jie Wen, Na Han, Xiaozhao Fang , Lunke Fei, Ke Yan, and Shanhua Zhan

思想

近些年，基于低秩的特征提取方法，由于他对噪声的鲁棒性和揭示数据固有全局结构方面的良好性能，收到广泛关注。然而原始的基于低秩的方法，如RPCA和LRR不能处理训练样本之外的新样本。为解决这一问题，Bao等人提出了IRPCA，通过学习低秩投影，既具有PCA的优点，又具有RPCA的优点。LatLRR考虑未被观测到的数据，学习一个低秩投影在无监督分类中提取显著特征。DLRR将LatLRR中的主成分恢复项和显著特征提取项整合为一项。但前面的方法由于所得到的投影矩阵与原始矩阵具有相同的维数，因此丧失了降维的能力。为了解决这个问题，类似于SPP的策略，LRPE首先从数据中学习一个LRR图，然后利用它来实现投影。此外Wong等人提出联合低秩嵌入投影LREP，将LRR图学习集成到联合优化模型中。
上述无监督特征提取方法都专注于利用数据的内在关系来学习投影。但它们存在以下问题：

上述方法仅仅考虑数据的局部或是全局几何结构。例如NPE,LPP,SPP考虑局部几何结构，LRR-based方法考虑全局几何结构。但全局和局部结构都解释了数据的关系；
注：许多方法试图同时利用这两种结构进行投影学习，但他们至少都引入了一个额外的正则化项，而相应的正则化参数需要调整。
如SPP,NPE,LPP等的特征提取方法，对特征维数较敏感。如针对不同任务自适应的选择合适的维数仍然是一个有待解决的问题；
上述特征提取方法可解释性差，它们通过转换，同等地对待所有地特征，因此很难解释对于给定地任务来说，哪些特征是重要的。

针对上述问题，提出了一种基于图正则化的低秩保持投影方法LRPP_GRR。
不同于SPP,LPP,NPE和LRPE，LRPP_GRR将图学习和投影学习集成到一个联合优化的框架中，保证了全局最优。具体的LRPP_GRR有以下动机：

对投影矩阵施加正交约束
基于SR和LRR的分类中，发现原始样本和线性重构样本有相似的最近邻关系。在此基础上，该论文直接对基于低秩的数据重构误差施加一个最近邻图约束，以保持这种局部结构

模型

LatLRR只提取显著特征来进行分类，而忽略主成分信息。主成分也很有用。相比于LatLRR，DLRR不仅提取主成分，同时还保留数据的全局表示结构。
DLRR: minZ,L∣∣Z∣∣∗+∣∣L∣∣∗min_{Z,L}||Z||_*+||L||_*minZ,L∣∣Z∣∣∗+∣∣L∣∣∗
基于DLRR，本文提出了一个更灵活的学习投影矩阵的方法。minP,Q,Z∣∣Z∣∣∗,s.t.X=PQTXZmin_{P,Q,Z}||Z||_*,s.t. X=PQ^TXZminP,Q,Z∣∣Z∣∣∗,s.t.X=PQTXZ其中Q是投影矩阵。X一列一个样本。
受SPCA的启发，对P施加正交约束得到：minP,Q,Z∣∣Z∣∣∗,s.t.X=PQTXZ，PTP=Imin_{P,Q,Z}||Z||_*,s.t. X=PQ^TXZ，P^TP=IminP,Q,Z∣∣Z∣∣∗,s.t.X=PQTXZ，PTP=I这种情况下，P被认为是重构矩阵，使得Q能更好的捕捉主成分。
相比于DLRR，以上模型不仅有DLRR的优点，还实现了降维。
考虑到数据不仅包含大维度，还有许多对分类无用的冗余特征。因此对Q施加L2,1范数，得到：minP,Q,Zλ1∣∣Z∣∣∗+λ2∣∣Q∣∣2,1,s.t.X=PQTXZ，PTP=Imin_{P,Q,Z}\lambda_1||Z||_*+\lambda_2||Q||_{2,1},s.t. X=PQ^TXZ，P^TP=IminP,Q,Zλ1∣∣Z∣∣∗+λ2∣∣Q∣∣2,1,s.t.X=PQTXZ，PTP=I其中λ1，λ2\lambda_1，\lambda_2λ1，λ2是正则化参数，用于平衡相应的项。通过对Q施加L2,1范数，能够一致的选择有用的特征，且更具有解释性。
正如前面所说的，LRR捕捉了数据的全局结构，而忽略了数据的局部结构。现实应用种，数据（如人脸图像）通常取样自一个非线性的流行空间，所以保留局部结构也同样重要。下面介绍一个定理：
Lemma1： 假设样本x1∈Rm∗1x_1∈R^{m*1}x1∈Rm∗1是样本x2∈Rm∗1x_2∈R^{m*1}x2∈Rm∗1的最近邻，且它们都可以用字典D∈Rm∗nD∈R^{m*n}D∈Rm∗n来表示，x1=Dα1,x2=Dα2x_1=D\alpha_1,x_2=D\alpha_2x1=Dα1,x2=Dα2,。于是x1(x2)x_1(x_2)x1(x2)和样本Dα2(Dα1)D\alpha_2(D\alpha_1)Dα2(Dα1)与它们的原始样本有同样的最近邻关系。
根据以上定理，在原始样本和重构样本的损失项上施加一个图约束来保持局部几何结构，得到如下模型：minP,Q,Z∑i=1n∑j=1n∣∣xi−PQTXzj∣∣22wi,j+λ1∣∣Z∣∣∗+λ2∣∣Q∣∣2,1,s.t.PTP=Imin_{P,Q,Z}\sum_{i=1}^n\sum_{j=1}^n||x_i-PQ^TXz_j||_2^2w_{i,j}+\lambda_1||Z||_*+\lambda_2||Q||_{2,1},s.t. P^TP=IminP,Q,Zi=1∑nj=1∑n∣∣xi−PQTXzj∣∣22wi,j+λ1∣∣Z∣∣∗+λ2∣∣Q∣∣2,1,s.t.PTP=I其中W表示最近邻图，Z表示LRR矩阵。PQTXzjPQ^TXz_jPQTXzj可被视为对原始样本xjx_jxj的重构样本。

【LRPP-GRR】Low-Rank Preserving Projection Via Graph Regularized Reconstruction相关推荐

【论文笔记】Encoding cloth manipulations using a graph of states and transitions
[论文笔记]Encoding cloth manipulations using a graph of states and transitions Abstract 问题: Cloth manipu ...
【质量评价】Inferring Point Cloud Quality via Graph Similarity 基于图相似性的点云质量评价
[质量评价]Inferring Point Cloud Quality via Graph Similarity 基于图相似性的点云质量评价内容介绍 1. Introduction 1.1 Back ...
储存profiles是什么意思_【2018最新】low profile的中文是什么意思-精选word文档 (4页)...
本文部分内容来自网络整理,本司不为其真实性负责,如有异议或侵权请及时联系,本司将立即删除! == 本文为 word 格式,下载后可方便编辑和修改! == low profile 的中文是什么意思 lo ...
【论文精读】Geometric Structure Preserving Warp for Natural Image Stitching
图像拼接系列相关论文精读 Seam Carving for Content-Aware Image Resizing As-Rigid-As-Possible Shape Manipulation A ...
【论文阅读】Deep Neural Networks for Learning Graph Representations | day14，15
<Deep Neural Networks for Learning Graph Representations>- (AAAI-16)-2016 文章目录一.模型 1.1解决了两个问题 ...
【论文阅读】Drug Similarity Integration Through Multi-view Graph Auto-Encoders | day4、5
2018年International Joint Conference on Artificial Intelligence国际人工智能联合会议文章目录前言一.基于注意力机制的多视图图自编码器的 ...
【论文阅读】Graphonomy: Universal Human Parsing via Graph Transfer Learning通过图迁移学习进行的通用人体解析
Problem问题人体解析是指将在图像中捕获的人分割成多个语义上一致的区域,例如, 身体部位和衣物.作为一种细粒度的语义分割任务,它比仅是寻找人体轮廓的人物分割更具挑战性. 人体解析对于以人为中心的 ...
【2019/ICML】DAG-GNN: DAG Structure Learning with Graph Neural Networks
原文链接:https://dreamhomes.github.io/posts/202101041501.html 文章链接:https://arxiv.org/abs/1904.10098 源码链接 ...
【卷积神经网络的加速】Speeding up Convolutional Neural Networks with Low Rank Expansions
主题:[深度卷积神经网络的加速] Speeding up Convolutional Neural Networks with Low Rank Expansions 附上论文链接:上一篇中提到的低秩 ...

【LRPP-GRR】Low-Rank Preserving Projection Via Graph Regularized Reconstruction

文章目录

思想

模型

【LRPP-GRR】Low-Rank Preserving Projection Via Graph Regularized Reconstruction相关推荐

最新文章

热门文章