On the Difference Between Orthogonal Matching Pursuit and Orthogonal Least Squares

摘要

当解被限定为稀疏的时候，也就是期望有更少的非零元素时，贪婪准则通常被用来解决不确定的可逆问题。OMP（正交匹配追踪法）和OLS通常被用来解决这两个问题。目前现有的文献中，有大量的文献都将这两者混淆了。

1. 引言

本节，我们引入两个贪婪的方法来解决上述两个问题。给定一个向量x∈RNxx∈RNxx\in R^{N_x}，矩阵Φ∈RNx×NsΦ∈RNx×Ns\Phi \in R^{N_x\times N_s} ，可以找到一个向量，使得均方误差最小，并且s仅仅有最少的非零元素。

贪婪算法：

正交匹配追踪法是信号处理中拟合稀疏模型的一种贪婪分布最小二乘法(greedy stepwise least squares)法。

贪婪算法(greedy algorithm)的基本思想是：

不求整体最优解，而是试图尽快找到某种意义上的局部最优解。贪婪法虽然不能对所有问题得到整体最优解，但对范围相当广泛的许多问题能产生整体最优解或者整体最优解的近似解。和使用凸优化算法的l1范数相比，贪婪算法在速度上具有很大优势。典型的贪婪算法有匹配追踪法和正交匹配追踪法：

匹配追踪法：

匹配追踪法(matching pursuit， MP) 是由法兰西大牛Mallat于1993年提出。其基本思想是，不针对某个代价函数进行最小化，而是考虑迭代地构造一个稀疏解x: 只使用字典矩阵A的少数列向量的线性组合对观测向量x实现稀疏逼近Ax=y，其中字典矩阵A被选择的列向量所组成的集合是以逐列的方式建立的。在每一步迭代，字典矩阵中通当前残差向量r=Ax−y中最相似的列向量被选择作为作用集的新一列。如果残差随着迭代的进行递减，则可以保证算法的收敛。

正交匹配追踪：

匹配追踪只能保证残差向量与每一步迭代所选的字典矩阵列向量正交，但与以前选择的列向量一般不正交。正交匹配追踪(orthogonal matching pursuit, OMP)则能保证每步迭代后残差向量与以前选择的所有列向量正交，以保证迭代的最优性，从而减少了迭代次数，性能也更稳健。

正交匹配追踪算法：

输入 观测数据向量y∈Rm和字典矩阵A∈Rm×n. 输出 稀疏系数向量 x∈Rn. Step 1 初始化 令标签集Ω0=∅,初始残差向量r0=y，令k=1.
Step 2 辨识 求矩阵A中与残差向量rk−1最强相关的列
jk∈argmaxj|<rk−1,ϕj>|,Ωk=Ωk−1∪jk
Step 3 估计 最小化问题 minx∥y−AΩkx∥的解由
xk=(AHΩkAΩk)−1AHΩky给出，其中
AΩk=[aω1,...,aωk],ω1,...,ωk∈Ωk
Step 4 更新残差
rk=y−AΩkxk
Step 5 令k=k+1，并重复Step 2 至Step 4。若某个停止判据满足，则停止迭代。
Step 6 输出系数向量
x(i)=xk(i), if i∈Ωk
x(i)=0, otherwise

注: AH为共轭转置

下面是三种常用的停止判据

运行到某个固定的迭代步数后停止。
残差能量小于某个预先给定值ε。 ∥rk∥2≤ε
当字典矩阵A的任何一列都没有残差向量rk的明显能量时
∥AHrk∥∞≤ε

On the Difference Between Orthogonal Matching Pursuit and Orthogonal Least Squares相关推荐

8.正交匹配跟踪 Orthogonal Matching Pursuit (OMP)s
OrthogonalMatchingPursuit and orthogonal_mp 实现了一个用来逼近在非零系数的个数上加约束的线性模型的拟合的OMP算法(比如L 0 pseudo-norm) 和 ...
正交匹配追踪算法OMP（Orthogonal Matching Pursuit）
正交匹配追踪算法OMP(Orthogonal Matching Pursuit) 本文主要基于文献<Orthogonal Matching Pursuit for Sparse Signal R ...
稀疏表示求解：OMP（The Orthogonal Matching Pursuit Algorithm）
稀疏表示求解:OMP(The Orthogonal Matching Pursuit Algorithm) 文章目录稀疏表示求解:OMP(The Orthogonal Matching Pursui ...
matching pursuit笔记
给定一个 Hilbert space 中的向量 f f f 和一个称为字典的向量组 D = { x 1 , - , x n } D=\{x_1,\dots,x_n\} D={x1,-,xn},且 ...
Generalized Linear Models
作者:桂. 时间:2017-05-22 15:28:43 链接:http://www.cnblogs.com/xingshansi/p/6890048.html 前言主要记录python工具包:s ...
【 MATLAB 】MATLAB帮助文档中对 MP 算法以及 OMP 算法的讲解（英文版）
目录 Matching Pursuit Algorithms Redundant Dictionaries and Sparsity Nonlinear Approximation in Dictio ...
KDD 2020 开源论文 | 稀疏优化的块分解算法
©PaperWeekly 原创 · 作者|袁淦钊单位|鹏城实验室研究方向|数值优化.机器学习这次向大家分享的工作是鹏城实验室牵头,联合腾讯 AI 实验室和中山大学在 SIGKDD 2020 上发 ...
Python数模笔记-Sklearn（4）线性回归
1.什么是线性回归? 回归分析(Regression analysis)是一种统计分析方法,研究自变量和因变量之间的定量关系.回归分析不仅包括建立数学模型并估计模型参数,检验数学模型的可信度,也包括利 ...
论文阅读：CVPR2016 Paper list
原文地址:http://blog.csdn.net/xizero00/article/details/51386667 在过几天CVPR2016就要召开了,先放个list. ORAL SESSION ...

On the Difference Between Orthogonal Matching Pursuit and Orthogonal Least Squares

摘要

1. 引言

On the Difference Between Orthogonal Matching Pursuit and Orthogonal Least Squares相关推荐

最新文章

热门文章