压缩感知(III) A Compressed Sense of Compressive Sensing (III)

在本文第一篇的时候我们介绍了 RIP 以及相关的概念，并给出了投影矩阵满足一定的 RIP 条件的时候通过 -norm 最小化可以求得 CS 问题的最优解，该问题是通过凸优化来进行求解。这里我们介绍另一类主要算法（Pursuit 类）的一个典型，叫做 Orthogonal Matching Pursuit (OMP)。

介绍算法之前先引入一个叫做 Coherence 的概念，对于一个矩阵，其 coherence 定义为

其中表示矩阵的第列。一个特殊情况是的列全部正交，此时 coherence 为零，当然当 overcomplete (n > m) 时这是不可能做到的，但是如果很小的话，我们可以得到一些“近似正交”的结论。第一个有用的地方在于 Coherence 可以用于给出 spark 的一个下界。

我们在上次定义过，一个矩阵的 spark 是最小的数使得该矩阵存在列是线性相关的。我们上次介绍过，当矩阵的 spark 足够大的时候，能够保证解的唯一性。但是 general 情况下计算一个矩阵的 spark 是 NP 难的，所以 Coherence 能给出一个下界就非常有用了。

因为对的列进行缩放并不影响的 Coherence 或者 spark，不失一般性，我们考虑的列全部为 unit-norm 的情况。注意的任意列是线性无关的，等价于矩阵的任意的子矩阵其行列式都是 full-rank 的。另一方面，注意到的对角线元素都是，而非对角元都可以由来 bound 住，由 Gershgorin Circle Theorem 知道，当的时候，矩阵的任意子矩阵的特征值全都大于零，此时可以保证是 full-rank，亦即 spark 。由此可得下界：spark 。类似的方法还可以将 Coherence 和 RIP 联系起来。

如果 sparsity ，此时我们有，上次我们已经证明这种情况下 -稀疏解是唯一确定的。这里我们给出具体的 OMP 算法来将该解求出来。给出算法之前，我们再重复一下问题：已知和，求

并已知。OMP 算法的步骤如下：

初始化：
For
1. 令为
2. ，其中
3. 如果则退出循环
求解得出的非零系数。

首先注意到每一次迭代都会有一个新的下标进入集合，因为如果在之前的某一步中被加入到中了的话，那么 residual 和的内积会保持为零，所以不会选到该下标，亦即不会进入集合两次。所以经过次迭代之后将会得到个下标。接下来我们要说明这个下标刚好对应了的个非零下标。令，则我们要证明的是。

首先我们证明第一步选中的是属于的。令是的绝对值最大的元素下标，则

另一方面，对任意的，我们有

当时，显然前者大于后者。因此时一定不会选到以外的下标（虽然并不一定就是选中绝对值最大的那个）。也就是说，选中的下标会是中的一员。

注意到第一步之后更新 residual 之后满足，其中，也就是除去了第一步所得到的下标。实际上我们可以看成是重新开始一个新的问题，其中是把的第一步选出来的下标置零，而则为 residual 。这样我们可以重复刚才的证明，得到这一步选出来的下标还是属于。以此类推。

最后，由于我们一开始证明的 Coherence 作为 spark 下界的结果，很容易知道的列是线性无关的，因此 OMP 最后一步的线性方程组求解也能得到 justify 了。

最后，OMP 算法虽然只需要进行次迭代即可求解，但是每次迭代需要重新计算投影（第 2.3 步），普通的 Matching Puisuit (MP) 并不需要在每次选取新的下标之后对所有已有的下标重新做一次正交投影，所以计算量小了很多，但是由于在这里没有了正交性，对算法的正确性等分析也相对变得更复杂了。此外，需要注意的是，这里只讨论了最简单的没有 noise、严格 -sparse 的情况。

from: http://freemind.pluskid.org/machine-learning/a-compressed-sense-of-compressive-sensing-iii/

压缩感知(III) A Compressed Sense of Compressive Sensing (III)相关推荐

压缩感知(II) A Compressed Sense of Compressive Sensing (II)
今天在吃饭的时候,其中一个人得知我的学校之后非要出一些 puzzle 来考我--口算都很困难的我觉得压力山大,要给本校的 CS 算法天才们丢脸了.然后其中一道题就是十二球重量的问题,似乎是一个经典面试 ...
压缩感知（I） A Compressed Sense of Compressive Sensing (I)
CS,全称一般被认为是 Compressive/Compressed Sensing/Sampling,中文叫做压缩感知,于 2004 至 2006 年之间由 David Donoho.Emamnue ...
DeepMind论文：深度压缩感知，新框架提升GAN性能（附链接）
来源:新智元本文共2200字,建议阅读9分钟. 本文介绍一种将压缩感知和GAN联系起来的创新框架. [ 导读 ] DeepMind提出一种全新的"深度压缩感知"框架,将压缩感知与 ...
DeepMind论文：深度压缩感知，新框架提升GAN性能
https://www.toutiao.com/a6694045305064653324/ [新智元导读]DeepMind提出一种全新的"深度压缩感知"框架,将压缩感知与深度学习相 ...
初识压缩感知 compressive sensing
压缩感知是近年来极为热门的研究前沿,在若干应用领域中都引起瞩目.最近粗浅地看了这方面一些研究,对于Compressive Sensing有了初步理解,在此分享一些资料与精华.本文针对陶哲轩和Emman ...
初识压缩感知Compressive Sensing
压缩感知是近年来极为热门的研究前沿,在若干应用领域中都引起瞩目.最近粗浅地看了这方面一些研究,对于Compressive Sensing有了初步理解,在此分享一些资料与精华.本文针对陶哲轩和Emman ...
压缩感知（Compressed Sensing）
compressive sensing(CS) 又称 compressived sensing ,compressived sample,大意是在采集信号的时候(模拟到数字),同时完成对信号压缩之意. ...
压缩感知 compressive sensing(转)
信号处理新理论采样定理(又称取样定理.抽样定理)是采样带限信号过程所遵循的规律, 1928年由美国电信工程师H.奈奎斯特首先提出来的,因此称为奈奎斯特采样定理.1948年信息论的创始人C.E.香农 ...
matlab21世纪论坛,compressive sensing 压缩感知（转） 21世纪最火的研究方向
转载于http://to-cs.blog.sohu.com/110268260.html 整个人类匍匐在上帝的脚下,艰难并努力地生存着.有多少次,被上帝无情的戏弄:也有多少次,尝试着和上帝较量.每当想 ...

压缩感知(III) A Compressed Sense of Compressive Sensing (III)

压缩感知(III) A Compressed Sense of Compressive Sensing (III)相关推荐

最新文章

热门文章