稀疏表达和压缩感知的一些对比
本报告将从稀疏表达和压缩感知两个方面论述我对它们的一些理解。
在压缩感知模型中： y=Ax+n （1）
x表示原始信号，A表示稀疏映射矩阵，n表示加性噪声，y表示压缩测量。在此模型中，如果原始信号x满足一定的稀疏特性时，通过稀疏映射矩阵A的作用，可以将其压缩到很小的向量空间里，即y的行数比x小得多，这也体现了稀疏理论的核心思想：将高维信号用低维信号来描述。
在稀疏表达模型里，我们用y表示原始信号，A表示字典，x表示原始信号在字典A下的稀疏表达，一般应用中，字典A是过完备的，即A的列数多余行数，这与压缩感知中的稀疏映射矩阵是相洽的，在不考虑噪声 的情况下: y=Ax （3）
将 x做自变量，可以看到这个方程未知数的个数多于方程个数，也即这个方程要么有无穷多个解（当增广矩阵[A,y]的秩=矩阵[A]的秩时），要么无解（当增广矩阵[A,y]的秩>矩阵[A]的秩时），我们当然是考虑有无穷多个解的情形。有无穷多个解哪个解是我们需要的呢？学者告诉我们应该找到最稀疏的那个解，也即中非零元素最少的那个解是我们需要的，也即优化下面一个问题： min J(x) s.t. y=Ax （4）
或者统一成一个表达式： argmin Power(||y-Ax||_2,2)+lambdaJ(x) (5)
前一项表示数据拟合项，后一项表示稀疏约束项，J(x)取x的L0范数，L0范数即是统计x中非零元素的个数，但是L0范数表示的函数是非凸的，我们不能保证得到最优解，但是在一些实际应用中，我们不需要得到最优解，比如在图像去噪应用中，我们就可以应用L0范数模型，虽然求得的x不一定是全局唯一最优的，但是仍然起到了去噪效果，并且效果达到了state-of-the-art，以以色列的Michael Elad为代表的学者用的是L0范数来建模的，如KSVD[1]和Double Sparsity模型[2]。或者我们退而求其次，考虑L1范数，虽然L1范数亦不能保证得到全局唯一的最优解，因为L1范数不是严格凸的，但是L1范数可以达到稀疏的效果，并且一般能够满足实际应用中的效果，如以法国的Julien Mairal,FrancisBach,Jean Ponce为代表的学者[3]就是以L1范数来建模的。这两个地方在稀疏表达方面的研究貌似是起到主导作用的，很多人都是根据他们的工作来进行扩展研究的。
从上面稀疏表达和压缩感知的模型中，可以看出它们的核心问题是相通的，即在压缩测量y或原始信号y已知的情况下，结合预先定义的感知矩阵A或者字典A，利用L0,L1范数模型（可以是它们的融合，甚至可以加上L2范数[3]），求解到原始的稀疏信号x或者稀疏表达x，但是在压缩感知中，感知矩阵A一般是事先定义好的，可以取成高斯随机矩阵，或者是只有0和1的稀疏矩阵（binary sparse matrix），如张智林老师在用BSBL_BO算法处理胎儿心电图信号时[4,5]用的就是后者，取得了很好的效果。但是在稀疏表达模型，比较主流的做法是通过学习的方法得到字典，这样的字典比预先定义的字典有更好的自适应性，这以思想应该可以借鉴到压缩感知的模型中。
从[4][5]两篇文章中可以看出，在考虑原始信号 的块内相关性的情况下，我们可以得到更高的压缩率，并且恢复的原始信号也更加真实、鲁棒，这在胎儿心电图信号和语音信号应用中得到了验证。在稀疏表达模型中，有些人一方面在考虑稀疏表达系数x的结构性，比如考虑张智林老师所展示的块内相关性或者块间相关性等等，另一方面很多人在考虑学习到的字典A的结构性，如文章[2]中就将字典A建模成了A=WD，其中D是一个稀疏矩阵，其每列有指定数目的非零元素，D通过学习得到， W为事先设定的矩阵，这样的话，D和x都是稀疏的，并且可以通过[2]中的算法统一求解得到。文章[3]讲述了根据特定任务构建特定字典的方法，这貌似在稀疏表达研究中是一个主流。
在张智林老师所提出的BSBL算法及其扩展中，原始信号x具有块结构，感知矩阵A的行数小于列数，这样可以将原始信号映射到一个更低维度的空间里，起到了采样的效果，采样率在一定条件下可以比奈奎斯特采样率低很多。在考虑原始信号x的块内元素相关性的情况下，通过实验可以证明，在信号恢复应用中达到了state-of-the-art的效果，也即在一个块内，各个元素之间一般不是独立的，如在图像中，一个像素一般会跟周围的几个像素有很大的关系，这也是MRF模型的假设基础。考虑这种相关性，应用贝叶斯模型进行建模，我们把每个块的相关性矩阵和均值矩阵给估计出来，最终恢复出原始信号，文章从分块个数已知和未知两个方面进行了分析。
[1]K-SVD:An Algorithm for Designing OvercompleteDictionaries for Sparse Representation.
[2]Double Sparsity:Learning Sparse Dictionaries forSparse Signal Approximation.
[3]Task-Driven Dictionary Learning.
[4]Extension of SBL Algorithms for the Recovery ofBlock Sparse Signals with Intra-Block Correlation.
[5]From Sparsity to Structrued Sparsity:BayesianPerspective(in Chinese).
稀疏表达和压缩感知的一些对比相关推荐
- 正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同
题目:正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同 如果研究了稀疏分解再来研究压缩感知可能会有一个疑惑:在稀疏分解中有一个OMP算法,在压缩感知的重构算法中也有一个OMP算法,它们有什么区别 ...
- 图像压缩Vs.压缩感知
SparseCoding,压缩感知.对样本集合进行超完备重建,使用非监督学习方法,寻找样本特征集的超完备基,而对任一样本来说,使用此组基的表示稀疏是稀疏的,即只有少量的基向量非0. 小品文 压缩感知科 ...
- 压缩感知及应用 源代码_【DMD应用】基于压缩感知超分辨鬼成像
[概述] 分辨率是成像系统的一个重要参数, 获得高分辨率图像一直是鬼成像系统的一个目标. 本文提出了以成 像系统点扩散函数作为先验知识, 基于稀疏测量的超分辨压缩感知鬼成像重建模型. 搭建了一套计算鬼 ...
- 《压缩感知回顾与展望》读书笔记
压缩感知回顾与展望 在众多压感的研究中,其中各个矩阵的命名不一,这篇文章就算是对这些命名的一个统一吧,个人觉得还挺贴切. 1.N维实信号 x 的稀疏表示: 其中 叫正交基字典矩阵, 叫系数向量. ...
- 压缩感知高斯测量矩阵matlab,浅谈压缩感知（十七）：测量矩阵之有限等距常数RIC的计算...
有限等距常数(RestrictedIsometry Constant, RIC)是与有限等距性质(Restricted IsometryProperty, RIP)紧密结合在一起的一个参数. 一.RI ...
- 压缩感知的常见稀疏基名称及离散傅里叶变换基
题目:压缩感知的常见稀疏基名称及离散傅里叶变换基 一.首先看九篇文献中有关稀疏基的描述: [1]喻玲娟,谢晓春.压缩感知介绍[J]. 电视技术,2008,32(12):16-18. 常用的稀疏基有:正 ...
- 【压缩感知合集6】压缩感知为什么可以恢复信号；为什么需要满足稀疏性条件、RIP条件、矩阵不相关等限制条件才可以恢复信号的逻辑分析
0 压缩感知的理论依据前言 主要想讲清楚的问题是: 为什么压缩感知在随机采样的情况下可以对信号进行恢复? 其实这个问题也可以换一个方式理解: 在满足什么条件的情况下,信号可以通过压缩感知进行压缩并恢复 ...
- 稀疏表示、字典学习、压缩感知的简单理解
注意:本文不涉及任何公式推导,仅对大致原理和作用进行介绍,不当之处欢迎指正. 为什么要稀疏? 1)特征选择 稀疏规则化能实现特征的自动选择,当Xi存在与输出Yi没有关系的特征(冗余特征)时,在最小化损 ...
- 压缩感知稀疏基之离散余弦变换(DCT)和离散正弦变换(DST)
题目:压缩感知稀疏基之离散余弦变换(DCT)和离散正弦变换(DST) 在前面一篇<压缩感知的常见稀疏基名称及离散傅里叶变换基>中集结了九篇压缩感知文献中有关稀疏基名称,并且直白地告诉大家稀 ...
最新文章
- Android 获取SD卡的图片资源
- 拦截器和过滤器之间有很多相同之处，但是两者之间存在根本的差别
- HP DL360 G7安装esxi 6.0
- 这届毕业生薪资高，是真的
- 信息安全隐忧是快递实名的“死穴”
- 程序员如何打破 30 岁职业瓶颈？
- [LeetCode]题解（python）：038-Count and Say
- linux系统，清理缓冲池内存
- 【平面设计】ACDSee5.0软件安装教程
- No matching provisioning profile found: Your build settings specify a provisioning profile with the
- Android 10.0获取本地视频及其预览图
- 软件测试01 概念、流程、分类、策略
- 给STM32工程加入类似Arduino编程里的micros()、millis()函数
- 2023款MacBook Pro M2参数配置怎么样 性能怎么样 尺寸重量多少？
- 秘密的文件夹加密软件-超级秘密文件夹
- la la la, la la la
- [渝粤教育] 郑州财税金融职业学院 大学生创新创业教育 参考 资料
- Amazon DeepRacer 解决无法登录 Console 以及模型失效的方法
- i76700hq和i510300h哪个好
- 有声读物服务器Audiobookshelf