压缩感知先进——关于稀疏矩阵
前《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程,对压缩感知做进一步理解。针对其原理做出解说。本文较为理论性,代码请參考《“压缩感知”之“Hello world”》。
Keywords: 压缩感知 compressive sensing, 稀疏(Sparsity)、不相关(Incoherence)、随机性(Randomness)
主要内容
===============================
回顾传统压缩
压缩感知概念 &线性度量
压缩感知适合解决什么问题?
压缩感知是否可行?
如何恢复原信号?
Basis Pursuit & RIP
噪声
线性编码应用——single pixel camera
===============================
回顾传统压缩
对于原始信号x∈C(N*1),传统压缩是构造正交矩阵D∈C(N*N),正变换为y=Dx, 反变换x=D-1y= DTy, D-1= DT。
将初始信号x变换到y∈C(N*1)后,将保留当中的K个分量(K人工指定),对其它N-K个分量置零,这种信号y就称为K稀疏(K-Sparse)的。
于是得到编码策略例如以下:
Code(编码):构造正交矩阵D,做正变换y=Dx, 保留y中最重要的K个分量及其相应位置。
Decode(解码):将K个分量及其相应位置归位,其它位置置零,得到y,构造D,并用x=D-1y恢复x。
换句话说,传统压缩就是构造正交阵进行编解码,将所有N维信号所有存储下来。
其弊端是,
1. 由于香农定理的限制,採样频率非常大。这样造成了原始信号非常长(N非常大),消耗时间和空间。
2. K个重要分量要分别存储其位置,多分配空间。
3. K中分量(在传输过程中)丢失的话不好恢复。
[ S-sparse ]:A model case occurs when x is known to be S-sparse for some 1≤S≤n, which means that at most S of the coefficients of x can be non-zero.
===============================
压缩感知概念 & 线性度量
卍 压缩感知初识(详见上一篇详细介绍):
与传统压缩不同的是。压缩感知採用的y=Dx中,D不是N*N, 而是D∈C(M*N)的,当中M<N,也就是说D是一个扁矩阵,未知数个数大于方程个数。对于方程Dx=y, x∈C(N*1),y∈C(M*1),
我们知道,当M>=N的时候,这是一个determined或over-determined的problem。并且easy求解;而M<N的时候问题是under-determined的,如果我们如果x是稀疏的,最好的solution就是能够满足Ax≈b的最稀疏的x。CS惊人之处就是能够解决这种under-determined的问题:给定M*1的y,能够依据D恢复出N*1的x, 当中M<<N。如果x是S稀疏(S-sparse)的(或者想要让它是S稀疏的),那么我们仅仅须要取那S个度量(from N个未知量x)就好了。
卍 线性度量:
对于上面的问题y=Dx, 当M<N时我们已知有无穷多解。如果x0是当中一个特解的话,那么通解形式即为x0+WZ,当中W∈C(N*(N-M)),是D的零空间的一组基。Z是这组基的线性组合。总有DWZ=0。
所以我们的任务就是找x0+WZ中最稀疏的解x(为什么找最稀疏的后面会有证明的定理)。
这里。原先传统压缩中N*N的D越冗余,其零空间越大,寻找更稀疏矩阵的选择越多(即x0+WZ越多)。
卍 求解问题:
[example of CS-imaging]:(from ppt of 陶哲轩)
A typical example of when this assumption is reasonable is in imaging. An image may consist of ∼106 pixels and
thus require a vector of n∼106 to fully represent. But, if expressed in a suitable wavelet basis, and the image does
not contain much noise or texture, only a small fraction (e.g. 104) of the wavelet coefficients should be significant.
(This is the basis behind several image compression algorithms, e.g. JPEG2000.)
Intuitively, an S-sparse vector x has only S degrees of freedom, and so one should now be able to reconstruct x using only S or so measurements.This is the philosophy of compressed sensing(or compressive sensing, or compressive sampling): the number of measurements needed to accurately capture an object should be comparable to its compressed size, not its uncompressed size.
===============================
压缩感知适合解决什么问题?
卍 信号是稀疏的
卍 sensor方计算代价较大,receiver方计算代价较小(即不适合将信息所有存储下来,而适合取少量信息。之后恢复)
PS:single-pixel camera之后讲(*^__^*)
===============================
压缩感知是否可行?
说起这个问题可能有人会奇怪。什么叫是否可行呢?就是说给出D和M维的y,能否够唯一地把x恢复出来?答案是肯定的!
Compressive Sensing中有两个问题,对于
- 一个是如何确定出一个stable的基θ,或者測量矩阵Φ
- 还有一个是如何进行信号x的恢复(下一小节)
定理:如果Ax=b中,A是m*n的矩阵。x是n维向量,y是m维向量,A中随意2S列都是线性无关的(即无法线性组合得到0向量)。则s-sparse的向量x能够被b和A唯一地重构出来,i.e.
证明:如果能够重建出两个向量x,x'同一时候满足Ax=Ax'=b,当中x和x'都是S-Sparse的;那么就有A(x-x')=0; 由于x-x'中非零元素个数<=2S,所以x-x'是2S-Sparse的,又由于给出条件A中随意2S个列向量都是线性独立(线性无关)的,这就与A(x-x')=0矛盾了,所以如果不成立。即。能够依据b和A唯一地恢复出x∈C(n*1)。
===============================
如何恢复原信号?
我们已知所选择的最稀疏的x即x中非零元素最少的。即x的零范数最小的(向量的零范数即为其稀疏度sparsity)。
然而,求x=argmin||x||0使得x满足Ax=b的一个子问题是一个NP全然问题,须要在S个compoments中选出1,2,...,n个,看能从中选出最少多少个,满足Ax=b,这样。对于每个n都有排列组合C(S,n)种方法,显然不可行。所以我们想能不能换个什么方法来恢复信号。自然而然的,我们想到了最小平方法。
详细见下图Fig B。
Fig A. 用二范数取代零范数
Fig B. L2范数下寻找满足Ax=b的x,发现有一定偏差。
symmerize:
2-methods to methods:
1. L2-norm: quick, efficient, but get the wrong answer
2. L0-norm: precise but impractical
否定了L0范数和L2范数之后,我们想到取中——用L1范数(Basis pursuit的思路)。
so get select the L1-norm , that is the abs of each element
===============================
Basis Pursuit & RIP
Basis pursuit的方法在2000年由Candes-Romberg-Tao, Donoho提出,其基本思路见下图(以二维为例):
从图中可见,L1-norm比L2-norm靠谱多了。从上图中可见。x*处,x的L1-norm最小,这样推广到n维向量x。就是其每一维的值的绝对值的和。
以下这个Theorem就是对L1-norm方案(Basis pursuit)可行性的定理(详细证明看论文吧):大概是说,原始S-sparse的信号f为n维。从当中随机抽取m维分量。如果想利用Basis pursuit的方法把这m维向量重建出n维原始信号,仅仅要满足m>cS*log(n)就可以。当中c是一个常数。
非常多实验结果表明呢。大多数S-sparse信号 f 能够在m>=4*S的时候得以非常好的重建,由此有了以下更强的RIP如果:
如果A中随意4S列都是差点儿正交的。i.e. 在这4S列中。前4S个神秘值都在[0.9,1,1]范围内。则随意S-sparse信号x能够通过basis pursuit 由 Ax重建。
2006年。Tao和Donoho的弟子Candes合作证明了在RIP条件下,0范数优化问题与以下1范数优化问题具有同样的解
上面已经说过一个定理:对于Ax=b,A中随意2S列都线性独立,则随意S-sparse的向量x都能够被恢复出来,这是理论上的说法。实际上,利用basis pursuit进行恢复时须要增强条件:A中的每4S列都是差点儿正交的。这个精确的条件就是RIP。很多matrix都服从这个条件。
补充:
实际上以上的1范数优化问题是一个凸优化。故而必定有唯一解,至此sparse representation的大坑初步成型。总结一下:
- 如果矩阵满足sparsity=2S,则0范数优化问题有唯一解。
- 进一步如果矩阵A满足RIP条件。则0范数优化问题和1范数优化问题的解一致。
- 1范数优化问题是凸优化。故其唯一解即为0范数优化问题的唯一解。
===============================
噪声
实际应用中,我们用b=Ax+z来进行拟合,对付噪声的干扰,当中z是高斯噪声向量。
Fig. Reconstructing a sparse signal x approximately from noisy data b=Ax+z, assuming that z has norm less than error tolerance e.
===============================
CS应用——single pixel camera
Rice大学首先研究出的单像素相机是CS的一个主要应用。
test image(65536 pixels ) and CS construction using 11000 and 1300 measurements
Reference:
我都整合起来放在这里了。当中包含陶哲轩的讲座内容,我对其做的笔记,和大牛的一些解释。对CS的一个基本代码写在了下一篇《“压缩感知”之“Hello world”》,另外推荐一篇非常好的博文。嗯。
。。
还有两篇文章值得一看。一是《Compressive Sensing (Signal Processing Magazine 2007 715') 》。二是《An introduction to compressive sampling (Signal Processing Magazine 2008 1061')》。
关于Compressive Sensing很多其它的学习资料将继续更新。敬请关注本博客和新浪微博Sophia_qing。
压缩感知先进——关于稀疏矩阵相关推荐
- 压缩感知进阶——有关稀疏矩阵
上一篇<初识压缩感知Compressive Sensing>中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程, ...
- 压缩感知应用——单像素相机
题目:压缩感知应用--单像素相机 ============================================================ 参考文献: 1)Rachel Zhang的专 ...
- “压缩感知” 之 “Hello World”
上一篇<压缩感知进阶--有关稀疏矩阵>中我们已经讲过了压缩感知原理.应用领域.可行性以及恢复信号机制,后面有朋友陆续反应希望有一个CS版Helloworld,这里我就借用香港大学沙威大牛的 ...
- 压缩感知及应用 源代码_【DMD应用】基于压缩感知超分辨鬼成像
[概述] 分辨率是成像系统的一个重要参数, 获得高分辨率图像一直是鬼成像系统的一个目标. 本文提出了以成 像系统点扩散函数作为先验知识, 基于稀疏测量的超分辨压缩感知鬼成像重建模型. 搭建了一套计算鬼 ...
- 压缩感知的阶段性总结
压缩感知的阶段性总结 由于传统的信号处理框架,对信号的采样必须满足奈奎斯特速率,随着数据量的增大,这种框架下的信号处理会极大的加大ADC的压力,同时大量的数据冗余会使数据存储代价增大. 为了弥补奈奎斯 ...
- 浅谈压缩感知(二十一):压缩感知重构算法之正交匹配追踪(OMP)
主要内容: OMP的算法流程 OMP的MATLAB实现 一维信号的实验与结果 测量数M与重构成功概率关系的实验与结果 稀疏度K与重构成功概率关系的实验与结果 一.OMP的算法流程 二.OMP的MATL ...
- 初识压缩感知 compressive sensing
压缩感知是近年来极为热门的研究前沿,在若干应用领域中都引起瞩目.最近粗浅地看了这方面一些研究,对于Compressive Sensing有了初步理解,在此分享一些资料与精华.本文针对陶哲轩和Emman ...
- 稀疏表达和压缩感知的一些对比
本报告将从稀疏表达和压缩感知两个方面论述我对它们的一些理解. 在压缩感知模型中: y=Ax+n (1) x表示原始信号,A表示稀疏映射矩阵,n表示加性噪声,y表示压缩测量.在此模型中,如果原始 ...
- 【压缩感知合集8】MP算法(算法实现、收敛讨论以及问题分析)
0 前情提要 0.1 数学模型和总体框图如下 给定输入信号X∈RN×1\boldsymbol{X} \in \mathbb{R}^{N\times1}X∈RN×1,最终想要得到压缩信号A∈RM×1\b ...
最新文章
- linux7挂载ntfs分区,刚安装centos7,请教大神如何挂载ntfs的分区
- VS2013在Windows7 64位上变慢的解决方法
- java数组中怎么去重_java数组去重怎么弄???大神来解
- 阿里发布图计算平台GraphScope,即将向全社会开源
- jQuery九类选择器
- bitnami-redmine邮件告警配置
- 实现Profile购物车的匿名用户迁移
- Android 布局学习之——Layout(布局)详解一
- mybatis的拦截器及分页机制
- python多元函数求解_使用遗传算法求二元函数的最小值
- 【友盟】 微博分享缺少C8998文件
- 准大二生的暑期自学安排
- IDEA的Translation翻译插件失效
- You_Probably_Dont_Need_RAC
- 区块链发展,能源领域不能盲目跟风!
- 人机交互-1-人机交互概述
- 一阶常微分方程的数值解法(二阶显式、隐式 Adams 公式及 Milne 方法)
- java压缩源代码_压缩图片大小(Java源码)
- 基于高斯塞德尔方法的超松弛迭代法MATLAB实现
- 前端优化系列之DNS预获取 dns-prefetch 提升页面载入速度
热门文章
- 深搜DFS\广搜BFS 图初步入门
- Harris的角点检测和特征匹配
- 算法(18)-leetcode-剑指offer2
- cad怎么快速算面积_用cad算面积的快捷键方法步骤详细,大朗CAD培训班
- 云计算技术背后的天才程序员:Open VSwitch鼻祖Martin Casado
- 别瞎忙活:创业公司的6条时间管理策略
- 为何大部分人成不了技术专家?
- 大三了,计算机专业学生的困惑。 [转]
- IDEA:No SLF4J providers were found.
- Angular15 利用ng2-file-upload实现文件上传