1 压缩感知的简介

1.1 提出

D． Donoho、E． Candes 及华裔科学家 T． Tao等人提出了一种新的信息获取理论－压缩感知（Compressive Sensing）

Donoho D L． Compressed sensing［J］． IEEE Transactions on Information Theory， 2006， 52( 4) : 1289 － 1306

1.2 评价

突破了香农-奈奎斯特采样定理的限制。
实现对信号采样的同时完成压缩的过程。
并不直接测量信号本身，它使用非自适应线性投影（感知矩阵）来获得信号的整体构造从而直接得到重要的信息，忽略那些在有损压缩中会被丢弃的信息。

1.3 主要过程

稀疏表示：信号稀疏域的选取，是压缩感知理论的基础和前提; （参考信号的稀疏性可以参考另一篇blog【压缩感知合集2】（背景知识）信号稀疏表示的数学推导和解释理解）

投影测量：已经证明大部分具有一致分布的随机矩阵都可以作为观测矩阵;

重构算法：由于压缩感知采用的是全局非自适应测量方法，观测数量远远少于信号长度，从而数据采集量大大减少。但是需要付出的代价是信号重建算法的软件成本。

1.4 简洁概括

如果信号是稀疏的，那么它可以由远低于采样定理要求的采样点重建恢复。

2 压缩感知的数学模型

给定输入信号 X ∈ R N × 1 \boldsymbol{X} \in \mathbb{R}^{N\times1} X∈RN×1，最终想要得到压缩信号 A ∈ R M × 1 \boldsymbol{A} \in \mathbb{R}^{M\times1} A∈RM×1， K < < N K<<N K<<N

2.1 压缩过程（感知过程）分为（稀疏变换和投影测量）

2.1.1 稀疏变换（稀疏表示、稀疏过程）

找到一个基或者过完备字典 Ψ \boldsymbol{\Psi} Ψ，使得信号 X \boldsymbol{X} X在 Ψ \boldsymbol{\Psi} Ψ域是稀疏的，（参考补充材料稀疏）满足下面的公式
X = Ψ Y \boldsymbol{X}=\boldsymbol{\Psi} \boldsymbol{Y} X=ΨY
因为是规范正交基所以实现变换系数也就是压缩信号： Y = Ψ T X \boldsymbol{Y} = \boldsymbol{\Psi}^T \boldsymbol{X} Y=ΨTX，其中 Y \boldsymbol{Y} Y 是 X \boldsymbol{X} X 的等价或逼近的稀疏表示。变换基 Ψ \boldsymbol{\Psi} Ψ的选择可以为某
种已被广泛应用的基，如小波基、傅里叶基、局部傅里叶基等。另外，可以使用紧框架（原子字典）来对信号进行稀疏表示，如曲线波和轮廓波，这两类变换基具有更好的方向性，并且各向异性，少量系数即可有效地捕捉图像的边缘轮廓，在边缘表示方面优于小波。

2.1.2 投影测量（测量过程）

观测矩阵 Φ ∈ R M × N \boldsymbol{\Phi} \in \mathbb{R}^{M\times N} Φ∈RM×N，观测矩阵也叫测量矩阵，感知矩阵，实现的功能是对信号进行降维和压缩
A = Φ X \boldsymbol{A} = \boldsymbol{\Phi}\boldsymbol{X} A=ΦX
同时也是对在 Ψ \boldsymbol{\Psi} Ψ域上的稀疏投影 Y \boldsymbol{Y} Y进行投影测量
A = Φ Ψ Y \boldsymbol{A} = \boldsymbol{\Phi}\boldsymbol{\Psi} \boldsymbol{Y} A=ΦΨY
矩阵 Φ \boldsymbol{\Phi} Φ需要满足的性质（需要保证稀疏向量 Y \boldsymbol{Y} Y 从 N N N维降到 K K K 维时重要信息不被破坏。）

变换基 Ψ \boldsymbol{\Psi} Ψ不相关（会在之后的blog中有叙述）

有限等距性（Restricted Isometry Property，RIP）（会在之后的blog中有叙述）

2.1.3 整个压缩过程总结

整个压缩过程也可以被称为感知过程
A = Φ X = Φ Ψ Y = Θ Y \boldsymbol{A} =\boldsymbol{\Phi}\boldsymbol{X} = \boldsymbol{\Phi}\boldsymbol{\Psi} \boldsymbol{Y} = \boldsymbol{\Theta}\boldsymbol{Y} A=ΦX=ΦΨY=ΘY

Θ \boldsymbol{\Theta} Θ即为感知过程的核心命名为感知矩阵

符号	含义	维度	属性
X \boldsymbol{X} X	输入信号；待压缩信号	R N × 1 \mathbb{R}^{N\times1} RN×1	未知，需要恢复
Φ \boldsymbol{\Phi} Φ	观测矩阵；测量矩阵	R M × N \mathbb{R}^{M \times N} RM×N	已知（非自适应性）
Ψ \boldsymbol{\Psi} Ψ	变换矩阵；变换基矩阵；稀疏基矩阵；稀疏矩阵；正交基字典矩阵	R N × N \mathbb{R}^{N\times N} RN×N	已知（非自适应性）
Y \boldsymbol{Y} Y	正交基变换后的稀疏表示	R N × 1 \mathbb{R}^{N\times1} RN×1	未知，需要恢复
Θ \boldsymbol{\Theta} Θ	感知矩阵	R M × N \mathbb{R}^{M\times N} RM×N	已知（非自适应性）
A \boldsymbol{A} A	观测压缩所得到压缩信号	R M × 1 \mathbb{R}^{M\times1} RM×1	已知

2.2 恢复过程：重构算法的数学表示

在得到已经压缩完的采样信号 A \boldsymbol{A} A后，根据确定的固定性观测矩阵 Φ \boldsymbol{\Phi} Φ和稀疏矩阵 Ψ \boldsymbol{\Psi} Ψ的先验信息进行恢复，数学表达如下
X ˇ = f ( A , Θ ) \boldsymbol{\check{X}}=f(\boldsymbol{A},\boldsymbol{\Theta}) Xˇ=f(A,Θ)
若 N = M N=M N=M，正定方程有唯一解

而 M < < N M<<N M<<N，欠定方程

一般可以抽象为如下求解任务
min ⁡ ∥ Ψ T X ∥ 0 s . t . Θ X = Φ Ψ X = A \min \left\| \boldsymbol{\Psi}^{T} \boldsymbol{X}\right\|_{0} \\s.t. \boldsymbol{\Theta} \boldsymbol{X}=\boldsymbol{\Phi}\boldsymbol{\Psi}\boldsymbol{X}= \boldsymbol{A} min∥∥∥ΨTX∥∥∥0s.t.ΘX=ΦΨX=A

注意

若 N = M N=M N=M，则可轻松由 A \boldsymbol{A} A解出 X \boldsymbol{X} X和 Y \boldsymbol{Y} Y

而 M < < N M<<N M<<N，可根据稀疏表示下的信号 Y \boldsymbol{Y} Y和矩阵所具有的RIP特性重构

LAST、参考文献

形象易懂讲解算法II——压缩感知 - 知乎

【压缩感知合集5】压缩感知简介和数学模型分析相关推荐

【压缩感知合集6】压缩感知为什么可以恢复信号；为什么需要满足稀疏性条件、RIP条件、矩阵不相关等限制条件才可以恢复信号的逻辑分析
0 压缩感知的理论依据前言主要想讲清楚的问题是: 为什么压缩感知在随机采样的情况下可以对信号进行恢复? 其实这个问题也可以换一个方式理解: 在满足什么条件的情况下,信号可以通过压缩感知进行压缩并恢复 ...
【压缩感知合集7】压缩感知RIP有限等距性：定义解析，理解说明，数学原理推导
0 前情提要 0.1 数学模型和总体框图如下给定输入信号X∈RN×1\boldsymbol{X} \in \mathbb{R}^{N\times1}X∈RN×1,最终想要得到压缩信号A∈RM×1\b ...
【压缩感知合集3】压缩感知的背景与意义
[压缩感知合集1](背景知识)香农奈奎斯特采样定理的数学推导和图解分析 [压缩感知合集2](背景知识)信号稀疏表示的数学推导和解释理解 [压缩感知合集3]压缩感知的背景与意义 [压缩感知合集4](背景 ...
【压缩感知合集1】（背景知识）香农奈奎斯特采样定理的数学推导和图解分析
[压缩感知合集1](背景知识)香农奈奎斯特采样定理的数学推导和图解分析 [压缩感知合集2](背景知识)信号稀疏表示的数学推导和解释理解 [压缩感知合集3]压缩感知的背景与意义 [压缩感知合集4](背景 ...
【压缩感知合集8】MP算法（算法实现、收敛讨论以及问题分析）
0 前情提要 0.1 数学模型和总体框图如下给定输入信号X∈RN×1\boldsymbol{X} \in \mathbb{R}^{N\times1}X∈RN×1,最终想要得到压缩信号A∈RM×1\b ...
linux 常用解压、压缩命令合集——筑梦之路
1. tar文件解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包,不是压缩!)2. gz文件解压1:gunzip Fi ...
shell遍历根目录_大厂运维高手如何打造核心竞争力？这些Shell命令合集得知道！...
作者简介:牧客,前阿里巴巴运维专家.本文选自:拉勾教育专栏<运维高手的36项修炼> 你好,我是牧客.我在运维领域深耕10余年,现在是一家知名互联网公司架构师.我曾就职于大型互联网公司阿里巴 ...
最全Java项目合集（附源码课件），可完美运行
当今时代是飞速发展的信息时代.在各行各业中离不开信息处理,而有信息处理就离不开信息管理系统,这使得信息管理系统被广泛应用于各领域其中系统设计是一个把软件需求转换成用软件系统表示的过程.通过对目标系统 ...
JAVA毕设合集【20套系统项目】
对于即将毕业的大学生来说,完成毕业设计是最后一关,该如何完成呢? 今天呢,给大家分享一个毕设系统项目合集共有20套简介目录: 1.新冠疫情统计系统 2.进销存管理系统 3.家教系统 4.饮食分享平 ...

【压缩感知合集5】压缩感知简介和数学模型分析