稀疏贝叶斯学习(SparseBayesianLearning)

稀疏贝叶斯学习(Sparse Bayesian Learning)

张智林(Zhilin?Zhang)?

z4zhang@

Department of Electrical and Computer Engineering, University of California, San Diego,

La Jolla, CA 92093-0407, USA

1 引言

稀疏贝叶斯学习(Sparse Bayesian Learning, SBL)最初作为一种机器学习算法由 Tipping 于 2001 年

前后提出[Tipping2001]，随后被引入到稀疏信号恢复/压缩感知领域[Wipf2004,Ji2008]。Wipf 和 Rao 等人

对 SBL 进行了深入的理论研究。与广泛使用的基于 L1 惩罚项的算法(比如 Lasso，Basis Pursuit)相比

(以下简称 L1 算法)，SBL 具有一系列显著的优势：(１)在无噪情况下，除非满足一些严格的条件

[Donoho2003]，L1 算法的全局最小点(global minimum)并不是真正的最稀疏的解［Wipf2004]。因此，

在一些应用中，当真实的解是最稀疏的解，采用 SBL 是更好的选择。(２)当感知矩阵(sensing matrix)

的列与列相关性很强时，L1 算法的性能会变得非常差。事实上不光是 L1 算法，绝大多数已知的压缩感

知算法(比如 Approximate Message Passing 算法，Matching Pursuit 算法)在这种情况下性能都会变得很

差。相比之下，SBL 算法仍旧具有良好的性能［Wipf_NIPS2011]。因此，在雷达追踪，波达方向估计，

脑源定位，特征提取，功率谱估计等一些列领域，SBL 都具备显著的优势。(３)业已证明，SBL 算法

等价于一种迭代加权 L1 最小化算法(iterative reweighted L1 minimization)，而 L1 算法仅仅只是其第一

步[Wipf2010]。Candes 等人指出，迭代加权 L1 最小化算法更易获得真正的最稀疏解[Candes2008]。从这

个角度也就不难理解 SBL 的优越性。(４)在很多实际问题中，所期望的稀疏解常常有一些结构，而利

用这些结构可以获得更好的性能[ModelCS]。作为一种贝叶斯算法，SBL 算法对利用这些解的结构信息

提供了更多的灵活性。这种灵活性最主要来自于SBL采用参数化的高斯分布为解的先验分布。最近Zhang

和 Rao 提出了块稀疏贝叶斯学习框架 (Block Sparse Bayesian Learning, BSBL)[Zhang_IEEE2011,

Zhang_TSP2012]。该框架提供了一种利用解的空间结构(spatial structure)和时序结构(temporal structure)

的解决方案。由其框架得到的算法在多任务学习(multi-task learning)[Wan2012]，生理信号的无线传输

和远程监控[Zhang_TBME2012a, Zhang_TBME2012b]，脑源定位和脑－机接口[Zhang_PIEEE2012]等许多

领域获得了极大的成功。

下面将首先介绍基本的 SBL 框架，然后对 BSBL 框架及其算法进行详细介绍，并在最后给出一些

代表性的实验结果。

2 稀疏贝叶斯学习

压缩感知的基本模型可描述为:

vAxy += (1)

其中 为N×M的感知矩阵， 为N×1维压缩信号， 为M维待求的解向量， 为未知的噪声向量。为求

解 ，SBL假设 中的每个元素都服从一个参数化的均值为０方差为

A y x v

x x iγ 的高斯分布[Wipf2004]：

MiNxp iii ,,1),,0();( == γγ (2)

1

其中 表示 中的第i个元素，ix x iγ 是未知的参数，将会由算法自动估计出来。这样一种先验分布常被称

为automatic relevance 先验分布，最初出现于人工神经网络领域[ARD1996]。在算法运行中，绝大部分的

iγ 将会变成０(无噪情况下)或者趋于０(有噪情况下)。SBL通常会采用一个阈值将趋近于０的 iγ 置

为０(该阈值的大小通常和信噪比有关)。当 0=iγ 时，相应的 则为０。因此，ix iγ 与解的稀疏程度密

切相关，也从而决定了 iγ 的学习规则是SBL算法中最核心的部分。在SBL框架中，噪声 通常假设为高

斯白噪声向量，即

v

),,0();