Bernoulli-Gaussian分布

本文主要内容来自：S.Som and L.C.Potter, Sparsity Pattern Recovery in Bernoulli-Gaussian Signal Model.

对于稀疏信号x∈RN{\bf x}\in {\mathbb R}^Nx∈RN，我们考虑概率信号模型。假定集合S\mathcal SS的元素是从集合I={1,2,…,N}{\mathcal I}=\{1,2,\ldots,N\}I={1,2,…,N}中抽取出来的，其抽取方式是，集合I\mathcal II中每个元素i.i.d.地被包含于S\mathcal SS中（概率为p≪1p\ll1p≪1）。因此，支持集SSS的基数等于KKK的概率由下式给出
P[∣S∣=K]=(NK)pK(1−p)N−K.{\mathbb P}[|{\mathcal S}|=K]=\binom {N} {K}p^K(1-p)^{N-K}.P[∣S∣=K]=(KN)pK(1−p)N−K.为了强化稀疏性，我们也假定p<12p<\frac{1}{2}p<21。如果x\bf xx中某个元素的序号不在集合S\mathcal SS中，则该元素为零；否则，该元素为高斯分布，均值为μ1\mu_1μ1，方差为σ12\sigma_1^2σ12，即：
xi={0,i∉S∼N(μ1,σ12),i∈S∀i=1,2,...N.x_i={\Large\{}\begin{aligned} 0,&\ i \in \not{\mathcal S}\\ \sim{\mathcal N}(\mu_1,\sigma_1^2),&i\in {\mathcal S} \end{aligned}\quad \forall i=1,2,...N. xi={0,∼N(μ1,σ12), i∉Si∈S∀i=1,2,...N.如果用xS{\bf x}_{\mathcal S}xS表示所有序号在S\mathcal SS中的元素所构成的集合，则xS{\bf x}_{\mathcal S}xS满足分布：xS∼N(μ11∣S∣,σ12I∣S∣){\bf x}_{\mathcal S}\sim {\mathcal N}(\mu_1{\bf 1}_{|{\mathcal S}|},\sigma_1^2{\bf I}_{|{\mathcal S}|})xS∼N(μ11∣S∣,σ12I∣S∣)。因此，S\mathcal SS为信号向量x\bf xx的支持集，期望基数为E[∣S∣]=Np≪N{\mathbb E}[|{\mathcal S}|]=N_p\ll NE[∣S∣]=Np≪N，并且x\bf xx为稀疏的概率很大。这种Bernoulli-Gaussian模型在文献中非常常见[17-19]，用来在不同应用领域中建模稀疏向量，而在压缩领域研究中，也越来越常用[10,20,21]。

[17] W. Cui and E. George, “Empirical Bayes vs. fully Bayes variable selection,” Journal of Statistical Planning and Inference, vol. 138, pp. 888–900, 2008.
[18] E. George and D. Foster, “Calibration and empirical Bayes variable selection,” Biometrika, vol. 88, pp. 731–747, 2000.
[19] I. M. Johnstone and B. W. Silverman, “Needles and straw in haystacks: Empirical Bayes estimates of possibly sparse sequences,” The Annals of Statistics, vol. 32, pp. 1594–1649, Aug. 2004.
[10] D. Guo, D. Baron, and S. Shamai, “A single-letter characterization of optimal noisy compressed sensing,” in Proc. 47th Allerton Conference on Communication, Control, and Computing, (Monticello, IL), September 2009.
[20] P. Schniter, L. C. Potter, and J. Ziniel, “Fast Bayesian matching pursuit: Model uncertainty and parameter estimation for sparse linear models,” Preprint, Aug. 2008.
[21] D. Baron, S. Sarvotham, and R. G. Baraniuk, “Bayesian compressive sensing via belief propagation,” To appear in IEEE Trans. Signal Processing, 2009.

Bernoulli-Gaussian分布相关推荐

机器学习中的数学——常用概率分布（五）：高斯分布（Gaussian分布）/正态分布（Normal分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
UQLab——其他概率分布随机变量转换标准Gaussian分布
1.使用UQLab将其他类型的随机变量转换成标准Gaussian分布: 2.使用科学计数法输出样本,方便后续ANSYS的调用分析: 3.基于MC的可靠度分析. 原随机变量分布类型: % 调用UQLab ...
理解：L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布——复习篇
L1.L2正则化来源推导 L1L2的推导可以从两个角度: 带约束条件的优化求解(拉格朗日乘子法) 贝叶斯学派的:最大后验概率 1.1 基于约束条件的最优化对于模型权重系数w的求解释通过最小化目标函数 ...
理解：L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布
L1.L2正则化来源推导 L1L2的推导可以从两个角度: 带约束条件的优化求解(拉格朗日乘子法) 贝叶斯学派的:最大后验概率 1.1 基于约束条件的最优化对于模型权重系数w的求解释通过最小化目标函数 ...
机器学习中的数学——常用概率分布（一）：伯努利分布（Bernoulli分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
一文了解什么是指数族分布
前言指数分布族是一系列分布的统称,包含连续和离散的相关分布.例如,正态分布(Gaussian).泊松分布(Poisson).二项分布(Bernoulli).指数分布(exponential).Gam ...
机器学习中的数学——常用概率分布（十一）：狄利克雷分布（Dirichlet分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（九）：经验分布（Empirical分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（四）：均匀分布（Uniform分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（二）：范畴分布（Multinoulli分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...

Bernoulli-Gaussian分布

Bernoulli-Gaussian分布相关推荐

最新文章

热门文章