UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布

UA MATH567 高维统计I 概率不等式7 亚指数分布与亚指数范数

第三讲到第六讲讨论了亚高斯分布，这类分布的尾部概率满足
P(∣X∣≥t)≲e−t2/2P(|X| \ge t) \lesssim e^{-t^2/2}P(∣X∣≥t)≲e−t2/2

随着ttt增长，尾部概率下降的速率是非常大的，另一个与之类似的分布族是亚指数分布，这类分布的尾部概率满足
P(∣X∣≥t)≲e−tP(|X| \ge t) \lesssim e^{-t}P(∣X∣≥t)≲e−t

这个尾部概率下降的概率比亚高斯分布尾部概率下降得更慢，所以亚指数分布族包含的分布比亚高斯分布族包含的分布更多。这一讲我们讨论亚指数性。

亚指数性 (sub-exponential property)

尾部概率条件：P(∣X∣≥t)≤2exp⁡(−t/K1),∀t≥0P(|X|\ge t) \le 2\exp(-t/K_1),\forall t\ge 0P(∣X∣≥t)≤2exp(−t/K1),∀t≥0
矩条件: ∥X∥Lp≤K2p,∀p≥1\left\| X \right\|_{L^p} \le K_2p,\forall p \ge 1∥X∥Lp≤K2p,∀p≥1
矩母函数条件: Eeλ∣X∣≤exp⁡(K3λ),∀0<λ≤1/K3Ee^{\lambda |X|} \le \exp(K_3\lambda),\forall 0<\lambda \le 1/K_3Eeλ∣X∣≤exp(K3λ),∀0<λ≤1/K3
矩母函数上界: Ee∣X∣/K4≤2Ee^{|X|/K_4} \le 2Ee∣X∣/K4≤2
矩母函数又一个条件: EeλX≤exp⁡(K52λ2),∀λ,∣λ∣≤1/K5,EX=0Ee^{\lambda X} \le \exp(K_5^2 \lambda^2),\forall \lambda, |\lambda| \le 1/K_5, EX=0EeλX≤exp(K52λ2),∀λ,∣λ∣≤1/K5,EX=0

称满足这五条性质的分布叫亚指数分布(sub-exponential distribution)与亚高斯性类似，前四个性质等价性的证明与亚高斯分布类似（1推2，2推3，3推4，4推1），这里介绍一下第五条性质与其他性质的等价性（亚高斯性是3推5，5推1；亚指数性我们用5推2，2推5）。

2推5
假设性质2成立，取K2=1K_2=1K2=1，考虑EeλXEe^{\lambda X}EeλX，假设EX=0EX=0EX=0，做Taylor展开，
EeλX=E[1+λX+∑p=2∞(λX)pp!]=1+∑p=2∞λpE[Xp]p!Ee^{\lambda X} = E \left[ 1+\lambda X + \sum_{p=2}^{\infty} \frac{(\lambda X)^p}{p!} \right]=1+\sum_{p=2}^{\infty} \frac{\lambda^pE[X^p]}{p!}EeλX=E[1+λX+p=2∑∞p!(λX)p]=1+p=2∑∞p!λpE[Xp]

性质2说明
E[Xp]≤pp,∀p≥1E[X^p] \le p^p,\forall p \ge 1E[Xp]≤pp,∀p≥1

根据Stirling公式，
p!≥(p/e)pp! \ge (p/e)^pp!≥(p/e)p

于是，当∣eλ∣<1|e\lambda|<1∣eλ∣<1时
EeλX≤1+∑p=2∞λppp(p/e)p=1+∑p=2∞(eλ)p=1+(eλ)21−eλEe^{\lambda X} \le 1+\sum_{p=2}^{\infty} \frac{\lambda^pp^p}{(p/e)^p}=1+\sum_{p=2}^{\infty}(e\lambda)^p=1+\frac{(e\lambda)^2}{1-e\lambda}EeλX≤1+p=2∑∞(p/e)pλppp=1+p=2∑∞(eλ)p=1+1−eλ(eλ)2

当∣eλ∣<1/2|e\lambda|<1/2∣eλ∣<1/2时，
1+(eλ)21−eλ≤1+2(eλ)2≤e2e2λ21+\frac{(e\lambda)^2}{1-e\lambda} \le 1+2(e\lambda)^2 \le e^{2e^2\lambda^2}1+1−eλ(eλ)2≤1+2(eλ)2≤e2e2λ2

于是

EeλX≤e2e2λ2,∀∣λ∣<1/2eEe^{\lambda X} \le e^{2e^2\lambda^2},\forall |\lambda|<1/2eEeλX≤e2e2λ2,∀∣λ∣<1/2e

5推2 假设性质5成立，取K5=1K_5=1K5=1，根据不等式
∣x∣p≤pp(ex+e−x),∀x∈R,p>0|x|^p \le p^p(e^x+e^{-x}),\forall x \in \mathbb{R},p >0∣x∣p≤pp(ex+e−x),∀x∈R,p>0

我们可以得到期望的估计：
E∣X∣p≤pp(EeX+Ee−X)E|X|^p \le p^p(Ee^X+Ee^{-X})E∣X∣p≤pp(EeX+Ee−X)

性质5说明
EeX≤e,Ee−X≤eEe^X \le e,Ee^{-X} \le eEeX≤e,Ee−X≤e

所以
E∣X∣p≤2eppE|X|^p \le 2ep^pE∣X∣p≤2epp

这就验证了K2=2eK_2=2eK2=2e时性质2成立。

例亚指数分布的应用
在判别分析、特征选择等统计学习模型中，我们总是需要对特征X=(X1,⋯,Xp)TX=(X_1,\cdots,X_p)^TX=(X1,⋯,Xp)T的协方差矩阵Σ\SigmaΣ进行估计，记估计量为Σ^\hat \SigmaΣ^，目标是这个估计量与真实的协方差不要差别太大，也就是二者之差的某个范数∥Σ^−Σ∥\left\| \hat \Sigma - \Sigma \right\|∥∥∥Σ^−Σ∥∥∥需要足够小。

但Σ^\hat \SigmaΣ^并不是一个确定的值，它是一个随机变量，所以一种保证∥Σ^−Σ∥\left\| \hat \Sigma - \Sigma \right\|∥∥∥Σ^−Σ∥∥∥足够小的充分条件是Σ^\hat \SigmaΣ^的每一个元素σ^ij\hat \sigma_{ij}σ^ij的分布都尽量集中在对应的真实值σij\sigma_{ij}σij附近，也就是
P(∣σ^ij−σij∣)P(|\hat \sigma_{ij}-\sigma_{ij}|)P(∣σ^ij−σij∣)

这个概率要足够的小。

一种非常常用的协方差的估计是
σ^ij=XiTXjn\hat \sigma_{ij} = \frac{X_i^TX_j}{n}σ^ij=nXiTXj

这里nnn表示样本量，如果XXX是高斯的，则我们下一讲会证明，XiTXjX_i^TX_jXiTXj是亚指数分布，于是我们可以用亚指数性来研究概率P(∣σ^ij−σij∣)P(|\hat \sigma_{ij}-\sigma_{ij}|)P(∣σ^ij−σij∣)的大小。

UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布相关推荐

UA MATH567 高维统计I 概率不等式12 McDiarmid不等式
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式这一讲我们介绍基于Lipschitz性导出概率不等式的思路,这个思路在下一讲正式进入随机向量之后应用非常广泛.但这一讲我们先 ...
UA MATH567 高维统计I 概率不等式11 Azuma不等式
UA MATH567 高维统计I 概率不等式11 Azuma不等式前十一讲介绍的不等式的理论基础都是Markov不等式,根据Markov不等式我们导出了Chebyshev不等式.Hoeffding不 ...
UA MATH567 高维统计I 概率不等式8 亚指数范数
UA MATH567 高维统计I 概率不等式8 亚指数范数类似亚高斯范数,我们也可以定义随机变量的亚指数范数(sub-exponential norm): ∥X∥ψ1=inf⁡{t>0:Ee∣ ...
UA MATH567 高维统计I 概率不等式10 Bernstein不等式
UA MATH567 高维统计I 概率不等式10 Bernstein不等式我们在介绍亚高斯分布后介绍了适用于亚高斯分布的推广的Hoeffding不等式,对于亚指数分布,我们可以得到类似的不等式.因为 ...
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广:Orlicz空间这一讲讨论亚高斯范数与亚指数范数的推广,用一个更广义的框架理解这两种范数,它们其实是Orlicz空间中的随机变量的Or ...
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式我们在第一讲时讨论了Hoeffding不等式,但那个版本时针对有界的随机变量的,我们希望通过亚高斯性推广Hoeffding ...
UA MATH567 高维统计I 概率不等式4 亚高斯分布
UA MATH567 高维统计I 概率不等式4 亚高斯分布上一讲我们介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于ttt的递减阶数都是e−ct2e^{-c ...
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数亚高斯性亚高斯范数概率不等式1中介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于tt ...
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式 Hoeffding不等式 Chernoff不等式 MATH 564系列我们已经介绍了几个基本的概率不等 ...

UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布

UA MATH567 高维统计I 概率不等式7 亚指数分布与亚指数范数

UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布相关推荐

最新文章

热门文章