UA MATH567 高维统计I 概率不等式8 亚指数范数

类似亚高斯范数，我们也可以定义随机变量的亚指数范数（sub-exponential norm）：
∥X∥ψ1=inf⁡{t>0:Ee∣X∣/t≤2}\left\|X \right\|_{\psi_1} = \inf\{t>0:Ee^{|X|/t} \le 2\}∥X∥ψ1=inf{t>0:Ee∣X∣/t≤2}

关于这个定义符合范数的条件的证明读者可以自行完成，可以参考亚高斯范数的证明以及更一般的，Orlicz范数的证明。

亚指数范数与亚高斯范数的关系

XXX是亚高斯随机变量等价于X2X^2X2是亚指数随机变量，并且∥X2∥ψ1=∥X∥ψ22\left\|X^2 \right\|_{\psi_1}=\left\|X \right\|_{\psi_2}^2∥∥X2∥∥ψ1=∥X∥ψ22
X,YX,YX,Y是亚高斯随机变量，则XYXYXY是亚指数随机变量，并且∥XY∥ψ1≤∥X∥ψ2∥Y∥ψ2\left\|XY \right\|_{\psi_1} \le \left\|X \right\|_{\psi_2}\left\|Y \right\|_{\psi_2}∥XY∥ψ1≤∥X∥ψ2∥Y∥ψ2

证明
第一个结论。我们直接写出定义，
∥X2∥ψ1=inf⁡{t:EeX2/t≤2}∥X∥ψ22=[inf⁡{t:EeX2/t2≤2}]2=inf⁡{t2:EeX2/t2≤2}\left\|X^2 \right\|_{\psi_1}=\inf\{t:Ee^{X^2/t} \le 2\} \\ \left\|X \right\|_{\psi_2}^2 = \left[ \inf\{t:Ee^{X^2/t^2} \le 2\} \right]^2=\inf\{t^2:Ee^{X^2/t^2} \le 2\}∥∥X2∥∥ψ1=inf{t:EeX2/t≤2}∥X∥ψ22=[inf{t:EeX2/t2≤2}]2=inf{t2:EeX2/t2≤2}

所以
∥X2∥ψ1=∥X∥ψ22\left\|X^2 \right\|_{\psi_1}=\left\|X \right\|_{\psi_2}^2∥∥X2∥∥ψ1=∥X∥ψ22

第二个结论。不妨假设∥X∥ψ2=∥Y∥ψ2=1\left\|X \right\|_{\psi_2}=\left\|Y \right\|_{\psi_2}=1∥X∥ψ2=∥Y∥ψ2=1，因为X,YX,YX,Y是亚高斯分布，根据亚高斯性4，K4=1K_4=1K4=1，则
EeX2≤2,EeY2≤2Ee^{X^2} \le 2, \ Ee^{Y^2} \le 2EeX2≤2, EeY2≤2

连用两次Young不等式，
Ee∣XY∣≤EeX22+Y22=EeX22eY22≤12E[eX2+eY2]≤2Ee^{|XY|} \le Ee^{\frac{X^2}{2}+\frac{Y^2}{2}}=Ee^{\frac{X^2}{2}}e^{\frac{Y^2}{2}} \le \frac{1}{2}E[e^{X^2}+e^{Y^2}] \le 2Ee∣XY∣≤Ee2X2+2Y2=Ee2X2e2Y2≤21E[eX2+eY2]≤2

所以XYXYXY服从亚指数分布。

例指数分布是亚指数分布
假设X∼EXP(λ)X \sim EXP(\lambda)X∼EXP(λ)，则
P(X≥t)=e−λt,∀t≥0P(X \ge t)=e^{-\lambda t},\forall t \ge 0P(X≥t)=e−λt,∀t≥0

显然这个服从亚指数分布尾部概率的性质。我们计算
Ee∣X∣/t=∫0∞extλe−λxdx=∫0∞λe(1t−λ)xdx=−λ1t−λEe^{|X|/t}=\int_0^{\infty}e^{\frac{x}{t}}\lambda e^{-\lambda x}dx=\int_0^{\infty}\lambda e^{(\frac{1}{t}-\lambda)x}dx =- \frac{\lambda}{ \frac{1}{t}-\lambda}Ee∣X∣/t=∫0∞etxλe−λxdx=∫0∞λe(t1−λ)xdx=−t1−λλ

当λ>1/t\lambda>1/tλ>1/t时收敛。考虑
−λ1t−λ≤2⇒t≥2λ-\frac{\lambda}{ \frac{1}{t}-\lambda} \le 2 \Rightarrow t \ge \frac{2}{\lambda}−t1−λλ≤2⇒t≥λ2

于是
∥X∥ψ1=2λ\left\|X \right\|_{\psi_1} = \frac{2}{\lambda}∥X∥ψ1=λ2

UA MATH567 高维统计I 概率不等式8 亚指数范数相关推荐

UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布
UA MATH567 高维统计I 概率不等式7 亚指数分布与亚指数范数第三讲到第六讲讨论了亚高斯分布,这类分布的尾部概率满足 P(∣X∣≥t)≲e−t2/2P(|X| \ge t) \lesssim ...
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广:Orlicz空间这一讲讨论亚高斯范数与亚指数范数的推广,用一个更广义的框架理解这两种范数,它们其实是Orlicz空间中的随机变量的Or ...
UA MATH567 高维统计I 概率不等式4 亚高斯分布
UA MATH567 高维统计I 概率不等式4 亚高斯分布上一讲我们介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于ttt的递减阶数都是e−ct2e^{-c ...
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数亚高斯性亚高斯范数概率不等式1中介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于tt ...
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式这一讲我们介绍基于Lipschitz性导出概率不等式的思路,这个思路在下一讲正式进入随机向量之后应用非常广泛.但这一讲我们先 ...
UA MATH567 高维统计I 概率不等式11 Azuma不等式
UA MATH567 高维统计I 概率不等式11 Azuma不等式前十一讲介绍的不等式的理论基础都是Markov不等式,根据Markov不等式我们导出了Chebyshev不等式.Hoeffding不 ...
UA MATH567 高维统计I 概率不等式10 Bernstein不等式
UA MATH567 高维统计I 概率不等式10 Bernstein不等式我们在介绍亚高斯分布后介绍了适用于亚高斯分布的推广的Hoeffding不等式,对于亚指数分布,我们可以得到类似的不等式.因为 ...
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式我们在第一讲时讨论了Hoeffding不等式,但那个版本时针对有界的随机变量的,我们希望通过亚高斯性推广Hoeffding ...
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式 Hoeffding不等式 Chernoff不等式 MATH 564系列我们已经介绍了几个基本的概率不等 ...

UA MATH567 高维统计I 概率不等式8 亚指数范数

UA MATH567 高维统计I 概率不等式8 亚指数范数

UA MATH567 高维统计I 概率不等式8 亚指数范数相关推荐

最新文章

热门文章