UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式

UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式

我们在第一讲时讨论了Hoeffding不等式，但那个版本时针对有界的随机变量的，我们希望通过亚高斯性推广Hoeffding不等式。

结论独立亚高斯分布的和的亚高斯范数：假设{Xi}i=1N\{X_i\}_{i=1}^N{Xi}i=1N是一列零均值独立亚高斯随机变量，则∑i=1NXi\sum_{i=1}^N X_i∑i=1NXi也是亚高斯随机变量，并且存在与NNN无关的常数CCC使得
∥∑i=1NXi∥ψ22≤C∑i=1N∥Xi∥ψ22\left\| \sum_{i=1}^N X_i \right\|_{\psi_2}^2\le C \sum_{i=1}^N \left\| X_i \right\|_{\psi_2}^2∥∥∥∥∥i=1∑NXi∥∥∥∥∥ψ22≤Ci=1∑N∥Xi∥ψ22

证明要说明一个随机变量是亚高斯的，只需要验证它满足亚高斯性即可，计算
Eeλ∑i=1NXi=∏i=1NEeλXiEe^{\lambda \sum_{i=1}^NX_i}=\prod_{i=1}^N Ee^{\lambda X_i}Eeλ∑i=1NXi=i=1∏NEeλXi

因为XiX_iXi是亚高斯的，于是
EeλXi≤e(c1∥Xi∥ψ2)2λ2Ee^{\lambda X_i} \le e^{(c_1\left\| X_i \right\|_{\psi_2})^2\lambda^2}EeλXi≤e(c1∥Xi∥ψ2)2λ2

其中K5=c1K4=c1∥Xi∥ψ2K_5=c_1K_4 = c_1\left\| X_i \right\|_{\psi_2}K5=c1K4=c1∥Xi∥ψ2，因此
Eeλ∑i=1NXi≤ec12λ2∑i=1N∥Xi∥ψ22Ee^{\lambda \sum_{i=1}^NX_i} \le e^{c_1^2\lambda^2\sum_{i=1}^N\left\| X_i \right\|_{\psi_2}^2}Eeλ∑i=1NXi≤ec12λ2∑i=1N∥Xi∥ψ22

其中c12∑i=1N∥Xi∥ψ22c_1^2\sum_{i=1}^N\left\| X_i \right\|_{\psi_2}^2c12∑i=1N∥Xi∥ψ22是一个常数，因此∑i=1NXi\sum_{i=1}^NX_i∑i=1NXi也是亚高斯的，并且对于∑i=1NXi\sum_{i=1}^NX_i∑i=1NXi而言这个就是K5K_5K5，于是存在常数c2c_2c2使得
∥∑i=1NXi∥ψ2≤c2c1∑i=1N∥Xi∥ψ22\left\| \sum_{i=1}^NX_i\right\|_{\psi_2} \le c_2c_1 \sqrt{\sum_{i=1}^N\left\| X_i \right\|_{\psi_2}^2}∥∥∥∥∥i=1∑NXi∥∥∥∥∥ψ2≤c2c1i=1∑N∥Xi∥ψ22

这个∥∑i=1NXi∥ψ2\left\| \sum_{i=1}^NX_i\right\|_{\psi_2}∥∥∥∑i=1NXi∥∥∥ψ2就是∑i=1NXi\sum_{i=1}^NX_i∑i=1NXi的K4K_4K4，根据这个结果以及均值不等式，当然存在常数CCC，使得
∥∑i=1NXi∥ψ2≤C∑i=1N∥Xi∥ψ2\left\| \sum_{i=1}^NX_i\right\|_{\psi_2} \le C\sum_{i=1}^N\left\| X_i \right\|_{\psi_2}∥∥∥∥∥i=1∑NXi∥∥∥∥∥ψ2≤Ci=1∑N∥Xi∥ψ2

证毕

评注1 统计学理论经常需要比较两个量的阶，所以下面这些符号会经常用到：对于两个正实序列{an},{bn}\{a_n\},\{b_n\}{an},{bn}

an∼bna_n \sim b_nan∼bn: lim⁡n(an/bn)=1\lim_n (a_n/b_n)=1limn(an/bn)=1
an≲bna_n \lesssim b_nan≲bn: 0<lim⁡n(an/bn)<10<\lim_n (a_n/b_n)<10<limn(an/bn)<1
an≳bna_n \gtrsim b_nan≳bn: lim⁡n(an/bn)>1\lim_n (a_n/b_n)>1limn(an/bn)>1
an≍bna_n \asymp b_nan≍bn: 0<lim inf⁡(an/bn)≤lim sup⁡(an/bn)<∞0<\liminf (a_n/b_n)\le \limsup(a_n/b_n)<\infty0<liminf(an/bn)≤limsup(an/bn)<∞
an≺bna_n \prec b_nan≺bn: lim⁡n(an/bn)=0\lim_n(a_n/b_n)=0limn(an/bn)=0

General Hoeffding’s inequality 假设{Xi}i=1N\{X_i\}_{i=1}^N{Xi}i=1N是一列零均值独立亚高斯随机变量，存在一个常数ccc使得，
P(∣∑i=1NXi∣≥t)≤2exp⁡(−ct2∑i=1N∥Xi∥ψ22)P\left( \left| \sum_{i=1}^NX_i \right| \ge t\right) \le 2 \exp \left( -\frac{ct^2}{\sum_{i=1}^N \left\| X_i\right\|_{\psi_2}^2} \right)P(∣∣∣∣∣i=1∑NXi∣∣∣∣∣≥t)≤2exp(−∑i=1N∥Xi∥ψ22ct2)

如果aaa是一个常向量，则
P(∣∑i=1NaiXi∣≥t)≤2exp⁡(−ct2∑i=1Nai2∥Xi∥ψ22)≤2exp⁡(−ct2∥a∥2K2)P\left( \left| \sum_{i=1}^Na_iX_i \right| \ge t\right) \le 2 \exp \left( -\frac{ct^2}{\sum_{i=1}^N a_i^2\left\| X_i\right\|_{\psi_2}^2} \right) \\ \le 2 \exp \left( -\frac{ct^2}{\left\| a \right\|_2K^2} \right)P(∣∣∣∣∣i=1∑NaiXi∣∣∣∣∣≥t)≤2exp(−∑i=1Nai2∥Xi∥ψ22ct2)≤2exp(−∥a∥2K2ct2)

其中K=max⁡∥Xi∥ψ2K=\max \left\| X_i \right\|_{\psi_2}K=max∥Xi∥ψ2。

Khintchine不等式 假设{Xi}i=1N\{X_i\}_{i=1}^N{Xi}i=1N是一列零均值独立亚高斯随机变量，aaa是一个常向量，∀p≥2\forall p\ge 2∀p≥2，K=max⁡1≤i≤N∥Xi∥ψ2K=\max_{1\le i \le N}\left\| X_i\right\|_{\psi_2}K=max1≤i≤N∥Xi∥ψ2
∥a∥2≤∥∑i=1NaiXi∥Lp≲Kp∥a∥2\left\| a \right\|_{2} \le \left\| \sum_{i=1}^N a_iX_i \right\|_{L^p} \lesssim K\sqrt{p}\left\| a \right\|_{2} ∥a∥2≤∥∥∥∥∥i=1∑NaiXi∥∥∥∥∥Lp≲Kp∥a∥2

如果p=1p=1p=1，则
c(K)∥a∥2≤∥∑i=1NaiXi∥L1≤∥a∥2c(K)\left\| a \right\|_{2} \le\left\| \sum_{i=1}^N a_iX_i \right\|_{L^1}\le\left\| a \right\|_{2}c(K)∥a∥2≤∥∥∥∥∥i=1∑NaiXi∥∥∥∥∥L1≤∥a∥2

其中c(K)c(K)c(K)是一个与KKK有关的常数。

UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式相关推荐

UA MATH567 高维统计I 概率不等式12 McDiarmid不等式
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式这一讲我们介绍基于Lipschitz性导出概率不等式的思路,这个思路在下一讲正式进入随机向量之后应用非常广泛.但这一讲我们先 ...
UA MATH567 高维统计I 概率不等式11 Azuma不等式
UA MATH567 高维统计I 概率不等式11 Azuma不等式前十一讲介绍的不等式的理论基础都是Markov不等式,根据Markov不等式我们导出了Chebyshev不等式.Hoeffding不 ...
UA MATH567 高维统计I 概率不等式8 亚指数范数
UA MATH567 高维统计I 概率不等式8 亚指数范数类似亚高斯范数,我们也可以定义随机变量的亚指数范数(sub-exponential norm): ∥X∥ψ1=inf⁡{t>0:Ee∣ ...
UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布
UA MATH567 高维统计I 概率不等式7 亚指数分布与亚指数范数第三讲到第六讲讨论了亚高斯分布,这类分布的尾部概率满足 P(∣X∣≥t)≲e−t2/2P(|X| \ge t) \lesssim ...
UA MATH567 高维统计I 概率不等式10 Bernstein不等式
UA MATH567 高维统计I 概率不等式10 Bernstein不等式我们在介绍亚高斯分布后介绍了适用于亚高斯分布的推广的Hoeffding不等式,对于亚指数分布,我们可以得到类似的不等式.因为 ...
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广:Orlicz空间这一讲讨论亚高斯范数与亚指数范数的推广,用一个更广义的框架理解这两种范数,它们其实是Orlicz空间中的随机变量的Or ...
UA MATH567 高维统计I 概率不等式4 亚高斯分布
UA MATH567 高维统计I 概率不等式4 亚高斯分布上一讲我们介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于ttt的递减阶数都是e−ct2e^{-c ...
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数亚高斯性亚高斯范数概率不等式1中介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于tt ...
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式 Hoeffding不等式 Chernoff不等式 MATH 564系列我们已经介绍了几个基本的概率不等 ...

UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式

UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式

UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式相关推荐

最新文章

热门文章