UA MATH567 高维统计I 概率不等式12 McDiarmid不等式

这一讲我们介绍基于Lipschitz性导出概率不等式的思路，这个思路在下一讲正式进入随机向量之后应用非常广泛。但这一讲我们先不正式引入Lipschitz函数的概念，我们介绍一个与之相关的概念，随机变量序列的Lipschitz组合(Lipschitz combinations)。

Lipschitz组合 假设X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn是一列独立的，值域分别为R1,⋯,RnR_1,\cdots,R_nR1,⋯,Rn的随机变量，假设F:R1×⋯×Rn→RF:R_1 \times \cdots \times R_n \to \mathbb{R}F:R1×⋯×Rn→R是一个实值函数满足∃ci>0\exists c_i>0∃ci>0，∀xi,xi′\forall x_i,x_i'∀xi,xi′，当其他自变量不变时，有
∣F(x1,⋯,xi,⋯,xn)−F(x1,⋯,xi′,⋯,xn)∣≤ci|F(x_1,\cdots,x_i,\cdots,x_n)-F(x_1,\cdots,x_i',\cdots,x_n) | \le c_i∣F(x1,⋯,xi,⋯,xn)−F(x1,⋯,xi′,⋯,xn)∣≤ci

我们就称F(X1,⋯,Xn)F(X_1,\cdots,X_n)F(X1,⋯,Xn)是X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn的一个Lipschitz组合。

评注 Lipschitz组合可以理解成有界的一种推广，我们回顾一下Hoeffding不等式：假设Xi∈[mi,Mi],i=1,⋯,NX_i \in [m_i,M_i],i=1,\cdots,NXi∈[mi,Mi],i=1,⋯,N, ∀t>0\forall t>0∀t>0, 下面的不等式被称为Hoeffding不等式，
P(∑i=1N(Xi−EXi)≥t)≤exp⁡(−2t2∑i=1N(Mi−mi)2)P \left( \sum_{i=1}^N (X_i - EX_i)\ge t \right) \le \exp \left( -\frac{2t^2}{\sum_{i=1}^N (M_i - m_i)^2} \right)P(i=1∑N(Xi−EXi)≥t)≤exp(−∑i=1N(Mi−mi)22t2)

也就是说有界的随机变量，他们的tail probability的阶大概是e−t2e^{-t^2}e−t2。如果考虑
F(X1,⋯,XN)=∑i=1N(Xi−EXi)F(X_1,\cdots,X_N)=\sum_{i=1}^N (X_i - EX_i)F(X1,⋯,XN)=i=1∑N(Xi−EXi)

要使F(X1,⋯,XN)F(X_1,\cdots,X_N)F(X1,⋯,XN)成为Lipschitz组合的充要条件是XiX_iXi有界，于是Lipschitz组合可以看做是对有界性的一种推广，并且我们可以预期Lipschitz组合tail probability的阶也大概是e−t2e^{-t^2}e−t2，如果这个猜测成立，那么Hoeffding不等式的结果就不仅仅局限于随机变量的和或者线性组合了，而是对更一般的Lipschitz组合都成立，这个结果由下面的McDiarmid不等式给出。

McDiarmid不等式 F(X)=F(X1,⋯,Xn)F(X)=F(X_1,\cdots,X_n)F(X)=F(X1,⋯,Xn)为X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn的Lipschitz组合，则∃C,c>0\exists C,c>0∃C,c>0
P(∣F(X)−EF(X)∣≥λσ2)≤Ce−cλ2P(|F(X)-EF(X)| \ge \lambda \sigma^2) \le Ce^{-c\lambda^2}P(∣F(X)−EF(X)∣≥λσ2)≤Ce−cλ2

其中σ2=∑i=1nci2\sigma^2=\sum_{i=1}^n c_i^2σ2=∑i=1nci2。

证明
这里展示单边的证明方法：
P(F(X)−EF(X)≥λσ2)≤Ce−cλ2P(F(X)-EF(X) \ge \lambda \sigma^2) \le Ce^{-c\lambda^2}P(F(X)−EF(X)≥λσ2)≤Ce−cλ2

另一边的证明方法类似。

与前面所有基于Markov不等式证明的概率不等式类似，我们计算EetF(X)Ee^{tF(X)}EetF(X)，这个期望计算的难点在于F(X)F(X)F(X)是同时和X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn有关的，也就是不存在可以把F(X)F(X)F(X)拆分成分别用X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn表示的分量的方法，这就与上一讲介绍的Azuma不等式的证明很类似了，Azuma不等式证明中，因为随机变量之间的dependence，我们用的条件期望来处理，在McDiarmid不等式的证明中我们也可以用类似的技术。定义
Fn=σ({X1,X2,⋯,Xn})Yn=E[etF(X)∣Fn−1]\mathcal{F}_n = \sigma(\{X_1,X_2,\cdots,X_n\}) \\ Y_n = E[e^{tF(X)}|\mathcal{F}_{n-1}]Fn=σ({X1,X2,⋯,Xn})Yn=E[etF(X)∣Fn−1]

则
EetF(X)=E[Yn]=E[Yn∣Fn]Ee^{tF(X)} = E[Y_n]=E[Y_n|\mathcal{F}_n]EetF(X)=E[Yn]=E[Yn∣Fn]

在Azuma不等式的证明中，做了这个构造之后，下一步我们要做的是试图对条件期望用Hoeffding不等式，这里我们也采用这个技术，先用centering技巧对F(X)F(X)F(X)做一个分解：
F(X)=E[F(X)∣Fn−1]+(F(X)−E[F(X)∣Fn])F(X)=E[F(X)|\mathcal{F}_{n-1}]+(F(X)-E[F(X)|\mathcal{F}_n])F(X)=E[F(X)∣Fn−1]+(F(X)−E[F(X)∣Fn])

所以
Yn=E[et{E[F(X)∣Fn−1]+(F(X)−E[F(X)∣Fn])}∣Fn−1]=etE[F(X)∣Fn−1]E[et(F(X)−E[F(X)∣Fn])∣Fn−1]Y_n = E[e^{t\{E[F(X)|\mathcal{F}_{n-1}]+(F(X)-E[F(X)|\mathcal{F}_n])\}}|\mathcal{F}_{n-1}] \\ = e^{tE[F(X)|\mathcal{F}_{n-1}]}E[e^{t(F(X)-E[F(X)|\mathcal{F}_n])}|\mathcal{F}_{n-1}]Yn=E[et{E[F(X)∣Fn−1]+(F(X)−E[F(X)∣Fn])}∣Fn−1]=etE[F(X)∣Fn−1]E[et(F(X)−E[F(X)∣Fn])∣Fn−1]

对于F(X)−E[F(X)∣Fn]F(X)-E[F(X)|\mathcal{F}_n]F(X)−E[F(X)∣Fn]，它的含义就相当于是固定x1,⋯,xn−1x_1,\cdots,x_{n-1}x1,⋯,xn−1，只允许xnx_nxn变化，根据Lipschitz组合的定义，它的绝对值的上界是cnc_ncn，于是根据Hoeffding不等式，
E[et(F(X)−E[F(X)∣Fn])∣Fn−1]≤eant2cn2,∃an>0E[e^{t(F(X)-E[F(X)|\mathcal{F}_n])}|\mathcal{F}_{n-1}] \le e^{a_nt^2c_n^2},\exists a_n >0E[et(F(X)−E[F(X)∣Fn])∣Fn−1]≤eant2cn2,∃an>0

这样我们就获得了一个递推式
E[Yn∣Fn]E[Yn∣Fn−1]≤eant2cn2,∃an>0\frac{E[Y_n|\mathcal{F}_n]}{E[Y_n|\mathcal{F}_{n-1}]} \le e^{a_nt^2c_n^2},\exists a_n >0E[Yn∣Fn−1]E[Yn∣Fn]≤eant2cn2,∃an>0

类似Azuma不等式的证明，根据这个递推式我们可以得到
Eet(F(X)−EF(X))≤eAt2cn2,A=max⁡nanEe^{t(F(X)-EF(X))} \le e^{At^2c_n^2},A = \max_n a_nEet(F(X)−EF(X))≤eAt2cn2,A=nmaxan

最后用一下Markov不等式就可以了。

UA MATH567 高维统计I 概率不等式12 McDiarmid不等式相关推荐

UA MATH567 高维统计I 概率不等式10 Bernstein不等式
UA MATH567 高维统计I 概率不等式10 Bernstein不等式我们在介绍亚高斯分布后介绍了适用于亚高斯分布的推广的Hoeffding不等式,对于亚指数分布,我们可以得到类似的不等式.因为 ...
UA MATH567 高维统计I 概率不等式4 亚高斯分布
UA MATH567 高维统计I 概率不等式4 亚高斯分布上一讲我们介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于ttt的递减阶数都是e−ct2e^{-c ...
UA MATH567 高维统计I 概率不等式11 Azuma不等式
UA MATH567 高维统计I 概率不等式11 Azuma不等式前十一讲介绍的不等式的理论基础都是Markov不等式,根据Markov不等式我们导出了Chebyshev不等式.Hoeffding不 ...
UA MATH567 高维统计I 概率不等式8 亚指数范数
UA MATH567 高维统计I 概率不等式8 亚指数范数类似亚高斯范数,我们也可以定义随机变量的亚指数范数(sub-exponential norm): ∥X∥ψ1=inf⁡{t>0:Ee∣ ...
UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布
UA MATH567 高维统计I 概率不等式7 亚指数分布与亚指数范数第三讲到第六讲讨论了亚高斯分布,这类分布的尾部概率满足 P(∣X∣≥t)≲e−t2/2P(|X| \ge t) \lesssim ...
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广:Orlicz空间这一讲讨论亚高斯范数与亚指数范数的推广,用一个更广义的框架理解这两种范数,它们其实是Orlicz空间中的随机变量的Or ...
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式我们在第一讲时讨论了Hoeffding不等式,但那个版本时针对有界的随机变量的,我们希望通过亚高斯性推广Hoeffding ...
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数亚高斯性亚高斯范数概率不等式1中介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于tt ...
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式 Hoeffding不等式 Chernoff不等式 MATH 564系列我们已经介绍了几个基本的概率不等 ...

UA MATH567 高维统计I 概率不等式12 McDiarmid不等式

UA MATH567 高维统计I 概率不等式12 McDiarmid不等式

UA MATH567 高维统计I 概率不等式12 McDiarmid不等式相关推荐

最新文章

热门文章