UA MATH567 高维统计I 概率不等式2 在Erdős–Rényi随机图模型中的应用

Erdős–Rényi随机图模型是第一个系统性讨论随机图的模型，它讨论了两类模型，G(n,M)G(n,M)G(n,M)和G(n,p)G(n,p)G(n,p)，前者表示一个有nnn个点的图要随机选出MMM条边；后者表示一个有nnn个点的图每条边存在的概率是ppp。给定每条边存在的概率为ppp，每种G(n,M)G(n,M)G(n,M)的概率都是
pM(1−p)Cn2−Mp^M(1-p)^{C_n^2-M}pM(1−p)Cn2−M

称与某一个点相连的边的数目为这个点的度，G(n,p)G(n,p)G(n,p)中每个点的度的期望记为ddd，则
d=(n−1)pd = (n-1)pd=(n−1)p

基于Chernoff不等式，我们可以证明G(n,p)G(n,p)G(n,p)具有下面的性质：

稠密图几乎正则，这句话非常不严谨，我们用数学语言精确描述一下。∃C>0\exists C>0∃C>0, 当d≥Clog⁡nd \ge C\log nd≥Clogn时，G(n,p)G(n,p)G(n,p)每个点的度有很大概率位于0.9d−1.1d0.9d-1.1d0.9d−1.1d之间。具体有多大概率是可以用Chernoff Bound来近似的，下面我们简单推导一下。

引理1 小偏差下的Chernoff不等式
P(∣SN−μ∣≥δμ)≤2e−cμδ2P(|S_N-\mu| \ge \delta \mu)\le 2e^{-c\mu\delta^2}P(∣SN−μ∣≥δμ)≤2e−cμδ2

其中SN=∑i=1NXi,ESN=μS_N = \sum_{i=1}^NX_i, ES_N = \muSN=∑i=1NXi,ESN=μ.

考虑顶点iii，记它的度为did_idi，记Xj(i)X_{j(i)}Xj(i)表示第jjj个点是否与顶点iii相连，j∈I(i)={1,⋯,i−1,i+1,n}j \in I(i) = \{1,\cdots,i-1,i+1,n\}j∈I(i)={1,⋯,i−1,i+1,n}，Xj∼iidBer(p)X_j \sim_{iid} Ber(p)Xj∼iidBer(p)，则
di=∑j∈I(i)Xj(i),Edi=dd_i = \sum_{j \in I(i)} X_{j(i)},\ Ed_i = ddi=j∈I(i)∑Xj(i), Edi=d

应用引理1并取δ=0.1\delta = 0.1δ=0.1，可以得到
P(∣di−d∣≥0.1d)≤2e−cdP(|d_i-d|\ge 0.1d) \le 2e^{-cd}P(∣di−d∣≥0.1d)≤2e−cd

这里的ccc是一个与引理1中的ccc不一样的常数了。当d≥Clog⁡nd \ge C\log nd≥Clogn的时候，可以发现
2e−cd≤2n−cC2e^{-cd} \le 2n^{-cC}2e−cd≤2n−cC

因此图的阶数越高，尾部概率上界越小，概率在∣di−d∣≤0.1d|d_i-d|\le 0.1d∣di−d∣≤0.1d上的集中度就会越高。

对于G(n,p)G(n,p)G(n,p)的所有顶点而言，根据概率的次可加性
P(∀i,∣di−d∣≥0.1d)≤∑i=1nP(∣di−d∣≥0.1d)≤2ne−cdP(\forall i,|d_i-d|\ge 0.1d) \le \sum_{i=1}^n P(|d_i-d|\ge 0.1d) \le 2ne^{-cd}P(∀i,∣di−d∣≥0.1d)≤i=1∑nP(∣di−d∣≥0.1d)≤2ne−cd

当CCC足够大时，2ne−cd≤0.12ne^{-cd} \le 0.12ne−cd≤0.1，因此
P(∀i,∣di−d∣≤0.1d)≥0.9P(\forall i,|d_i-d|\le 0.1d)\ge 0.9P(∀i,∣di−d∣≤0.1d)≥0.9

也就是说所有顶点的度都在0.9d−1.1d0.9d-1.1d0.9d−1.1d之间的概率至少是0.9。

下面给出引理1的简单证明：

Consider P(SN≤t)=P(−SN≥−t)P(S_N \le t) = P(-S_N \ge -t)P(SN≤t)=P(−SN≥−t). By the same procedure as proof of Chernoff’s upper tails,
P(−SN≥−t)≤eλt∏i=1NEexp⁡(−λXi)P(-S_N \ge -t) \le e^{\lambda t}\prod_{i=1}^N E\exp (-\lambda X_i) P(−SN≥−t)≤eλti=1∏NEexp(−λXi)

Similarly,
Eexp⁡(−λXi)=pie−λ+(1−pi)=1+(e−λ−1)pi≤exp⁡[(e−λ−1)pi]E\exp (-\lambda X_i) = p_ie^{-\lambda}+(1-p_i) \\= 1+(e^{-\lambda}-1)p_i \le \exp [(e^{-\lambda}-1)p_i]Eexp(−λXi)=pie−λ+(1−pi)=1+(e−λ−1)pi≤exp[(e−λ−1)pi]

Now apply this boundary,
P(−SN≥−t)≤eλt∏i=1NEexp⁡(−λXi)≤eλtexp⁡[(e−λ−1)μ]P(-S_N \ge -t) \le e^{\lambda t}\prod_{i=1}^N E\exp (-\lambda X_i) \le e^{\lambda t}\exp [(e^{-\lambda}-1)\mu] P(−SN≥−t)≤eλti=1∏NEexp(−λXi)≤eλtexp[(e−λ−1)μ]

Notice t<μt < \mut<μ. So in this case, let λ=ln⁡(μ/t)\lambda = \ln(\mu/t)λ=ln(μ/t),
eλtexp⁡[(e−λ−1)μ]=etln⁡(μ/t)exp⁡(t−μ)=e−μ(eμ/t)te^{\lambda t}\exp [(e^{-\lambda}-1)\mu] =e^{t\ln(\mu/t) } \exp(t-\mu) = e^{-\mu}(e\mu/t)^teλtexp[(e−λ−1)μ]=etln(μ/t)exp(t−μ)=e−μ(eμ/t)t

Consider that P(∣SN−μ∣≥δμ)=P(SN≥(1+δ)μ)+P(SN≤(1−δ)μ)P(|S_N-\mu|\ge \delta \mu) =P(S_N \ge (1+\delta)\mu)+P(S_N \le (1-\delta)\mu)P(∣SN−μ∣≥δμ)=P(SN≥(1+δ)μ)+P(SN≤(1−δ)μ)

By Thm 2.3.1 and Ex 2.3.2
P(SN≥(1+δ)μ)≤e−μ(eμ(1+δ)μ)(1+δ)μP(SN≤(1−δ)μ)≤e−μ(eμ(1−δ)μ)(1−δ)μP(S_N \ge (1+\delta)\mu) \le e^{-\mu}\left( \frac{e\mu}{(1+\delta)\mu} \right)^{(1+\delta)\mu} \\ P(S_N \le (1-\delta)\mu) \le e^{-\mu}\left( \frac{e\mu}{(1-\delta)\mu} \right)^{(1-\delta)\mu}P(SN≥(1+δ)μ)≤e−μ((1+δ)μeμ)(1+δ)μP(SN≤(1−δ)μ)≤e−μ((1−δ)μeμ)(1−δ)μ

Let’s analyze
e−μ(eμ(1+δ)μ)(1+δ)μ+e−μ(eμ(1−δ)μ)(1−δ)μ=eδμ(1+δ)−(1+δ)μ+e−δμ(1−δ)−(1−δ)μe^{-\mu}\left( \frac{e\mu}{(1+\delta)\mu} \right)^{(1+\delta)\mu} + e^{-\mu}\left( \frac{e\mu}{(1-\delta)\mu} \right)^{(1-\delta)\mu} \\ = e^{^{\delta \mu}}(1+\delta)^{-(1+\delta)\mu}+e^{-\delta \mu}(1-\delta)^{-(1-\delta)\mu}e−μ((1+δ)μeμ)(1+δ)μ+e−μ((1−δ)μeμ)(1−δ)μ=eδμ(1+δ)−(1+δ)μ+e−δμ(1−δ)−(1−δ)μ

Here’re two interesting terms,
(1+δ)−(1+δ)μ=exp⁡(−(1+δ)μln⁡(1+δ))≤exp⁡(−(1+δ)μ(Aδ))=e−μδ−Aμδ2(1+\delta)^{-(1+\delta)\mu} = \exp(-(1+\delta)\mu\ln(1+\delta) ) \\ \le \exp(-(1+\delta)\mu (A\delta )) =e^{-\mu \delta -A\mu\delta^2}(1+δ)−(1+δ)μ=exp(−(1+δ)μln(1+δ))≤exp(−(1+δ)μ(Aδ))=e−μδ−Aμδ2

(1−δ)−(1−δ)μ=exp⁡(−(1−δ)μln⁡(1−δ))≤exp⁡(−(1−δ)μ(−Bδ))=eμδ−Bμδ2(1-\delta)^{-(1-\delta)\mu} = \exp(-(1-\delta)\mu\ln(1-\delta) ) \\ \le \exp(-(1-\delta)\mu (-B\delta )) =e^{\mu \delta -B\mu\delta^2}(1−δ)−(1−δ)μ=exp(−(1−δ)μln(1−δ))≤exp(−(1−δ)μ(−Bδ))=eμδ−Bμδ2

Notice for δ∈(0,1]\delta \in (0,1]δ∈(0,1], ln⁡(1+δ)δ∈[ln⁡2,1)\frac{\ln(1+\delta)}{\delta} \in [\ln2,1)δln(1+δ)∈[ln2,1) and −δln⁡(1−δ)∈(0,1]\frac{-\delta}{\ln(1-\delta)} \in (0,1]ln(1−δ)−δ∈(0,1]. So ∃A,B>0\exists A,B>0∃A,B>0,
ln⁡(1+δ)≥Aδ,ln⁡(1−δ)≤B(−δ)\ln(1+\delta) \ge A\delta, \ln(1-\delta) \le B(-\delta)ln(1+δ)≥Aδ,ln(1−δ)≤B(−δ)

Hence,
eδμ(1+δ)−(1+δ)μ+e−δμ(1−δ)−(1−δ)μ=eδμe−μδ−Aμδ2+e−δμeμδ−Bμδ2=e−Aμδ2+e−Bμδ2e^{^{\delta \mu}}(1+\delta)^{-(1+\delta)\mu}+e^{-\delta \mu}(1-\delta)^{-(1-\delta)\mu} \\ = e^{^{\delta \mu}}e^{-\mu \delta -A\mu\delta^2}+e^{-\delta \mu}e^{\mu \delta -B\mu\delta^2} = e^{-A\mu\delta^2}+e^{-B\mu\delta^2}eδμ(1+δ)−(1+δ)μ+e−δμ(1−δ)−(1−δ)μ=eδμe−μδ−Aμδ2+e−δμeμδ−Bμδ2=e−Aμδ2+e−Bμδ2

∃c>0\exists c>0∃c>0, 2e−cμδ2=e−Aμδ2+e−Bμδ22e^{-c\mu\delta^2}=e^{-A\mu\delta^2}+e^{-B\mu\delta^2}2e−cμδ2=e−Aμδ2+e−Bμδ2, i.e. c=−1μδ2ln⁡e−Aμδ2+e−Bμδ22c=-\frac{1}{\mu\delta^2}\ln\frac{e^{-A\mu\delta^2}+e^{-B\mu\delta^2}}{2}c=−μδ21ln2e−Aμδ2+e−Bμδ2. Above all,

P(∣SN−μ∣≥δμ)≤2e−cμδ2P(|S_N-\mu|\ge \delta \mu) \le 2e^{-c\mu\delta^2}P(∣SN−μ∣≥δμ)≤2e−cμδ2

UA MATH567 高维统计I 概率不等式2 在Erdős–Rényi随机图模型中的应用相关推荐

UA MATH567 高维统计I 概率不等式12 McDiarmid不等式
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式这一讲我们介绍基于Lipschitz性导出概率不等式的思路,这个思路在下一讲正式进入随机向量之后应用非常广泛.但这一讲我们先 ...
UA MATH567 高维统计I 概率不等式11 Azuma不等式
UA MATH567 高维统计I 概率不等式11 Azuma不等式前十一讲介绍的不等式的理论基础都是Markov不等式,根据Markov不等式我们导出了Chebyshev不等式.Hoeffding不 ...
UA MATH567 高维统计I 概率不等式8 亚指数范数
UA MATH567 高维统计I 概率不等式8 亚指数范数类似亚高斯范数,我们也可以定义随机变量的亚指数范数(sub-exponential norm): ∥X∥ψ1=inf⁡{t>0:Ee∣ ...
UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布
UA MATH567 高维统计I 概率不等式7 亚指数分布与亚指数范数第三讲到第六讲讨论了亚高斯分布,这类分布的尾部概率满足 P(∣X∣≥t)≲e−t2/2P(|X| \ge t) \lesssim ...
UA MATH567 高维统计I 概率不等式10 Bernstein不等式
UA MATH567 高维统计I 概率不等式10 Bernstein不等式我们在介绍亚高斯分布后介绍了适用于亚高斯分布的推广的Hoeffding不等式,对于亚指数分布,我们可以得到类似的不等式.因为 ...
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数
UA MATH567 高维统计I 概率不等式9 亚高斯性的推广:Orlicz空间这一讲讨论亚高斯范数与亚指数范数的推广,用一个更广义的框架理解这两种范数,它们其实是Orlicz空间中的随机变量的Or ...
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式我们在第一讲时讨论了Hoeffding不等式,但那个版本时针对有界的随机变量的,我们希望通过亚高斯性推广Hoeffding ...
UA MATH567 高维统计I 概率不等式4 亚高斯分布
UA MATH567 高维统计I 概率不等式4 亚高斯分布上一讲我们介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于ttt的递减阶数都是e−ct2e^{-c ...
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数亚高斯性亚高斯范数概率不等式1中介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于tt ...

UA MATH567 高维统计I 概率不等式2 在Erdős–Rényi随机图模型中的应用

UA MATH567 高维统计I 概率不等式2 在Erdős–Rényi随机图模型中的应用

UA MATH567 高维统计I 概率不等式2 在Erdős–Rényi随机图模型中的应用相关推荐

最新文章

热门文章