Advanced Algorithm 听课笔记（Useful Inequalities Balls and Bins）
0x00 前言
作为学术生涯的最后一门课，选了一门据说是最难的，上下来的感觉也确实是难得不行，不太懂……
决定照着ppt和上课的笔记整理一下，以此争取达到复习的目的。
（意思是有些虽然写出来了，但自己都不见得明白，有的部分存疑后续去询问之后再做修改）
Useful Inequalities
在随机算法的问题中有大量不等式常被使用，为了在运用时能想得起来，有些甚至要背熟。
0x01 Union Bound
Randomized Algorithm - Chapter 3.2 (P45)
n个随机事件各自发生的概率之和，不小于这n个事件中至少有一个发生的概率
Let EiE_iEi be a random event, then we have
Pr[∪i=1nEi]≤∑i=1nPr(Ei)Pr[\cup_{i=1}^{n}E_i] \le \sum_{i=1}^{n}Pr(E_i)Pr[∪i=1nEi]≤i=1∑nPr(Ei)
0x02 马尔可夫不等式 (Markov Inequality)
Let YYY be a random variable assuming only non-negative values. Then
for all t>0,Pr[Y≥t]≤E[Y]t\text{for all } t>0,~Pr[Y \ge t]\le \frac{E[Y]}{t}for all t>0, Pr[Y≥t]≤tE[Y]
0x03 切比雪夫不等式 (Chebyshev’s Inequality)
Let XXX be a random variable with expectation μX\mu_XμX and standard deviation σX\sigma_XσX, then
for any t>0,Pr[∣X−μX∣≥tσX]≤1t2\text{for any }t>0,~Pr[|X-\mu_X|\ge t\sigma_X] \le \frac{1}{t^2}for any t>0, Pr[∣X−μX∣≥tσX]≤t21
0x04 切尔诺夫约束 (Chernoff’s Bound)
Randomized Algorithm - Chapter 4.1 (P67)
切尔诺夫约束有三种表现方式，在多个独立的泊松实验中
Let X1,X2,⋯ ,XnX_1, X_2, \cdots, X_nX1,X2,⋯,Xn be independent Poisson trials such that,
for 1≤i≤n,Pr[Xi=1]=pi1 \le i \le n,~Pr[X_i=1]=p_i1≤i≤n, Pr[Xi=1]=pi, where 0<pi<10<p_i<10<pi<1. Then
Chernoff’s Bound(1)
for X=∑i=1nXi,μ=E[X]=∑i=1npi,and any δ>0,\text{for }X=\sum_{i=1}^{n}X_i,~\mu=E[X]=\sum_{i=1}^{n}p_i, \text{ and any } \delta>0,for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any δ>0,
Pr[X>(1+δ)μ]<[eδ(1+δ)(1+δ)]μPr[X>(1+\delta)\mu]<\left[ \frac{e^{\delta}}{(1+\delta)^{(1+\delta)}} \right]^{\mu}Pr[X>(1+δ)μ]<[(1+δ)(1+δ)eδ]μ
Chernoff’s Bound(2)
for X=∑i=1nXi,μ=E[X]=∑i=1npi,and any 0<δ<1,\text{for }X=\sum_{i=1}^{n}X_i,~\mu=E[X]=\sum_{i=1}^{n}p_i, \text{ and any } 0<\delta<1,for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any 0<δ<1,
Pr[X<(1−δ)μ]<[e−δ(1−δ)(1−δ)]μPr[X<(1-\delta)\mu]<\left[ \frac{e^{-\delta}}{(1-\delta)^{(1-\delta)}} \right]^{\mu}Pr[X<(1−δ)μ]<[(1−δ)(1−δ)e−δ]μ
Chernoff’s Bound(3)
for X=∑i=1nXi,μ=E[X]=∑i=1npi,and any 0<δ<1,\text{for }X=\sum_{i=1}^{n}X_i,~\mu=E[X]=\sum_{i=1}^{n}p_i, \text{ and any } 0<\delta<1,for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any 0<δ<1,
Pr[∣X−μ∣>δμ]<2e−δ23μPr[|X-\mu| >\delta\mu]<2e^{-\frac{\delta^2}{3}\mu}Pr[∣X−μ∣>δμ]<2e−3δ2μ
0x05 Prove in detail
Chebyshev’s Inequality in 0x03
Let XXX be a random variable with expectation μX\mu_XμX and standard deviation σX\sigma_XσX, then
for any t>0,Pr[∣X−μX∣≥tσX]≤1t2\text{for any }t>0,~Pr[|X-\mu_X|\ge t\sigma_X] \le \frac{1}{t^2}for any t>0, Pr[∣X−μX∣≥tσX]≤t21
Pr(∣X−μX∣≥tσX)=Pr((X−μX)2≥(tσX)2)setY≜(X−μX)2≥0Pr(Y≥(tσ)2)≤E(Y)(tσX)2∵E(Y)=E((X−μX)2)=σX2∴Pr(Y≥(tσ)2)≤σX2(tσX)2=1t2\begin{aligned} Pr \left( |X-\mu_X| \ge t\sigma_X \right) \\ = Pr \left( (X-\mu_X)^2 \ge (t\sigma_X)^2 \right) \\ \textbf{set } Y \triangleq (X-\mu_X)^2 \ge 0 \\ Pr \left( Y \ge (t\sigma)^2 \right) \le \frac{E(Y)}{(t\sigma_X)^2} \\ \because E(Y) = E\left( (X-\mu_X)^2 \right) = \sigma_X^2 \\ \therefore Pr \left( Y \ge (t\sigma)^2 \right) \le \frac{\sigma_X^2}{(t\sigma_X)^2} = \frac{1}{t^2} \\ \end{aligned} Pr(∣X−μX∣≥tσX)=Pr((X−μX)2≥(tσX)2)set Y≜(X−μX)2≥0Pr(Y≥(tσ)2)≤(tσX)2E(Y)∵E(Y)=E((X−μX)2)=σX2∴Pr(Y≥(tσ)2)≤(tσX)2σX2=t21
Chernoff’s Bound in 0x04
Let X1,X2,⋯ ,XnX_1, X_2, \cdots, X_nX1,X2,⋯,Xn be independent Poisson trials such that,
for 1≤i≤n,Pr[Xi=1]=pi1 \le i \le n,~Pr[X_i=1]=p_i1≤i≤n, Pr[Xi=1]=pi, where 0<pi<10<p_i<10<pi<1. Then
Chernoff’s Bound(1)
for X=∑i=1nXi,μ=E[X]=∑i=1npi,and any δ>0,\text{for }X=\sum_{i=1}^{n}X_i,~\mu=E[X]=\sum_{i=1}^{n}p_i, \text{ and any } \delta>0,for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any δ>0,
Pr[X>(1+δ)μ]<[eδ(1+δ)(1+δ)]μPr[X>(1+\delta)\mu]<\left[ \frac{e^{\delta}}{(1+\delta)^{(1+\delta)}} \right]^{\mu}Pr[X>(1+δ)μ]<[(1+δ)(1+δ)eδ]μ
对于随机变量 (RandomVariable):
R.V.x1,x2,⋯ ,xnPr(Xi=1)=pi,Pr(Xi=0)=1−piμ=∑i=1npi,X=∑i=1nxi,E(X)=μPr(X>(1+δ)μ)≤E(X)(1+δ)μ=11+δ=Pr(eλX>eλ(1+δ)μ)≤E(eλX)eλ(1+δ)μ≤eμ(eλ−1)eλ(1+δ)μ\begin{aligned} & R.V. ~x_1, x_2, \cdots, x_n \\ & Pr(X_i=1) = p_i, Pr(X_i=0) = 1-p_i \\ & \mu = \sum_{i=1}^{n}p_i, X = \sum_{i=1}^{n}x_i, E(X)=\mu \\ & Pr(X>(1+\delta)\mu) \le \frac{E(X)}{(1+\delta)\mu} = \frac{1}{1+\delta} \\ =~& Pr(e^{\lambda X}>e^{\lambda(1+\delta)\mu}) \le \frac{E(e\lambda X)}{e^{\lambda(1+\delta)\mu}}\le \frac{e^{\mu(e^{\lambda}-1)}}{e^{\lambda(1+\delta)\mu}} \\ \end{aligned} = R.V. x1,x2,⋯,xnPr(Xi=1)=pi,Pr(Xi=0)=1−piμ=i=1∑npi,X=i=1∑nxi,E(X)=μPr(X>(1+δ)μ)≤(1+δ)μE(X)=1+δ1Pr(eλX>eλ(1+δ)μ)≤eλ(1+δ)μE(eλX)≤eλ(1+δ)μeμ(eλ−1)
令 λ=ln(1+δ)\lambda = ln(1+\delta)λ=ln(1+δ)，则上式化为(eδ(1+δ)(1+δ))μ\left( \frac{e^{\delta}}{(1+\delta)^{(1+\delta)}} \right)^{\mu}((1+δ)(1+δ)eδ)μ，得证。
Chernoff’s Bound(2)
for X=∑i=1nXi,μ=E[X]=∑i=1npi,and any 0<δ<1,\text{for }X=\sum_{i=1}^{n}X_i,~\mu=E[X]=\sum_{i=1}^{n}p_i, \text{ and any } 0<\delta<1,for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any 0<δ<1,
Pr[X<(1−δ)μ]<[e−δ(1−δ)(1−δ)]μPr[X<(1-\delta)\mu]<\left[ \frac{e^{-\delta}}{(1-\delta)^{(1-\delta)}} \right]^{\mu}Pr[X<(1−δ)μ]<[(1−δ)(1−δ)e−δ]μ
其中：
E(e−λX)=E(e−λ(∑i=1nXi))=E(∏i=1ne−λXi)=∏i=1nE(e−λXi)=∏i=1n(pi⋅e−λ+(1−pi))=∏i=1n(1+pi(e−λ−1))=eμ(e−λ−1)\begin{aligned} E(e^{-\lambda X}) &= E(e^{-\lambda(\sum_{i=1}^{n}X_i)}) \\ &= E(\prod_{i=1}^{n} e^{-\lambda X_i}) = \prod_{i=1}^{n}E(e^{-\lambda X_i}) \\ &= \prod_{i=1}^{n}(p_i \cdot e^{-\lambda} + (1-p_i)) \\ &= \prod_{i=1}^{n}( 1 + p_i (e^{-\lambda}-1)) \\ &= e^{\mu(e^{-\lambda}-1)} \end{aligned} E(e−λX)=E(e−λ(∑i=1nXi))=E(i=1∏ne−λXi)=i=1∏nE(e−λXi)=i=1∏n(pi⋅e−λ+(1−pi))=i=1∏n(1+pi(e−λ−1))=eμ(e−λ−1)
代入原式子， 有：
Pr[X<(1−δ)μ]≤E(e−λX)e−λ(1−δ)μ=eμ(e−λ−1)e−λ(1−δ)μ=eμ(e−λ−1+λ−λδ)\begin{aligned} Pr[X < (1-\delta)\mu] &\le \frac{E(e^{-\lambda X})}{e^{-\lambda (1-\delta) \mu}} \\ &= \frac{e^{\mu(e^{-\lambda}-1)}}{e^{-\lambda (1-\delta) \mu}} \\ &= e^{\mu(e^{-\lambda}-1+\lambda-\lambda\delta)} \end{aligned} Pr[X<(1−δ)μ]≤e−λ(1−δ)μE(e−λX)=e−λ(1−δ)μeμ(e−λ−1)=eμ(e−λ−1+λ−λδ)
令 f(λ)=e−λ−1+λ−λδf(\lambda) = e^{-\lambda}-1+\lambda-\lambda\deltaf(λ)=e−λ−1+λ−λδ,
当 f′(λ)=−e−λ+1−δ=0f'(\lambda) = -e^{-\lambda} + 1 - \delta = 0f′(λ)=−e−λ+1−δ=0 时, λ=−ln(1−δ)\lambda = -\ln (1-\delta)λ=−ln(1−δ)
故 Pr[X<(1−δ)μ]<eμf(−ln(1−δ))=(e−δ(1−δ)(1−δ))μPr[X<(1-\delta)\mu] < e^{\mu f(-ln(1-\delta))} = \left( \frac{e^{-\delta}}{(1-\delta)^{(1-\delta)}} \right)^{\mu}Pr[X<(1−δ)μ]<eμf(−ln(1−δ))=((1−δ)(1−δ)e−δ)μ
Chernoff’s Bound(3)
for X=∑i=1nXi,μ=E[X]=∑i=1npi,and any 0<δ<1,\text{for }X=\sum_{i=1}^{n}X_i,~\mu=E[X]=\sum_{i=1}^{n}p_i, \text{ and any } 0<\delta<1,for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any 0<δ<1,
Pr[∣X−μ∣>δμ]<2e−δ23μPr[|X-\mu| >\delta\mu]<2e^{-\frac{\delta^2}{3}\mu}Pr[∣X−μ∣>δμ]<2e−3δ2μ
首先去掉绝对值符号：
Pr[∣X−μ∣>δμ]=Pr[X−μ>δμ]+Pr[X−μ<−δμ]Pr[|X-\mu| > \delta\mu] = Pr[X-\mu > \delta\mu] + Pr[X-\mu < -\delta\mu]Pr[∣X−μ∣>δμ]=Pr[X−μ>δμ]+Pr[X−μ<−δμ]
对于第一个部分：
Pr[X−μ>δμ]=Pr[X>(δ+1)μ]<(eδ(1+δ)(1+δ))μ=eμ⋅(δ−(1+δ)ln(1+δ))<e−3δ2μ\begin{aligned} Pr[X-\mu > \delta\mu] &= Pr[X > (\delta+1)\mu] \\ &< \left( \frac{e^{\delta}}{(1+\delta)^{(1+\delta)}} \right)^{\mu} \\ &= e^{\mu \cdot (\delta - (1+\delta) \ln (1+\delta))} \\ &< e^{-\frac{3}{\delta^2}\mu} \end{aligned} Pr[X−μ>δμ]=Pr[X>(δ+1)μ]<((1+δ)(1+δ)eδ)μ=eμ⋅(δ−(1+δ)ln(1+δ))<e−δ23μ
同理可证 Pr[X−μ<−δμ]<e−3δ2μPr[X-\mu < -\delta\mu] < e^{-\frac{3}{\delta^2}\mu}Pr[X−μ<−δμ]<e−δ23μ
Pr[∣X−μ∣>δμ]=Pr[X−μ>δμ]+Pr[X−μ<−δμ]<e−3δ2μ+e−3δ2μ=2e−3δ2μ\begin{aligned} Pr[|X-\mu| > \delta\mu] &= Pr[X-\mu > \delta\mu] + Pr[X-\mu < -\delta\mu] \\ &< e^{-\frac{3}{\delta^2}\mu} + e^{-\frac{3}{\delta^2}\mu} \\ &= 2e^{-\frac{3}{\delta^2}\mu} \end{aligned} Pr[∣X−μ∣>δμ]=Pr[X−μ>δμ]+Pr[X−μ<−δμ]<e−δ23μ+e−δ23μ=2e−δ23μ
故 Pr[∣X−μ∣>δμ]<2e−3δ2μPr[|X-\mu|>\delta\mu]<2e^{-\frac{3}{\delta^2}\mu}Pr[∣X−μ∣>δμ]<2e−δ23μ 得证
Balls and Bins
原先以为往盒子里放球取球只是个抽屉原理或者排列组合的问题，
高等算法里把这研究得还要更深刻一些……
0x01 Balls and Bins
mmm balls, nnn bins. You randomly throw each ball to some bin.
XiX_iXi : number of balls in the iii-th bin.
Let k≜max(X1,X2,⋯ ,Xn)k \triangleq max(X_1, X_2, \cdots, X_n)k≜max(X1,X2,⋯,Xn).
Question: expectation and distribution of kkk?
- m=o(n)m = o(\sqrt{n})m=o(n); (Case 1)
- prove Pr(k>1)=o(1)Pr(k>1)=o(1)Pr(k>1)=o(1).
- k=1w.h.pk=1~w.h.pk=1 w.h.p
- m=Θ(n)m = \Theta(\sqrt{n})m=Θ(n); (Case 2, Birthday Paradox)
- compute Pr(k>1)Pr(k>1)Pr(k>1) again.
- k=1or2w.h.pk=1~or~2~w.h.pk=1 or 2 w.h.p
- m=nm=nm=n; (Case 3)
- find suitable xxx, such that Pr(k≤x)=1−o(1)Pr(k \le x)=1-o(1)Pr(k≤x)=1−o(1)
- k=Θ(lnnlnlnn)w.h.pk=\Theta(\frac{\ln n}{\ln \ln n})~w.h.pk=Θ(lnlnnlnn) w.h.p
- m≥nlnnm \ge n\ln nm≥nlnn; (Case 4)
- k=Θ(mn)w.h.pk=\Theta (\frac{m}{n})~w.h.pk=Θ(nm) w.h.p
0xFF Prove in detail
Case 1
- m=o(n)m = o(\sqrt{n})m=o(n)
prove Pr(k>1)=o(1)Pr(k>1)=o(1)Pr(k>1)=o(1).
k=1w.h.pk=1~w.h.pk=1 w.h.p
m=1,Pr(k=1)=1−o(1)m=1, Pr(k=1) = 1-o(1)m=1,Pr(k=1)=1−o(1)
m=2,{Pr(k=1)=1−1/nPr(k=2)=1/nm=2, \begin{cases} Pr(k=1)=1-1/n \\ Pr(k=2)=1/n \end{cases}m=2,{Pr(k=1)=1−1/nPr(k=2)=1/n
m=?,Pr(k=1)=1−o(1)m= ? ~, Pr(k=1)=1-o(1)m=? ,Pr(k=1)=1−o(1)
对于这个 Pr(k=1)=1−o(1)Pr(k=1)=1-o(1)Pr(k=1)=1−o(1)，我们可以等价地视作：
Pr(max(X1,X2,⋯ ,Xn)≥2)=o(1)Pr(max(X_1, X_2, \cdots, X_n)\ge 2) = o(1)Pr(max(X1,X2,⋯,Xn)≥2)=o(1)
那么，根据 Useful Inequalities 中提到过的 Union Bound，有：
Pr(X1≥2orX2≥2or⋯orXn≥2)≤∑i=1nPr(Xi≥2)=n⋅Pr(X1≥2)\begin{aligned} Pr(X_1 \ge 2~or~X_2 \ge 2~or~\cdots~or~X_n \ge 2) ~&\le \sum_{i=1}^{n}Pr(X_i \ge 2) \\ & = n \cdot Pr(X_1 \ge 2) \end{aligned} Pr(X1≥2 or X2≥2 or ⋯ or Xn≥2) ≤i=1∑nPr(Xi≥2)=n⋅Pr(X1≥2)
其中，
Pr(X1≥2)≤(m2)(1n)2=Θ(m2n2)Pr(X1≥2)=∑k=2mPr(X1=k)=∑k=2m(mk)⋅(1n)k(1−1n)m−k=1−Pr(X1=0)−Pr(X1=1)=1−(1−1n)m−m⋅1n⋅(1−1n)m−1=Θ(m2n2)\begin{aligned} Pr(X_1 \ge 2) ~&\le \binom{m}{2} \left(\frac{1}{n} \right)^2 = \Theta(\frac{m^2}{n^2}) \\ Pr(X_1 \ge 2) ~&= \sum_{k=2}^{m}Pr(X_1=k) \\ &= \sum_{k=2}^{m} \binom{m}{k}\cdot(\frac{1}{n})^k(1-\frac{1}{n})^{m-k} \\ &= 1- Pr(X_1=0) - Pr(X_1=1) \\ &= 1-(1-\frac{1}{n})^m - m\cdot \frac{1}{n} \cdot (1-\frac{1}{n})^{m-1} \\ & = \Theta(\frac{m^2}{n^2}) \end{aligned} Pr(X1≥2) Pr(X1≥2) ≤(2m)(n1)2=Θ(n2m2)=k=2∑mPr(X1=k)=k=2∑m(km)⋅(n1)k(1−n1)m−k=1−Pr(X1=0)−Pr(X1=1)=1−(1−n1)m−m⋅n1⋅(1−n1)m−1=Θ(n2m2)
代入原式子，故有：
n⋅Pr(X1≥2)=Θ(m2/n)=o(1)∴m=o(n)n \cdot Pr(X_1 \ge 2) = \Theta(m^2/n) = o(1) \\ \therefore m = o(\sqrt{n}) n⋅Pr(X1≥2)=Θ(m2/n)=o(1)∴m=o(n)
Case 2
- m=Θ(n)m = \Theta(\sqrt{n})m=Θ(n); (Birthday Paradox)
+ compute Pr(k>1)Pr(k>1)Pr(k>1) again.
+ k=1or2w.h.pk=1~or~2~w.h.pk=1 or 2 w.h.p
m=Θ(n)=cnPr(X1≥2)≤(m2)(1n)2≈c22nPr(k>1)≤n⋅Pr(X1≥2)≤c22Pr(k=1)=n−1n⋅n−2n⋅n−3n⋯n−m+1n=Pr(E1⋯Em),Ei≜Pr(E1)Pr(E2∣E1)Pr(E3∣E1E2)⋯=(1−1n)⋅(1−2n)⋅(1−3n)⋯(1−m−1n)\begin{aligned} m = \Theta(\sqrt{n})~&=c\sqrt{n} \\ Pr(X_1 \ge 2) ~&\le \binom{m}{2} \left(\frac{1}{n} \right)^2 \approx \frac{c^2}{2n} \\ Pr(k > 1) ~&\le n \cdot Pr(X_1 \ge 2) \le \frac{c^2}{2} \\ Pr(k = 1) ~& = \frac{n-1}{n} \cdot \frac{n-2}{n} \cdot \frac{n-3}{n} \cdots \frac{n-m+1}{n} \\ &= Pr(E_1 \cdots E_m) ~, E_i \triangleq Pr(E_1)Pr(E_2|E_1)Pr(E_3|E_1E_2)\cdots \\ &= (1-\frac{1}{n}) \cdot (1-\frac{2}{n}) \cdot (1-\frac{3}{n}) \cdots (1-\frac{m-1}{n}) \end{aligned} m=Θ(n) Pr(X1≥2) Pr(k>1) Pr(k=1) =cn≤(2m)(n1)2≈2nc2≤n⋅Pr(X1≥2)≤2c2=nn−1⋅nn−2⋅nn−3⋯nn−m+1=Pr(E1⋯Em) ,Ei≜Pr(E1)Pr(E2∣E1)Pr(E3∣E1E2)⋯=(1−n1)⋅(1−n2)⋅(1−n3)⋯(1−nm−1)
根据 Union Bound：
Pr(k=1)=(1−1n)⋅(1−2n)⋅(1−3n)⋯(1−m−1n)≥(1−m−1n)m−1(UnionBound)∼(1−m−1n)nm−1⋅(m−1)2n∼(1e)m2n\begin{aligned} Pr(k = 1) ~&= (1-\frac{1}{n}) \cdot (1-\frac{2}{n}) \cdot (1-\frac{3}{n}) \cdots (1-\frac{m-1}{n})\\ &\ge (1-\frac{m-1}{n})^{m-1} ~~~~\textbf{ (Union Bound)} \\ &\sim (1-\frac{m-1}{n})^{\frac{n}{m-1}\cdot{\frac{(m-1)^2}{n}}} \sim (\frac{1}{e})^{\frac{m^2}{n}} \end{aligned} Pr(k=1) =(1−n1)⋅(1−n2)⋅(1−n3)⋯(1−nm−1)≥(1−nm−1)m−1 (Union Bound)∼(1−nm−1)m−1n⋅n(m−1)2∼(e1)nm2
又因为 1−x≤e−x1-x \le e^{-x}1−x≤e−x:
(1−1n)⋅(1−2n)⋅(1−3n)⋯(1−m−1n)≤e−1/n⋅e−2/n⋅e−3/n⋯e−(m−1)/n≈e−m2/2n<1∴Pr(k≥2)=1−Pr(k=1)≥1−e−c2/2\begin{aligned} &(1-\frac{1}{n}) \cdot (1-\frac{2}{n}) \cdot (1-\frac{3}{n}) \cdots (1-\frac{m-1}{n}) \\ \le~ & e^{-1/n} \cdot e^{-2/n} \cdot e^{-3/n} \cdots e^{-(m-1)/n} \\ \approx~ & e^{-m^2/2n} < 1 \\ \therefore ~ & Pr(k \ge 2) = 1 - Pr(k = 1) \ge 1- e^{-c^2/2} \end{aligned} ≤ ≈ ∴ (1−n1)⋅(1−n2)⋅(1−n3)⋯(1−nm−1)e−1/n⋅e−2/n⋅e−3/n⋯e−(m−1)/ne−m2/2n<1Pr(k≥2)=1−Pr(k=1)≥1−e−c2/2
而对于 k≥3k \ge 3k≥3时：
(这段的板书顺序较为混乱，资质愚钝足足半个小时仍无法看懂，暂且搁置)
Prepare for case 3
为了 case 3 的证明，我们需要事先准备一个阶乘的近似界
(mx)x≤(mx)≤(emx)x(\frac{m}{x})^x \le \binom{m}{x} \le (\frac{em}{x})^x(xm)x≤(xm)≤(xem)x
先证 (mx)=m!x!(m−x)!∼mxx!\tbinom{m}{x} = \frac{m!}{x!(m-x)!} \sim \frac{m^x}{x!}(xm)=x!(m−x)!m!∼x!mx
limm→∞(mx)mxx!=limm→∞m(m−1)(m−2)⋯(m−x+1)mx=limm→∞1⋅(1−1m)(1−2m)⋯(1−x−1m)=1\begin{aligned} \lim\limits_{m \rightarrow \infty}\frac{\tbinom{m}{x}}{\frac{m^x}{x!}} &= \lim\limits_{m \rightarrow \infty}\frac{m(m-1)(m-2)\cdots(m-x+1)}{m^x} \\ &= \lim\limits_{m \rightarrow \infty} 1\cdot(1-\frac{1}{m})(1-\frac{2}{m})\cdots(1-\frac{x-1}{m}) \\ &= 1 \end{aligned} m→∞limx!mx(xm)=m→∞limmxm(m−1)(m−2)⋯(m−x+1)=m→∞lim1⋅(1−m1)(1−m2)⋯(1−mx−1)=1
这里，我们需要引入阶乘的逼近公式：斯特林公式(Stirling’s formula):
n!∼2πn(ne)nn! \sim \sqrt{2 \pi n}(\frac{n}{e})^nn!∼2πn(en)n
mxx!∼mx2πx(xe)x=exmx2πxxx=ex2πx(mx)x≤(emx)x\frac{m^x}{x!} \sim \frac{m^x}{\sqrt{2\pi x}(\frac{x}{e})^x}=\frac{e^xm^x}{\sqrt{2\pi x}x^x}=\frac{e^x}{\sqrt{2\pi x}}(\frac{m}{x})^x \le (\frac{em}{x})^xx!mx∼2πx(ex)xmx=2πxxxexmx=2πxex(xm)x≤(xem)x
并且
ex2πx>1\frac{e^x}{\sqrt{2\pi x}} > 12πxex>1
所以
ex2πx(mx)x≥(mx)x\frac{e^x}{\sqrt{2\pi x}}(\frac{m}{x})^x \ge (\frac{m}{x})^x2πxex(xm)x≥(xm)x
即
(mx)x≤(mx)≤(emx)x(\frac{m}{x})^x \le \binom{m}{x} \le (\frac{em}{x})^x (xm)x≤(xm)≤(xem)x
Case 3
- m=nm=nm=n
+ find suitable xxx, such that Pr(k≤x)=1−o(1)Pr(k \le x)=1-o(1)Pr(k≤x)=1−o(1)
+ k=Θ(lnnlnlnn)w.h.pk=\Theta(\frac{\ln n}{\ln \ln n})~w.h.pk=Θ(lnlnnlnn) w.h.p
令 x=lnnlnlnnx = \frac{\ln n}{\ln ln n}x=lnlnnlnn，先证下界:
Pr(k≤x)=1−o(1)Pr(k \le x) = 1-o(1)Pr(k≤x)=1−o(1)
即证：
Pr(k≥x)=o(1)Pr(k \ge x) = o(1)Pr(k≥x)=o(1)
于是，根据 Union Bound 有：
Pr(k≥x)≤n⋅Pr(X1≥x)≤n⋅(mx)(1n)x=n⋅(nx)(1n)xPr(k \ge x) \le n \cdot Pr(X_1 \ge x) \le n \cdot \binom{m}{x}\left( \frac{1}{n} \right)^x = n \cdot \binom{n}{x}\left( \frac{1}{n} \right)^xPr(k≥x)≤n⋅Pr(X1≥x)≤n⋅(xm)(n1)x=n⋅(xn)(n1)x
上一小节我们通过 斯特林公式(Stirling’s formula) 得到:
(mx)x≤(mx)≤(emx)x(\frac{m}{x})^x \le \binom{m}{x} \le (\frac{em}{x})^x(xm)x≤(xm)≤(xem)x
代入，有：
n⋅(nx)(1n)x≤n⋅(enx)x(1n)x=n⋅(ex)x=o(1)n \cdot \binom{n}{x}\left( \frac{1}{n} \right)^x \le n\cdot \left( \frac{en}{x} \right)^x \left( \frac{1}{n} \right)^x = n\cdot \left( \frac{e}{x} \right)^x = o(1)n⋅(xn)(n1)x≤n⋅(xen)x(n1)x=n⋅(xe)x=o(1)
再证上界：
Pr(k≥c⋅x)=1−o(1)Pr(k \ge c \cdot x) = 1-o(1)Pr(k≥c⋅x)=1−o(1)
即证：
Pr(k≤c⋅x)=Pr(E1∧⋯∧En)Pr(k \le c \cdot x) = Pr(E_1 \land \cdots \land E_n)Pr(k≤c⋅x)=Pr(E1∧⋯∧En)
其中，EiE_iEi 表示：
xi≤c⋅x,Yi={1,Ei没发生0,Ei发生x_i \le c \cdot x,~Y_i=\begin{cases} 1, ~E_i\text{ 没发生}\\ 0, ~E_i\text{ 发生} \end{cases}xi≤c⋅x, Yi={1, Ei 没发生0, Ei 发生
则有：
Pr(k≤c⋅x)=Pr(k≤c⋅x)=Pr(∀i,Yi=0)=Pr(∑i=1nYi=0)Pr(k \le c \cdot x) = Pr(k \le c \cdot x)=Pr(\forall i, Y_i=0) = Pr(\sum_{i=1}^{n}Y_i=0)Pr(k≤c⋅x)=Pr(k≤c⋅x)=Pr(∀i,Yi=0)=Pr(i=1∑nYi=0)
而上式不大于：
Pr(∣∑i=1n−E(∑i=1nYi)∣≥E(∑i=1nYi))≤σ2(∑i=1nYi)(E(∑i=1nYi))2Pr \left( \left|\sum_{i=1}^{n} - E(\sum_{i=1}^{n}Y_i) \right| \ge E(\sum_{i=1}^{n}Y_i) \right) \le \frac{\sigma^2(\sum_{i=1}^{n}Y_i)}{(E(\sum_{i=1}^{n}Y_i))^2}Pr(∣∣∣∣∣i=1∑n−E(i=1∑nYi)∣∣∣∣∣≥E(i=1∑nYi))≤(E(∑i=1nYi))2σ2(∑i=1nYi)
(期望与方差的推导较长，暂时搁置，事后有时间再补)， 故：
Pr(k<cx)=Pr(Y1+Y2+⋯+Yn=0)Pr(k<cx)=Pr(Y_1+Y_2+\cdots+Y_n=0)Pr(k<cx)=Pr(Y1+Y2+⋯+Yn=0)
≤Var(∑i=1nYi)E2(∑i=1nYi)=O(n(n1−c)2)∼1n1/3,∴c=1/3\le \frac{Var(\sum_{i=1}^{n}Y_i)}{E^2(\sum_{i=1}^{n}Y_i)} = O\left(\frac{n}{(n^{1-c})^2}\right) \sim \frac{1}{n^{1/3}},~~~\therefore c=1/3≤E2(∑i=1nYi)Var(∑i=1nYi)=O((n1−c)2n)∼n1/31, ∴c=1/3
lnn3lnlnn<k<lnnlnlnn\frac{\ln n}{3\ln\ln n}<k<\frac{\ln n}{\ln\ln n}3lnlnnlnn<k<lnlnnlnn
Consider the case with nnn balls and nnn bins,
let XXX be the random variable of the number of empty bins. Compute E(X)E(X)E(X), and the deviation between XXX and E(X)E(X)E(X).
the result should be in the form Pr(∣X−E(X)∣>a)<bPr(|X-E(X)|>a)<bPr(∣X−E(X)∣>a)<b
令 ZiZ_iZi 表示第 iii 个盒子里是否没有球: 没有球时为 Zi=1Z_i=1Zi=1，反之为 Zi=0Z_i=0Zi=0
则有
Y=∑i=1nZiY=\sum_{i=1}^{n}Z_iY=i=1∑nZi
E(Y)=E(∑i=1nZi)=∑i=1nE(Zi)=nE(Z1)E(Y)=E(\sum_{i=1}^{n}Z_i)=\sum_{i=1}^{n}E(Z_i)=nE(Z_1)E(Y)=E(i=1∑nZi)=i=1∑nE(Zi)=nE(Z1)
其中
E(Z1)=p(Z1=0)⋅1+p(Z1=1)⋅0=1−(1−1n)n=1−e−1E(Z_1)=p(Z_1=0)\cdot 1 + p(Z_1=1)\cdot 0 = 1 - (1-\frac{1}{n})^n = 1-e^{-1}E(Z1)=p(Z1=0)⋅1+p(Z1=1)⋅0=1−(1−n1)n=1−e−1
所以
E(X)=E(n−Y)=n−E(Y)=e−1nE(X) = E(n-Y) = n-E(Y) = e^{-1}nE(X)=E(n−Y)=n−E(Y)=e−1n
对于 λ>0\lambda > 0λ>0
μ=E[Z]=n(1−1n)n∼ne−1\mu = E[Z] = n(1-\frac{1}{n})^n \sim ne^{-1}μ=E[Z]=n(1−n1)n∼ne−1
Pr[∣Z−μ∣≥λ]≤2⋅exp(−λ22n)Pr[|Z-\mu|\ge \lambda]\le 2\cdot exp(-\frac{\lambda^2}{2n})Pr[∣Z−μ∣≥λ]≤2⋅exp(−2nλ2)
特别地, 当 m≫nm \gg nm≫n 时:
μ=E[Z]=n(1−1n)m∼ne−m/n\mu = E[Z] = n(1-\frac{1}{n})^m \sim ne^{-m/n}μ=E[Z]=n(1−n1)m∼ne−m/n
Pr[∣Z−μ∣≥λ]≤2⋅exp(−λ2(n−1/2)n2−μ2)Pr[|Z-\mu|\ge \lambda]\le 2\cdot exp(-\frac{\lambda^2(n-1/2)}{n^2-\mu^2})Pr[∣Z−μ∣≥λ]≤2⋅exp(−n2−μ2λ2(n−1/2))
Case 4
- m≥nlnnm \ge n\ln nm≥nlnn
+ k=Θ(mn)w.h.pk=\Theta (\frac{m}{n})~w.h.pk=Θ(nm) w.h.p
要证：
Pr(k≥c⋅mn)=o(1)Pr(k \ge c \cdot \frac{m}{n}) = o(1)Pr(k≥c⋅nm)=o(1)
即证：
Pr(x1≥cmnorx2≥cmnor⋯orxn≥cmn)Pr(x_1 \ge c\frac{m}{n}~~or~~x_2 \ge c\frac{m}{n}~~or~\cdots~or~~x_n \ge c\frac{m}{n})Pr(x1≥cnm or x2≥cnm or ⋯ or xn≥cnm)
而根据 Union Bound，
Pr(k≥c⋅mn)≤n⋅Pr(x1≥cmn)Pr(k \ge c \cdot \frac{m}{n}) \le n \cdot Pr(x_1 \ge c \frac{m}{n})Pr(k≥c⋅nm)≤n⋅Pr(x1≥cnm)
先证上界：
Pr(x1≥cmn)≤(mcmn)(1n)cmn≤(emcmn)cmn(1n)cmn=(ec)cmnPr \left(x_1 \ge c\frac{m}{n} \right) \le \binom{m}{c\frac{m}{n}} \left( \frac{1}{n} \right)^{c\frac{m}{n}} \le \left( \frac{em}{c\frac{m}{n}} \right)^{c\frac{m}{n}} \left( \frac{1}{n} \right)^{c\frac{m}{n}} = \left( \frac{e}{c} \right)^{c\frac{m}{n}} Pr(x1≥cnm)≤(cnmm)(n1)cnm≤(cnmem)cnm(n1)cnm=(ce)cnm
由于 m≥nlnnm \ge n\ln nm≥nlnn，
Pr(k≥cmn)=(ec)cmn≤(ec)clnn=o(1/n)Pr(k \ge c\frac{m}{n})= \left( \frac{e}{c} \right)^{c\frac{m}{n}} \le \left( \frac{e}{c} \right)^{c\ln n} = o(1/n)Pr(k≥cnm)=(ce)cnm≤(ce)clnn=o(1/n)
再证下界，根据 Chernoff’s Bound:
Pr(∣Y1+⋯+Yn−E(Y1+⋯+Yn)∣)≤?Pr\left( \left| Y_1 + \cdots + Y_n - E(Y_1 + \cdots + Y_n) \right| \right) \le~?Pr(∣Y1+⋯+Yn−E(Y1+⋯+Yn)∣)≤ ?
其中，YiY_iYi 指 iii-th ball 扔进了第一个盒子， X1=∑i=1mYi,Yi={1,1/n0,1−1/nX_1 = \sum_{i=1}^{m}Y_i,~~Y_i=\begin{cases} 1,~~1/n \\ 0,~~1-1/n \end{cases}X1=∑i=1mYi, Yi={1, 1/n0, 1−1/n
Pr(∣X1−m/n∣>c1mn)≤2⋅exp(−c123⋅mn)≤2⋅exp(−c123lnn)=21nc123=o(1n)Pr( |X_1 - m/n| > c_1\frac{m}{n} ) \le 2 \cdot exp(-\frac{c_1^2}{3}\cdot\frac{m}{n}) \le 2\cdot exp(-\frac{c_1^2}{3}\ln n) = 2 \frac{1}{n^{\frac{c1^2}{3}}} = o(\frac{1}{n})Pr(∣X1−m/n∣>c1nm)≤2⋅exp(−3c12⋅nm)≤2⋅exp(−3c12lnn)=2n3c121=o(n1)
Advanced Algorithm 听课笔记（Useful Inequalities Balls and Bins）相关推荐
- Flink在美团的应用与实践听课笔记
本文系<Flink在美团的应用与实践>的听课笔记 原始视频视频资源已经在优酷公开:2018.8.11 Flink China Meetup·北京站-Flink在美团的应用与实践 作者:刘迪 ...
- AI：《人工智能+制造(智能制造)产业发展的现状、影响、+互联网、未来展望》演讲听课笔记
AI:<人工智能+制造(智能制造)产业发展的现状.影响.+互联网.未来展望>演讲听课笔记 目录 人工智能+制造"产业发展研究报告 1.人工智能+制造的现状 1.1.为什么要研究& ...
- DayDayUp：《机器崛起前传》第二十二章【蹒跚而来】读后感(文章源自网络)—听课笔记
DayDayUp:<机器崛起前传>第二十二章[蹒跚而来]读后感(文章源自网络)-听课笔记 <机器崛起前传> 1.机器岂不能有自我? 计算机的发展历程可谓蹒跚.从 ...
- BlockChain：《Blockchain Gate》听课笔记——区块链的1.0架构 VS 区块链3.0架构+个人理解
BlockChain:<Blockchain Gate>听课笔记--区块链的1.0架构 VS 区块链3.0架构+个人理解 相关文章 BlockChain:<Blockchain G ...
- BlockChain：《Blockchain Gate》听课笔记——以POW机制为例阐述共识机制的激励相容设计
BlockChain:<Blockchain Gate>听课笔记--以POW机制为例阐述共识机制的激励相容设计 导读 区块链技术通过巧妙的经济激励和技术设计,创造了一种新型自由 ...
- BlockChain：《Blockchain Gate》听课笔记——区块链构筑的比特世界 VS 现实的原子世界
BlockChain:<Blockchain Gate>听课笔记--区块链构筑的比特世界 VS 现实的原子世界 目录 比特世界的理解 区块链划分了比特世界和原子世界 比特世界当前发展状况 ...
- BlockChain：《Blockchain Gate》听课笔记——区块链的共识机制—简介、理解、畅谈
BlockChain:<Blockchain Gate>听课笔记--区块链的共识机制-简介.理解.畅谈 以下资源为各种渠道的网络收集和个人总结 目录 区块链--比特币中的共识机制 现阶段区 ...
- 元计算：《元计算破解生命密码》听课笔记
元计算:<元计算破解生命密码>听课笔记 目录 元计算背景 元计算技术 元计算系统 <元计算破解生命密码>听课笔记 问题提出 元计算理论引入 元计算意义 元计算背景 元计算技术 ...
- BlockChain：《区块链技术在医疗领域应用分析》—中投顾问《2016-2020年区块链技术深度调研及投资前景预测报告》听课笔记
BlockChain:<区块链技术在医疗领域应用分析>听课笔记 导读 医疗行业接纳区块链技术的时间相对来说比较晚,不过并没错过应用区块链的时机.区块链技术正在改变全球医疗行业,逐 ...
- BlockChain：《世界经济论坛：区块链将如何重塑金融业？》—20160812—听课笔记
BlockChain:<世界经济论坛:区块链将如何重塑金融业?>-20160812-听课笔记 导读 2016年8月12日,世界经济论坛(World Economic Foru ...
最新文章
- pytorch2——Pytorch基础数据结构——张量(深度之眼)
- Solaris10下NDOUtils的安装
- linux bash shell for 循环使用简介
- MATLAB函数gensurf,matlab模糊逻辑（二）
- okhttp上传图片和其他参数_Android中Okhttp3实现上传多张图片同时传递参数_放手_前端开发者...
- 在计算机网络系统的远程通信中,在计算机网络系统的远程通信中，通常采用的传输技术是...
- extract-text-webpack-plugin用法
- java系列7:构造方法
- 模拟实现和深入理解Node Stream内部机制
- hashmap 和 hashtable 的区别和联系
- oracle mysql数据库管理工具下载_Oracle数据库管理工具PC版-Oracle数据库管理工具下载v15.0.21.0(32/64)-IE浏览器中文网站...
- 智能车PCB设计思路
- php工厂模式计算器,php设计模式之工厂模式(工厂模式实现计算器功能)
- 9-11-12 h5总结~文档对象模型、点击事件
- 栈和队列的应用（迷宫问题）
- linux reedme常用单词,【每天打卡记单词】高中英语必背单词3500（Q/R）
- React + TS项目开发小技巧总结
- PS 修改图片上的文字内容但保留文字格式
- 计算机学院吉林大学夏令营,2020年吉林大学计算机科学与技术学院夏令营接收推免生条件...
- 北大青鸟java项目实践_s2 北大青鸟Java S2 八个上机考试项目 Develop 249万源代码下载- www.pudn.com...
热门文章
- 转专业申请麦吉尔大学计算机,我在麦吉尔大学学习数学专业……
- 水星无线网卡代理服务器端口,水星(Mercury)MW150U 3.0/4.0无线网卡AP模式设置
- python turtle 海龟画图歌尔号 火箭 三体 地球
- 教你如何使用u盘安装Linux系统,手把手教你如何使用u盘安装Linux系统
- 运维审计平台之堡垒机和跳板机
- 通俗地讲一下庞加莱猜想是怎么回事(from 鼓浪）
- Linux修改网卡地址（临时/永久）
- OSChina 周一乱弹 —— 这片城市都会属于你，而你属于我
- xp隐藏桌面计算机图标不见了怎么办,XP系统桌面IE图标不见了怎么办？IE图标消失了怎么恢复？...
- 关于常用第三方统计平台比较