UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布

用SnS_nSn表示一个对称群，为简化起见，我们假设SnS_nSn包含{1,2,⋯,n}\{1,2,\cdots,n\}{1,2,⋯,n}上的所有置换，则SnS_nSn有n!n!n!个元素。我们可以在SnS_nSn上引入度量使之成为度量空间：∀σ,τ∈Sn\forall \sigma,\tau \in S_n∀σ,τ∈Sn，引入normalized Hamming distance
d(σ,τ)=1n∑i=1n1σ(i)≠τ(i)d(\sigma,\tau) = \frac{1}{n} \sum_{i=1}^n 1_{\sigma(i) \ne \tau (i)}d(σ,τ)=n1i=1∑n1σ(i)=τ(i)

以S5S_5S5为例，假设
σ=(1234523451),τ=(1234535421)\sigma = \left( \begin{matrix} 1& 2& 3& 4& 5 \\ 2 & 3& 4 & 5 & 1 \end{matrix} \right),\tau = \left( \begin{matrix} 1& 2& 3& 4& 5 \\ 3 & 5& 4 & 2 & 1 \end{matrix} \right)σ=(1223344551),τ=(1325344251)

这种记号表示置换σ\sigmaσ把上一行的指标置换为下一行的对应指标，于是
σ(1)=2≠3=τ(1)σ(2)=3≠5=τ(2)σ(4)=5≠2=τ(4)\sigma(1) = 2 \ne 3 = \tau(1) \\ \sigma(2) = 3 \ne 5 = \tau(2)\\ \sigma(4) = 5 \ne 2 = \tau(4)σ(1)=2=3=τ(1)σ(2)=3=5=τ(2)σ(4)=5=2=τ(4)

所以
d(σ,τ)=3/5d(\sigma,\tau)=3/5d(σ,τ)=3/5

接下来，我们可以在度量空间(Sn,d)(S_n,d)(Sn,d)上定义Borel代数，用B(Sn)\mathcal{B}(S_n)B(Sn)来表示，这样我们就有了一个可测空间(Sn,B(Sn))(S_n,\mathcal{B}(S_n))(Sn,B(Sn))，在这个可测空间上，我们用古典概型的思路定义均匀概率测度：
P(A)=∣A∣n!,∀A∈B(Sn)P(A) = \frac{|A|}{n!},\forall A \in \mathcal{B}(S_n)P(A)=n!∣A∣,∀A∈B(Sn)

综上，我们在nnn阶对称群上定义了概率空间：(Sn,B(Sn),P)(S_n,\mathcal{B}(S_n),P)(Sn,B(Sn),P)。

假设XXX是对称群上的均匀分布，记为X∼Unif(Sn)X \sim Unif(S_n)X∼Unif(Sn)，则我们有如下结论：

对称群上的均匀分布的Lipschitz函数是亚高斯的
f:Sn→Rf:S_n \to \mathbb{R}f:Sn→R是均匀分布，则∃C>0\exists C>0∃C>0
∥f(X)−Ef(X)∥ψ2≤C∥f∥Lipn\left\| f(X) - Ef(X)\right\|_{\psi_2} \le \frac{C \left\| f \right\|_{Lip}}{\sqrt{n}}∥f(X)−Ef(X)∥ψ2≤nC∥f∥Lip

评注
在尝试证明这个结论之前，我们先按照惯例推一下对称群上的Isoperimetric不等式，∀A∈B(Sn)\forall A \in \mathcal{B}(S_n)∀A∈B(Sn)，定义
At={x∈Sn:∃y∈A,d(x,y)≤t}A_t = \{x \in S_n:\exists y \in A,d(x,y) \le t\}At={x∈Sn:∃y∈A,d(x,y)≤t}

如果0≤t<1/n0 \le t<1/n0≤t<1/n，则At=AA_t=AAt=A，如果1/n≤t<2/n1/n \le t<2/n1/n≤t<2/n，则AtA_tAt包含所有与AAA中的置换不超过一位不相同的所有置换；如果k/n≤t<(k+1)/nk/n \le t<(k+1)/nk/n≤t<(k+1)/n，则AtA_tAt包含所有与AAA中的置换不超过kkk(注意到k=[nt]k=[nt]k=[nt])位不相同的所有置换。现在假设P(A)>1/2P(A)>1/2P(A)>1/2，则
P(At)=P({x∈Sn:∃y∈A,d(x,y)≤t})P(A_t) = P(\{x \in S_n:\exists y \in A,d(x,y) \le t\})P(At)=P({x∈Sn:∃y∈A,d(x,y)≤t})

用XXX表示置换x,yx,yx,y的差别，相同位记为000，不相同记为000，则XXX的取值在Hamming cube {0,1}n\{0,1\}^n{0,1}n上，d(x,y)≤td(x,y) \le td(x,y)≤t说明
∑i=1nXi≤[nt]\sum_{i=1}^n X_i \le [nt]i=1∑nXi≤[nt]

因此，如果X∼Unif({−1,1}n)X \sim Unif(\{-1,1\}^n)X∼Unif({−1,1}n)
P({x∈Sn:∃y∈A,d(x,y)≤t})≥P(∑i=1n(Xi+1)/2≤[nt])P(\{x \in S_n:\exists y \in A,d(x,y) \le t\})\ge P(\sum_{i=1}^n (X_i+1)/2 \le [nt])P({x∈Sn:∃y∈A,d(x,y)≤t})≥P(i=1∑n(Xi+1)/2≤[nt])

Unif({−1,1}n)Unif(\{-1,1\}^n)Unif({−1,1}n)是一个亚高斯随机向量，根据推广Hoeffding不等式，∃C>0\exists C>0∃C>0

P(∑i=1nXi/2≤a)≥1−2exp⁡(−Ca2/n)P(\sum_{i=1}^n X_i /2 \le a) \ge 1-2 \exp \left( -Ca^2/n \right)P(i=1∑nXi/2≤a)≥1−2exp(−Ca2/n)

所以∃C>0\exists C>0∃C>0
P(∑i=1n(Xi+1)/2≤[nt])≥1−2exp⁡(−Cnt2)P(\sum_{i=1}^n (X_i+1)/2 \le [nt]) \ge 1-2\exp(-Cnt^2)P(i=1∑n(Xi+1)/2≤[nt])≥1−2exp(−Cnt2)

这样我们就得到了对称群上的Isoperimetric不等式。

证明
假设∥f∥Lip=1\left\| f\right\|_{Lip}=1∥f∥Lip=1，不然我们总是可以分析f/∥f∥Lipf/\left\| f\right\|_{Lip}f/∥f∥Lip，

第一步：说明f(X)−Mf(X)-Mf(X)−M是亚高斯的，其中MMM是f(X)f(X)f(X)的中位数，也就是
P(f(X)≥M)≥1/2,P(f(X)≤M)≥1/2P(f(X) \ge M) \ge 1/2,P(f(X) \le M) \ge 1/2P(f(X)≥M)≥1/2,P(f(X)≤M)≥1/2

定义
A={x∈Sn:f(x)≤M}A = \{x \in S_n:f(x) \le M\}A={x∈Sn:f(x)≤M}

则
σ(A)=P(X∈A)=P(f(X)≤M)≥1/2\sigma(A) = P(X \in A) = P(f(X) \le M) \ge 1/2σ(A)=P(X∈A)=P(f(X)≤M)≥1/2

根据对称群上的Isoperimetric不等式，
P(At)≥1−2e−Cnt2,∃C>0P(A_t) \ge 1-2e^{-Cnt^2},\exists C>0P(At)≥1−2e−Cnt2,∃C>0

因为x∈Atx \in A_tx∈At说明∃y∈A\exists y \in A∃y∈A, d(x,y)≤td(x,y) \le td(x,y)≤t，根据Lipschitz函数的定义：
f(x)−f(y)≤∥f∥Lipd(x,y)≤tf(x)-f(y) \le \left\| f \right\|_{Lip}d(x,y) \le tf(x)−f(y)≤∥f∥Lipd(x,y)≤t

y∈Ay \in Ay∈A说明f(y)≤Mf(y) \le Mf(y)≤M，所以
f(x)≤f(y)+t≤M+tf(x) \le f(y)+t \le M+tf(x)≤f(y)+t≤M+t

因此

P(f(X)−M≤t)≥P(X∈At)=P(At)≥1−2e−Cnt2P(f(X)-M \le t) \ge P(X \in A_t)=P(A_t) \ge 1-2e^{-Cnt^2}P(f(X)−M≤t)≥P(X∈At)=P(At)≥1−2e−Cnt2

类似地，对于f(X)−M≥−tf(X)-M \ge -tf(X)−M≥−t，我们有
P(f(X)−M≥−t)≥1−2e−Cnt2P(f(X)-M \ge -t) \ge 1-2e^{-Cnt^2}P(f(X)−M≥−t)≥1−2e−Cnt2

所以
P(∣f(X)−M∣≥t)≤4e−Cnt2P(|f(X)-M| \ge t) \le 4e^{-Cnt^2}P(∣f(X)−M∣≥t)≤4e−Cnt2

第二步：使用centering技巧，假设XXX是亚高斯随机变量，则X−EXX-EXX−EX也是亚高斯随机变量，并且存在常数CCC使得
∥X−EX∥ψ2≤C∥X∥ψ2\left\| X-EX \right\|_{\psi_2} \le C\left\| X \right\|_{\psi_2}∥X−EX∥ψ2≤C∥X∥ψ2

因为f(X)−Mf(X)-Mf(X)−M是亚高斯的，于是f(X)−M−E[f(X)−M]=f(X)−Ef(X)f(X)-M-E[f(X)-M]=f(X)-Ef(X)f(X)−M−E[f(X)−M]=f(X)−Ef(X)也是亚高斯的，证毕。

UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布相关推荐

UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声
UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声社区发现的Spectral Clustering算法复习用矩阵Be ...
UA MATH567 高维统计IV Lipschitz组合10 随机矩阵的Bernstein不等式
UA MATH567 高维统计IV Lipschitz组合10 随机矩阵的Bernstein不等式随机矩阵的Bernstein不等式假设X1,⋯,XNX_1,\cdots,X_NX1,⋯,XN ...
UA MATH567 高维统计IV Lipschitz组合9 矩阵函数、半正定序与迹不等式
UA MATH567 高维统计IV Lipschitz组合9 矩阵函数.半正定序与迹不等式矩阵函数半正定序(positive semi-definite order, PSD order) 迹不等 ...
UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理
UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理 John-Lindenstrauss引理 Random Projection John ...
UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数
UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数首先我们在欧氏空间(Rn,B(Rn))(\mathbb{R}^n,\mathcal{B}(\mathbb ...
UA MATH567 高维统计IV Lipschitz组合2 Spherical Distribution的Lipschitz函数 Isoperimetric不等式
UA MATH567 高维统计IV Lipschitz组合2 Spherical Distribution的Lipschitz函数这一讲我们先介绍最简单的高维分布,也就是球面分布的Lipschitz ...
UA MATH567 高维统计IV Lipschitz组合1 Lipschitz函数
UA MATH567 高维统计IV Lipschitz组合1 Lipschitz函数高维统计的第二部分与第三部分分别讨论了基于亚高斯性导出的随机向量与随机矩阵的concentration inequ ...
UA MATH567 高维统计II 随机向量7 Grothendieck不等式
UA MATH567 高维统计II 随机向量7 Grothendieck不等式上一讲我们介绍了用半正定规划近似一个整数规划的方法,要证明这种近似与原整数规划解的大小关系,我们需要Grothendie ...
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式这一讲我们介绍基于Lipschitz性导出概率不等式的思路,这个思路在下一讲正式进入随机向量之后应用非常广泛.但这一讲我们先 ...

UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布

UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布

UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布相关推荐

最新文章

热门文章