UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数

首先我们在欧氏空间(Rn,B(Rn))(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n))(Rn,B(Rn))上建立高斯概率测度γn\gamma_nγn，满足∀B∈B(Rn)\forall B \in \mathcal{B}(\mathbb{R}^n)∀B∈B(Rn)，
γn(B)=∫B1(2π)n/2e−∥x∥222dx\gamma_n(B) = \int_B \frac{1}{(2\pi)^{n/2}}e^{-\frac{\left\| x\right\|_2^2}{2}}dxγn(B)=∫B(2π)n/21e−2∥x∥22dx

则(Rn,B(Rn),γn)(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n),\gamma_n)(Rn,B(Rn),γn)成为一个概率空间。

Gaussian Isoperimetric不等式 ∀ϵ>0\forall \epsilon>0∀ϵ>0，arg min⁡A∈B(Rn)γn(Aϵ)\argmin_{A \in \mathcal{B}(\mathbb{R}^n)} \gamma_n(A_{\epsilon})A∈B(Rn)argminγn(Aϵ)是一个half space。这里半空间指的是
{x=(x1,⋯,xn)∈Rn:∃i∈{1,⋯,n},xi≤c,c∈R}\{x = (x_1,\cdots,x_n) \in \mathbb{R}^n:\exists i \in \{1,\cdots,n\},x_i \le c,c \in \mathbb{R}\}{x=(x1,⋯,xn)∈Rn:∃i∈{1,⋯,n},xi≤c,c∈R}

并且如果γn(A)≥1/2\gamma_n(A) \ge 1/2γn(A)≥1/2，则γ(At)≥1−e−ct2,∃c>0\gamma(A_t) \ge 1-e^{-ct^2},\exists c>0γ(At)≥1−e−ct2,∃c>0。

证明
我们简单讨论一下并且之后的一段。

用HHH表示一个半空间：
{x=(x1,⋯,xn)∈Rn:x1≤0}\{x = (x_1,\cdots,x_n) \in \mathbb{R}^n:x_1\le 0\}{x=(x1,⋯,xn)∈Rn:x1≤0}

则γn(H)=1/2\gamma_n(H)=1/2γn(H)=1/2，于是
γn(Ht)=P(X∈Ht)=P(X1≤t)≥1−e−t2/2\gamma_n(H_t) = P(X \in H_t) = P(X_1 \le t) \ge 1-e^{-t^2/2}γn(Ht)=P(X∈Ht)=P(X1≤t)≥1−e−t2/2

这是标准正态分布的tail bound。如果γn(A)≥1/2\gamma_n(A) \ge 1/2γn(A)≥1/2，显然
γ(At)≥γ(Ht)≥1−e−t2/2\gamma(A_t) \ge \gamma(H_t) \ge 1-e^{-t^2/2}γ(At)≥γ(Ht)≥1−e−t2/2

Gaussian concentration不等式
X∼N(0,In)X \sim N(0,I_n)X∼N(0,In)，f:Rn→Rf:\mathbb{R}^n \to \mathbb{R}f:Rn→R是一个Lipschitz函数，则
∥f(X)−Ef(X)∥ψ2≤C∥f∥Lip\left\| f(X) - Ef(X) \right\|_{\psi_2} \le C \left\| f \right\|_{Lip}∥f(X)−Ef(X)∥ψ2≤C∥f∥Lip

证明
这个不等式的证明技术与上一讲的球面分布的Lipschitz函数一样，先说明f(X)−Mf(X)-Mf(X)−M是亚高斯的，然后用centering技巧得到结论。假设∥f∥Lip=1\left\| f\right\|_{Lip}=1∥f∥Lip=1，不然我们总是可以分析f/∥f∥Lipf/\left\| f\right\|_{Lip}f/∥f∥Lip，

第一步：f(X)−Mf(X)-Mf(X)−M是亚高斯的，其中MMM是f(X)f(X)f(X)的中位数，也就是
P(f(X)≥M)≥1/2,P(f(X)≤M)≥1/2P(f(X) \ge M) \ge 1/2,P(f(X) \le M) \ge 1/2P(f(X)≥M)≥1/2,P(f(X)≤M)≥1/2

定义
A={x∈Rn:f(x)≤M}A = \{x \in \mathbb{R}^n:f(x) \le M\}A={x∈Rn:f(x)≤M}

则
σ(A)=P(X∈A)=P(f(X)≤M)≥1/2\sigma(A) = P(X \in A) = P(f(X) \le M) \ge 1/2σ(A)=P(X∈A)=P(f(X)≤M)≥1/2

根据Gaussian Isoperimetric不等式，
γn(At)≥1−e−t2/2\gamma_n(A_t) \ge 1-e^{-t^2/2}γn(At)≥1−e−t2/2

因为x∈Atx \in A_tx∈At说明∃y∈A\exists y \in A∃y∈A, ∥x−y∥2≤t\left\| x-y \right\|_2 \le t∥x−y∥2≤t，根据Lipschitz函数的定义：
f(x)−f(y)≤∥f∥Lip∥x−y∥2≤tf(x)-f(y) \le \left\| f \right\|_{Lip}\left\| x-y \right\|_2 \le tf(x)−f(y)≤∥f∥Lip∥x−y∥2≤t

y∈Ay \in Ay∈A说明f(y)≤Mf(y) \le Mf(y)≤M，所以
f(x)≤f(y)+t≤M+tf(x) \le f(y)+t \le M+tf(x)≤f(y)+t≤M+t

因此

P(f(X)−M≤t)≥P(X∈At)=σ(At)≥1−e−t2/2P(f(X)-M \le t) \ge P(X \in A_t)=\sigma(A_t) \ge 1-e^{-t^2/2}P(f(X)−M≤t)≥P(X∈At)=σ(At)≥1−e−t2/2

类似地，对于f(X)−M≥−tf(X)-M \ge -tf(X)−M≥−t，我们有
P(f(X)−M≥−t)≥1−e−t2/2P(f(X)-M \ge -t) \ge 1-e^{-t^2/2}P(f(X)−M≥−t)≥1−e−t2/2

所以
P(∣f(X)−M∣≥t)≤2e−t2/2P(|f(X)-M| \ge t) \le 2e^{-t^2/2}P(∣f(X)−M∣≥t)≤2e−t2/2

第二步：使用centering技巧，假设XXX是亚高斯随机变量，则X−EXX-EXX−EX也是亚高斯随机变量，并且存在常数CCC使得
∥X−EX∥ψ2≤C∥X∥ψ2\left\| X-EX \right\|_{\psi_2} \le C\left\| X \right\|_{\psi_2}∥X−EX∥ψ2≤C∥X∥ψ2

因为f(X)−Mf(X)-Mf(X)−M是亚高斯的，于是f(X)−M−E[f(X)−M]=f(X)−Ef(X)f(X)-M-E[f(X)-M]=f(X)-Ef(X)f(X)−M−E[f(X)−M]=f(X)−Ef(X)也是亚高斯的，证毕。

UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数相关推荐

UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声
UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声社区发现的Spectral Clustering算法复习用矩阵Be ...
UA MATH567 高维统计IV Lipschitz组合10 随机矩阵的Bernstein不等式
UA MATH567 高维统计IV Lipschitz组合10 随机矩阵的Bernstein不等式随机矩阵的Bernstein不等式假设X1,⋯,XNX_1,\cdots,X_NX1,⋯,XN ...
UA MATH567 高维统计IV Lipschitz组合9 矩阵函数、半正定序与迹不等式
UA MATH567 高维统计IV Lipschitz组合9 矩阵函数.半正定序与迹不等式矩阵函数半正定序(positive semi-definite order, PSD order) 迹不等 ...
UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理
UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理 John-Lindenstrauss引理 Random Projection John ...
UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布
UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布用SnS_nSn表示一个对称群,为简化起见,我们假设SnS_nSn包含{1,2,⋯,n}\{1,2,\cdots, ...
UA MATH567 高维统计IV Lipschitz组合2 Spherical Distribution的Lipschitz函数 Isoperimetric不等式
UA MATH567 高维统计IV Lipschitz组合2 Spherical Distribution的Lipschitz函数这一讲我们先介绍最简单的高维分布,也就是球面分布的Lipschitz ...
UA MATH567 高维统计IV Lipschitz组合1 Lipschitz函数
UA MATH567 高维统计IV Lipschitz组合1 Lipschitz函数高维统计的第二部分与第三部分分别讨论了基于亚高斯性导出的随机向量与随机矩阵的concentration inequ ...
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式这一讲我们介绍基于Lipschitz性导出概率不等式的思路,这个思路在下一讲正式进入随机向量之后应用非常广泛.但这一讲我们先 ...
UA MATH567 高维统计专题3 含L1-norm的凸优化2 Proximal Gradient Descent
UA MATH567 高维统计专题3 含L1-norm的凸优化2 Proximal Gradient Descent Proximal Gradient Descent的公式推导 Proximal O ...

UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数

UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数

UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数相关推荐

最新文章

热门文章