UA MATH567 高维统计II 随机向量7 Grothendieck不等式

上一讲我们介绍了用半正定规划近似一个整数规划的方法，要证明这种近似与原整数规划解的大小关系，我们需要Grothendieck不等式，所以这一讲我们证明这个不等式：

Grothendieck不等式
AAA是m×nm \times nm×n的实矩阵，xi,yj∈{−1,1}x_i,y_j \in \{-1,1\}xi,yj∈{−1,1}，假设∣∑i,jAijxiyj∣≤1|\sum_{i,j}A_{ij}x_iy_j| \le 1∣∑i,jAijxiyj∣≤1，则∀H\forall H∀H(Hilbert space)，∀ui,vj∈H\forall u_i,v_j \in H∀ui,vj∈H，∥ui∥=∥vj∥=1\left\| u_i \right\|=\left\| v_j \right\|=1∥ui∥=∥vj∥=1，
∣∑i,jAi,j⟨ui,vj⟩∣≤K,K≤1.783|\sum_{i,j}A_{i,j}\langle u_i,v_j \rangle| \le K,K \le 1.783∣i,j∑Ai,j⟨ui,vj⟩∣≤K,K≤1.783

证明
首先我们分析一下这个不等式的条件，xi,yj∈{−1,1}x_i,y_j \in \{-1,1\}xi,yj∈{−1,1}，∣∑i,jAijxiyj∣≤1|\sum_{i,j}A_{ij}x_iy_j| \le 1∣∑i,jAijxiyj∣≤1，它等价于
∣∑i,jAijxiyj∣≤max⁡∣xi∣max⁡∣yj∣|\sum_{i,j}A_{ij}x_iy_j| \le \max |x_i| \max |y_j|∣i,j∑Aijxiyj∣≤max∣xi∣max∣yj∣

如果xi,yj∈{−1,1}x_i,y_j \in \{-1,1\}xi,yj∈{−1,1}，∣∑i,jAijxiyj∣≤1|\sum_{i,j}A_{ij}x_iy_j| \le 1∣∑i,jAijxiyj∣≤1成立，显然
∣∑i,jAijxiyj∣≤max⁡∣xi∣max⁡∣yj∣|\sum_{i,j}A_{ij}x_iy_j| \le \max |x_i| \max |y_j|∣i,j∑Aijxiyj∣≤max∣xi∣max∣yj∣

如果∣∑i,jAijxiyj∣≤max⁡∣xi∣max⁡∣yj∣|\sum_{i,j}A_{ij}x_iy_j| \le \max |x_i| \max |y_j|∣∑i,jAijxiyj∣≤max∣xi∣max∣yj∣成立，则
∣∑i,jAijximax⁡∣xi∣yjmax⁡∣yj∣∣≤1|\sum_{i,j}A_{ij}\frac{x_i}{\max |x_i|} \frac{y_j}{\max |y_j|}| \le 1∣i,j∑Aijmax∣xi∣ximax∣yj∣yj∣≤1

显然ximax⁡∣xi∣,yjmax⁡∣yj∣\frac{x_i}{\max |x_i|}, \frac{y_j}{\max |y_j|}max∣xi∣xi,max∣yj∣yj都在[−1,1][-1,1][−1,1]上取值，注意到∑i,jAijxiyj\sum_{i,j}A_{ij}x_iy_j∑i,jAijxiyj是一个线性函数，它的最优解一定是角点解，所以xi,yj∈{−1,1}x_i,y_j \in \{-1,1\}xi,yj∈{−1,1}，∣∑i,jAijxiyj∣≤1|\sum_{i,j}A_{ij}x_iy_j| \le 1∣∑i,jAijxiyj∣≤1；

与之类似，我们可以分析一下结论，∀H\forall H∀H(Hilbert space)，∀ui,vj∈H\forall u_i,v_j \in H∀ui,vj∈H，∥ui∥=∥vj∥=1\left\| u_i \right\|=\left\| v_j \right\|=1∥ui∥=∥vj∥=1，
∣∑i,jAi,j⟨ui,vj⟩∣≤K,K≤1.783|\sum_{i,j}A_{i,j}\langle u_i,v_j \rangle| \le K,K \le 1.783∣i,j∑Ai,j⟨ui,vj⟩∣≤K,K≤1.783

等价于∀H\forall H∀H(Hilbert space)，∀ui,vj∈H\forall u_i,v_j \in H∀ui,vj∈H
∣∑i,jAi,j⟨ui,vj⟩∣≤Kmax⁡i∥ui∥max⁡j∥vj∥|\sum_{i,j}A_{i,j}\langle u_i,v_j \rangle| \le K\max_i\left\| u_i \right\| \max_j \left\| v_j \right\|∣i,j∑Ai,j⟨ui,vj⟩∣≤Kimax∥ui∥jmax∥vj∥

第一步，Reduction (先证明一个更弱的结果，即KKK与AAA相关)

引入K(A)K(A)K(A)，
K(A)=inf⁡{K:∣∑i,jAi,j⟨ui,vj⟩∣≤Kmax⁡i∥ui∥max⁡j∥vj∥}K(A) = \inf\{K:|\sum_{i,j}A_{i,j}\langle u_i,v_j \rangle| \le K\max_i\left\| u_i \right\| \max_j \left\| v_j \right\|\}K(A)=inf{K:∣i,j∑Ai,j⟨ui,vj⟩∣≤Kimax∥ui∥jmax∥vj∥}

显然
K(A)≤∑∣Aij∣K(A) \le \sum |A_{ij}|K(A)≤∑∣Aij∣

假设{ui},{vj}\{u_i\},\{v_j\}{ui},{vj}是使得K(A)K(A)K(A)成为最小的ui,vj∈Hu_i,v_j \in Hui,vj∈H，从而
∑i,jAi,j⟨ui,vj⟩=K(A)\sum_{i,j}A_{i,j}\langle u_i,v_j \rangle = K(A)i,j∑Ai,j⟨ui,vj⟩=K(A)

第二步，Randomness
定义g∼N(0,IN)g \sim N(0,I_N)g∼N(0,IN)，N=n+mN = n+mN=n+m，定义Ui=⟨g,ui⟩,Vj=⟨g,vj⟩U_i = \langle g,u_i\rangle,V_j = \langle g,v_j\rangleUi=⟨g,ui⟩,Vj=⟨g,vj⟩，则Ui,VjU_i,V_jUi,Vj都是标准正态随机变量，
E[UiVj]=⟨ui,vj⟩E[U_iV_j] = \langle u_i,v_j\rangleE[UiVj]=⟨ui,vj⟩

所以
K(A)=∑i,jAi,j⟨ui,vj⟩=∑i,jAi,jE[UiVj]=E∑i,jAijUiVjK(A) = \sum_{i,j}A_{i,j}\langle u_i,v_j \rangle = \sum_{i,j}A_{i,j}E[U_iV_j] = E \sum_{i,j}A_{ij}U_iV_jK(A)=i,j∑Ai,j⟨ui,vj⟩=i,j∑Ai,jE[UiVj]=Ei,j∑AijUiVj

第三步，Truncation

定义R>1R>1R>1，
Ui=Ui−+Ui+=Ui1∣Ui∣≤R+Ui1∣Ui∣>RVj=Vj−+Vj+=Vj1∣Vj∣≤R+Vj1∣Vj∣>RU_i = U_i^-+U_i^+ = U_i1_{|U_i| \le R}+U_i1_{|U_i|>R} \\ V_j= V_j^-+V_j^+ = V_j1_{|V_j| \le R}+V_j1_{|V_j|>R}Ui=Ui−+Ui+=Ui1∣Ui∣≤R+Ui1∣Ui∣>RVj=Vj−+Vj+=Vj1∣Vj∣≤R+Vj1∣Vj∣>R

显然Ui−,Vj−U_i^-,V_j^-Ui−,Vj−都是有界的，考虑
∥Ui+∥22≤2(R+1R)12πe−R2/2≤4R2\left\| U_i^+ \right\|_2^2 \le 2(R+\frac{1}{R})\frac{1}{\sqrt{2\pi}}e^{-R^2/2} \le \frac{4}{R^2}∥∥Ui+∥∥22≤2(R+R1)2π1e−R2/2≤R24

同样的
∥Vj+∥22≤4R2\left\| V_j^+ \right\|_2^2 \le \frac{4}{R^2}∥∥Vj+∥∥22≤R24

第四步，计算
K(A)=E∑i,jAijUiVj=E∑i,jAij(Ui−+Ui+)(Vj−+Vj+)=∑i,jAijEUi−Vj−+∑i,jAijEUi−Vj++∑i,jAijEUi+Vj−+∑i,jAijEUi+Vj+K(A) = E \sum_{i,j}A_{ij}U_iV_j = E \sum_{i,j}A_{ij}(U_i^-+U_i^+)(V_j^-+V_j^+) \\ = \sum_{i,j}A_{ij}EU_i^-V_j^-+\sum_{i,j}A_{ij}EU_i^-V_j^++\sum_{i,j}A_{ij}EU_i^+V_j^-+\sum_{i,j}A_{ij}EU_i^+V_j^+ K(A)=Ei,j∑AijUiVj=Ei,j∑Aij(Ui−+Ui+)(Vj−+Vj+)=i,j∑AijEUi−Vj−+i,j∑AijEUi−Vj++i,j∑AijEUi+Vj−+i,j∑AijEUi+Vj+

先分析一下第三项，根据Cauchy-Schwarz不等式
∑i,jAijEUi+Vj−≤∑i,jAij∥Ui+∥2∥Vj−∥2≤K(A)max⁡∥Ui+∥2max⁡∥Vj−∥2≤2K(A)R\sum_{i,j}A_{ij}EU_i^+V_j^- \le \sum_{i,j}A_{ij}\left\| U_i^+ \right\|_2 \left\| V_j^- \right\|_2 \\ \le K(A) \max \left\| U_i^+ \right\|_2 \max \left\| V_j^- \right\|_2 \le \frac{2K(A)}{R}i,j∑AijEUi+Vj−≤i,j∑Aij∥∥Ui+∥∥2∥∥Vj−∥∥2≤K(A)max∥∥Ui+∥∥2max∥∥Vj−∥∥2≤R2K(A)

第二项与之类似，所以
K(A)≤R2+6K(A)RK(A) \le R^2+\frac{6K(A)}{R}K(A)≤R2+R6K(A)

注意到这时的K(A)K(A)K(A)就和AAA没有关系了，于是我们记为KKK，考虑RRR的不同取值，我们可以得到KKK的不同的上界。

UA MATH567 高维统计II 随机向量7 Grothendieck不等式相关推荐

UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick
UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二:kernel trick 在介绍亚高斯随机向量的更多应用之前,我们先简单介绍一下核方法(kernel t ...
UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数
UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数我们来做上一讲剩下的kernel的构造,完成Grothendieck不等式的证明中的kernel trick ...
UA MATH567 高维统计II 随机向量9 图的Max-cut问题 0.878近似算法
UA MATH567 高维统计II 随机向量9 图的Max-cut问题 0.878近似算法上一讲我们用整数规划对MAX-CUT问题建了模,CUT(G,x)=12∑xixj=−1Aij=14∑i,jA ...
UA MATH567 高维统计II 随机向量6 亚高斯随机向量的应用: 半正定规划
UA MATH567 高维统计II 随机向量6 亚高斯随机向量的应用: 半正定规划半正定规划(semidefinite programming, SDP)是凸优化的一个分支: max⁡X⟨A,X⟩s ...
UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法的运行时间分析
UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法的运行时间分析我们之前讨论了图的max-cut问题的0.5近似算法,也就是给定一张图,按掷硬币的概率决定是否切开 ...
UA MATH567 高维统计II 随机向量8 图的max-cut问题 0.5近似算法
UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法前两讲讨论了随机向量的概率不等式的一个应用:半正定规划近似求解整数规划,这一讲我们讨论它的另一个应用--图的ma ...
UA MATH567 高维统计II 随机向量5 亚高斯随机向量
UA MATH567 高维统计II 随机向量5 亚高斯随机向量这一讲我们将亚高斯分布推广到高维. 亚高斯随机向量 XXX是一个nnn维随机向量,称XXX是亚高斯随机向量如果∀x∈Sn−1\foral ...
UA MATH567 高维统计II 随机向量4 Frame、凸性与各向同性
UA MATH567 高维统计II 随机向量4 Frame.凸性与各向同性上一讲末尾我们介绍了frame作为标准正交基的推广的概念,我们称{ui}i=1N,ui∈Rn\{u_i\}_{i=1}^N, ...
UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布
UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布 Spherical Distribution Symmetric Bernoulli Distribution 正态分布 Fr ...

UA MATH567 高维统计II 随机向量7 Grothendieck不等式

UA MATH567 高维统计II 随机向量7 Grothendieck不等式

UA MATH567 高维统计II 随机向量7 Grothendieck不等式相关推荐

最新文章

热门文章