S Lemma

齐次的S Lemma表述如下：
给定矩阵A,B∈SnA, B\in\mathcal{S}^nA,B∈Sn并且假设存在x∈Rnx\in\mathbb{R}^nx∈Rn使得xTAx>0x^TAx>0xTAx>0，则
xTAx≥0implies xTBx≥0x^TAx\geq 0\text{ implies } x^TBx\geq 0 xTAx≥0 implies xTBx≥0
if and only if
∃λ≥0s.t. B⪰λA\exist \lambda\geq 0\text{ s.t. } B\succeq \lambda A ∃λ≥0 s.t. B⪰λA
反向证明很容易，假设B⪰λAB\succeq \lambda AB⪰λA对于某些λ≥0\lambda \geq 0λ≥0成立，即xTBx≥λxTAx≥0x^TBx\geq \lambda x^TAx\geq 0xTBx≥λxTAx≥0在xTAx≥0x^TAx\geq 0xTAx≥0时必然成立. 但是正向证明很难，需要使用semidefinite duality的结论，Ben-Tal，Ghaoui和Nemirovski使用过简单的随机化的思想证明，考虑如下SDP
min⁡Tr(BX)s.t.Tr(AX)≥0,X⪰0,Tr(X)=1\begin{aligned} &\min\quad Tr(BX)\\ &s.t. \quad Tr(AX)\geq 0, X\succeq 0, Tr(X)=1 \end{aligned} minTr(BX)s.t.Tr(AX)≥0,X⪰0,Tr(X)=1
由于问题严格可行，可以使用强对偶定理，令X=xxT/∥x∥22X=xx^T/\lVert x\rVert_2^2X=xxT/∥x∥22, 即xTAx>0x^TAx>0xTAx>0，设最优解为X∗X^*X∗，设拉格朗日乘子为Z⪰0,λ≥0,θ∈RZ\succeq 0, \lambda \geq 0, \theta\in\mathbb{R}Z⪰0,λ≥0,θ∈R，可以得到
L(X,Z,λ,θ)=Tr(BX)−λTr(AX)−Tr(ZX)+θ(Tr(X)−1)L(X, Z, \lambda, \theta)= Tr(BX)-\lambda Tr(AX)-Tr(ZX)+\theta(Tr(X)-1) L(X,Z,λ,θ)=Tr(BX)−λTr(AX)−Tr(ZX)+θ(Tr(X)−1)
对偶函数
inf⁡xL(X,Z,λ,θ)={−∞B−λA−Z+θI≠0−θO.W.\inf_x L(X, Z, \lambda, \theta)= \begin{cases} -\infty\quad B-\lambda A-Z+\theta I\neq 0\\ -\theta\quad O.W. \end{cases} xinfL(X,Z,λ,θ)={−∞B−λA−Z+θI=0−θO.W.
当最优值Tr(BX∗)=−θ∗≥0Tr(BX^*)=-\theta^*\geq 0Tr(BX∗)=−θ∗≥0，那么B=λA+Z−θ∗I⪰λAB=\lambda A+Z-\theta^*I\succeq \lambda AB=λA+Z−θ∗I⪰λA，令
{Aˉ=(X∗)12A(X∗)12Bˉ=(X∗)12B(X∗)12\begin{cases} \bar{A}=(X^*)^{\frac{1}{2}}A(X^*)^{\frac{1}{2}}\\ \bar{B}=(X^*)^{\frac{1}{2}}B(X^*)^{\frac{1}{2}} \end{cases} {Aˉ=(X∗)21A(X∗)21Bˉ=(X∗)21B(X∗)21
对Aˉ\bar{A}Aˉ进行特征值分解(eigen decomposition)得到
Aˉ=UΛUT\bar{A}=U\Lambda U^T Aˉ=UΛUT
令Z∈{−1,1}nZ\in\{-1, 1\}^nZ∈{−1,1}n为零均值的随机向量，且符号设置相互独立，则
(UZ)TAˉ(UZ)=(UZ)TUΛUTUZ=ZTΛZ=∑i=1nAii=Tr(Aˉ)=Tr(AX∗)≥0(UZ)^T\bar{A}(UZ)=(UZ)^TU\Lambda U^TUZ=Z^T\Lambda Z=\sum_{i=1}^nA_{ii}=Tr(\bar{A})=Tr(AX^*)\geq 0 (UZ)TAˉ(UZ)=(UZ)TUΛUTUZ=ZTΛZ=i=1∑nAii=Tr(Aˉ)=Tr(AX∗)≥0
对于任意向量Z∈{−1,1}nZ\in\{-1, 1\}^nZ∈{−1,1}n，可以得到
xTAx≥0⇒xTBx≥0=(UZ)TBˉ(UZ)x^TAx\geq 0\Rightarrow x^TBx\geq 0=(UZ)^T\bar{B}(UZ) xTAx≥0⇒xTBx≥0=(UZ)TBˉ(UZ)
取期望得到
0≤E(UZ)TBˉ(UZ)=ETr(ZTUTBˉUZ)=ETr(UTUˉUZZT)=Tr(BˉUUT)=Tr(Bˉ)=Tr(BX∗)0\leq \mathbb{E}(UZ)^T\bar{B}(UZ)=\mathbb{E}Tr(Z^TU^T\bar{B}UZ)=\mathbb{E}Tr(U^T\bar{U}UZZ^T)\\ =Tr(\bar{B}UU^T)=Tr(\bar{B})=Tr(BX^*) 0≤E(UZ)TBˉ(UZ)=ETr(ZTUTBˉUZ)=ETr(UTUˉUZZT)=Tr(BˉUUT)=Tr(Bˉ)=Tr(BX∗)
其中E[ZZT]=I\mathbb{E}[ZZ^T]=IE[ZZT]=I.

【OR】S Lemma相关推荐

NLP-文本处理：词形归一（Lemma）【英文】【把各种类型的词的变形都归为一个形式】【went-＞go；are-＞be】
NLP-文本处理:词形归一(Lemma)[英文][把各种类型的词的变形都归为一个形式][went->go:are->be]
【Paper】2019_Consensus Control of Multiple AUVs Recovery System Under Switching Topologies and Time D
Zhang W, Zeng J, Yan Z, et al. Consensus control of multiple AUVs recovery system under switching to ...
【Paper】2009_Controllability of Multi-Agent Systems from a Graph-Theoretic Perspective
[Rahmani, Amirreza and Ji, Meng and Mesbahi, Mehran and Egerstedt, Magnus. Controllability of Multi- ...
【离散数学】数理逻辑第一章命题逻辑(7) 命题逻辑的推理理论
本文属于「离散数学」系列文章之一.这一系列着重于离散数学的学习和应用.由于内容随时可能发生更新变动,欢迎关注和收藏离散数学系列文章汇总目录一文以作备忘.此外,在本系列学习文章中,为了透彻理解数学知识, ...
CSI笔记【6】：Guaranteeing spoof-resilient multi-robot networks论文阅读
CSI笔记[6]:Guaranteeing spoof-resilient multi-robot networks论文阅读 Abstract 1 Introduction 1.1 Contribut ...
【数值分析】学习笔记3——凸优化1：凸函数和凸优化问题
目录前言一.凸函数(Convex Function) 1.什么是凸函数 2.凸函数的性质 (1) 凸函数上任一点的切线均位于函数下方 (2)可微凸函数极小值点(实际问题中的最优解点)的特性二.凸 ...
【CentOS】利用Kubeadm部署Kubernetes (K8s)
[CentOS]利用Kubeadm部署Kubernetes (K8s)[阅读时间:约10分钟] 一.概述二.系统环境&项目介绍 1.系统环境 2.项目的任务要求三.具体实验流程 1 系统准 ...
【Spring】框架简介
[Spring]框架简介 Spring是什么 Spring是分层的Java SE/EE应用full-stack轻量级开源框架,以IOC(Inverse Of Control:反转控制)和AOP(Asp ...
【C#】类——里式转换
类是由面对对象程序设计中产生的,在面向结构的程序设计例如C语言中是没有类这个概念的!C语言中有传值调用和传址调用的两种方式!在c语言中,主方法调用方法,通过传递参数等完成一些操作,其中比较常用的的数据 ...

【OR】S Lemma

Navigator

S Lemma

【OR】S Lemma相关推荐

最新文章

热门文章