定义

最近在研究WGAN，其中的Wasserstein distance的求解需要用到法卡斯定理，于是特意去了解了一下，也算是对线性代数知识的一个补充。
法卡斯定理如下：
∃x∈Rn,Ax=bandx≥0or∃y∈Rd,ATy≤0andbTy>0\exists x \in R^n,Ax=b \ and \ x\ge0 \ \textbf{or} \ \exists y \in R^d, A^Ty \le 0 \ and \ b^Ty \gt 0∃x∈Rn,Ax=b and x≥0 or ∃y∈Rd,ATy≤0 and bTy>0

其中，A∈Rd×nA \in R^{d\times n}A∈Rd×n, x∈Rnx\in R^nx∈Rn,b∈Rdb\in R^db∈Rd.
接下来我们将证明整个定理。

背景知识

在证明这个定理之前，我们先来了解几个概念。

凸集(Convex set)

在n维空间中，x与y的线段(line segment)定义如下：
x,y∈Rn,[x,y]:=λx+(1−λ)y∣λ∈[0,1]x,y\in R^n, [x,y]:={\lambda x+(1-\lambda)y| \lambda \in [0,1]}x,y∈Rn,[x,y]:=λx+(1−λ)y∣λ∈[0,1]

凸集定义如下：
∀x,y∈C,[x,y]⊆C,C⊆Rn\forall x,y \in C, [x,y] \subseteq C, C \subseteq R^n∀x,y∈C,[x,y]⊆C,C⊆Rn

满足上述条件，则C为凸集。
图示如下：

上图中左图为凸集，右图不是凸集。
分离定理(Separation theorem)

A⊆Rn,B⊆RnA\subseteq R^n,B\subseteq R^nA⊆Rn,B⊆Rn是不相交的非空凸集，存在一个非零向量v和实数c,使得⟨x,v⟩≥cand⟨y,v⟩≤c\langle x,v \rangle \ge c \quad and \quad \langle y,v\rangle \le c⟨x,v⟩≥cand⟨y,v⟩≤c
其中，x∈A,y∈Bx\in A,y\in Bx∈A,y∈B,超平面为⟨⋅,v⟩=c\langle \cdot ,v\rangle =c⟨⋅,v⟩=c，v是法向量。
凸锥(Convex Cone)

了解凸锥之前我们先来了解一下锥
对于向量空间V，C是V的子集，如果满足
∀x∈Candα>0,αx∈C\forall x\in C\ and \ \alpha >0, \alpha x\in C∀x∈C and α>0,αx∈C
那么C是锥。
对于锥C，如果满足
∀x,y∈Candα,β≥0,αx+βy∈C\forall x,y\in C\ and\ \alpha,\beta \ge 0, \alpha x+\beta y \in C∀x,y∈C and α,β≥0,αx+βy∈C
那么C是凸锥。

证明

给定矩阵A⊆Rd×nA\subseteq R^{d\times n}A⊆Rd×n,我们将其看作n个向量a1,...,an∈Rda_1,...,a_n\in R^da1,...,an∈Rd，给定x∈Rn(x>0)x\in R^n(x>0)x∈Rn(x>0), 于是我们得到了一个凸锥Ax,∀x>0Ax,\forall x\gt 0Ax,∀x>0

对于一个向量b∈Rdb\in R^db∈Rd，有两种可能，b在上述的凸锥中；b不在上述凸锥中。如果b不再凸锥中，那么我们可以找到一个经过原点的超平面h，h位于b和凸锥之间，h的法向量为y∈Rdy\in R^dy∈Rd。b和y处于h的同侧，而凸锥则在h的另一侧，那么我们有bTy>0b^Ty\gt0bTy>0,同时，aiTy<0a_i^Ty\lt 0aiTy<0.
总结以上两种情况，

∃x∈Rn,Ax=bandx≥0\exists x \in R^n,Ax=b \ and \ x\ge0∃x∈Rn,Ax=b and x≥0
∃y∈Rd,ATy≤0andbTy>0\exists y \in R^d, A^Ty \le 0 \ and \ b^Ty \gt 0∃y∈Rd,ATy≤0 and bTy>0

参考资料

Wasserstein GAN and the Kantorovich-Rubinstein Duality

法卡斯定理(Fakars' Lemma)相关推荐

Farkas'Lemma 和 S-Lemma
A Fundamental Question: 给定一个(不)等式,如何寻找其等价形式? ∙  \bullet\;∙ 对于线性或者一般的凸(不)等式 ,有 Farkas引理 ∙  \bullet\;∙ ...
命题, 定理,引理和推论的定义
以下内容摘自此处. 命题 (proposition): 命题是一个陈述语句. 这个陈述语句可以是正确的也可以是错误的. 比如"3比4大"和"7是一个素数"都是命 ...
中国科学: 信息科学中文模板2019 CCT-LaTeX texlive2019 成功编译
Ctex不会用,走了不少弯路.如果有用请在评论区告诉我. 下载 cct_ds https://liam.page/attachment/attachment/LaTeX-useful-tools/C ...
Latex 自用中文模板
自用中文文档模板(1.4改)(普通报告用) 代码和对比图如下: \documentclass[cs4size,a4paper]{ctexart} %小四号字(12pt),A4纸 %========== ...
操作系统形式化验证实践教程(7) - C代码的自动验证
操作系统形式化验证实践教程(7) - C代码的自动验证上一节教程不知道大家看晕了没有,其实虽然细节很多还没有讲清楚,但是从结构上大家可以看到,其实是很模式化的工作. 那么能不能让这个模式化的工作自动 ...
操作系统形式化验证实践教程(7) - C代码的自动验证（转载）
操作系统形式化验证实践教程(7) - C代码的自动验证上一节教程不知道大家看晕了没有,其实虽然细节很多还没有讲清楚,但是从结构上大家可以看到,其实是很模式化的工作. 那么能不能让这个模式化的工作自动 ...
操作系统形式化验证实践教程(10) - 一阶直觉逻辑
操作系统形式化验证实践教程(10) - 一阶直觉逻辑前面我们用了九讲的篇幅把seL4验证操作系统的地图给大家迅速过了一遍,基础好的同学已经可以基于前面的知识开始自己的工作了. 对于只学过离散数学,而 ...
Codeforces Round #202 (Div. 1): D. Turtles（Lindström–Gessel–Viennot lemma定理+DP）
题意: 给你一个n*m的地图,"#"是障碍,"."是路,不能走出边界,问从(1,1)到(n,m)选出两条不相交最短路径的方案数是多少(其中起点和终点相同不算相交 ...
定理(Theorem)、引理(Lemma)、推论(Corollary)的定义及LaTeX用法
1.定理(Theorem) 1.1 定义: Theorem(定理)----a mathematical statement that is proved using rigorous mathemat ...

法卡斯定理(Fakars' Lemma)

定义

背景知识

凸集(Convex set)

分离定理(Separation theorem)

凸锥(Convex Cone)

证明

法卡斯定理(Fakars' Lemma)相关推荐

最新文章

热门文章