凸集——几种重要的凸集

2.几种重要的凸集
- 2.1 超平面与半空间
- 2.2 球和椭球
- 2.3 多面体(关注单纯形)
- 2.4 半正定锥
- 2.5参考

Date: 2020/04/11
Editor:萧潇子（Jesse）
Contact: 1223167600@qq.com

2.几种重要的凸集

本节讲述一些重要凸集的概念,首先介绍一些简单的例子,我们不妨先来看一些特例:

C={x}C=\{x \}C={x} 单点
点是仿射集，凸集，原点是凸锥
空集是仿射集，凸集，凸锥

下面再来看几种重要的凸集:

RnR^nRn 仿射集、凸集、凸锥
RnR^nRn空间的子空间仿射集、凸集、凸锥
任意直线仿射集、凸集、凸锥（过原点）
任意线段仿射集（点）、凸集、凸锥（原点）
{x0+θv∣θ≥0}\{x_0+\theta v|\theta\ge0\}{x0+θv∣θ≥0} x0∈Rnx_0\in R^nx0∈Rn θ∈R\theta \in Rθ∈R - v∈Rnv\in R^nv∈Rn 射线仿射集（v=0缩减为一个点）、凸集、凸锥（过原点）

2.1 超平面与半空间

超平面
定义： {x∣aTx=b}\{x|a^Tx=b\}{x∣aTx=b} x,a∈Rnx,a\in R^nx,a∈Rn, b∈Rb\in Rb∈R, a≠0a\neq0a=0
性质: 仿射集、凸集、凸锥（过原点）

半空间
定义: aTx≤b,aTx≥ba^Tx\le b,\quad a^Tx\ge baTx≤b,aTx≥b
性质: 凸集、凸锥（过原点b=0）

从上述对超平面和半空间集合表达式定义形式很难直观的感受定义与性质,下面我们通过在二维平面中的例子来理解一下超平面与半空间的几何意义,如下图所示:

红色直线(不过原点)称之为一个二维平面上的超平面,具有直线集合所有的性质,属于仿射集、凸集;
蓝色直线(过原点)为红色直线的特例,除了是仿射集/凸集之外,还是个凸锥;
红色直线把二维平面分成了1和2两个空间,这两个空间称为半空间,并且满足凸集的定义,因此是半空间是凸集;
与超平面一样,当超平面过原点时,半空间也满足凸锥的定义,此时半空间也是个凸锥;

2.2 球和椭球

同样以二维平面上的圆和椭圆去理解比较容易理解,这里就不做赘述,只给出简单定义:
球
定义:
B(xc,r)={x∣∥x−xc∥2≤r}={x∣(x−xc)T(x−xc)≤r}B(x_c,r)=\{x\:|\parallel x-x_c \parallel _2 \:\le r\}=\{x\:|\sqrt{(x-x_c)^T(x-x_c)}\le r\} B(xc,r)={x∣∥x−xc∥2≤r}={x∣(x−xc)T(x−xc)≤r}
性质: 凸集仿射集（r=0）凸锥（r=0 & 原点）
椭球：
定义: (对称正定矩阵几何)
ξ(xc,P)={x∣(x−xcT)P−1(x−xc)≤1}xc∈RnP∈S++n\xi(x_c,P)=\{x\:| (x-x_c^T)P^{-1}(x-x_c) \:\le 1\} \: x_c\in R^n \: P\in S_{++}^{n} ξ(xc,P)={x∣(x−xcT)P−1(x−xc)≤1}xc∈RnP∈S++n
性质: 凸集

假设：P=r2InP=r^2I_nP=r2In, r≠0r\neq0r=0 奇异值大于0

A矩阵 ATAA^TAATA 特征值： eig(ATA)≥0eig(A^TA) \ge0eig(ATA)≥0 奇异值：eig(ATA)\sqrt{eig(A^TA)}eig(ATA)

PPP 奇异值对应椭球半轴长

例子：
ξ={x∣xT(4001)−1x≤1}={(x1,x2)∣14x12+x22≤1}\begin{aligned} \xi &=\{x\:| x^T\begin{pmatrix} 4 & 0\\ 0 & 1 \end{pmatrix}^{-1}x \:\le 1\}\\ &=\{(x_1,x_2)|\frac{1}{4}x_1^2+x_2^2 \le 1\} \end{aligned} ξ={x∣xT(4001)−1x≤1}={(x1,x2)∣41x12+x22≤1}

2.3 多面体(关注单纯形)

多面体:可以简单的理解为超平面与半空间的交集,数学表达式如下:
P={x∣ajTx≤bji=1⋯mcjTx=dji=1⋯m}P=\Bigg\{x\:\mid \begin{aligned} a_j^Tx \le b_j\qquad i=1\cdots m\\ c_j^Tx = d_j \qquad i=1\cdots m\\ \end{aligned}\Bigg\} P={x∣ajTx≤bji=1⋯mcjTx=dji=1⋯m}
其中有界多面体为凸集 ,如下图中集合P(阴影部分:由五条直线与其分割形成的相应半空间的交集)所示:

单纯形定义:

RnR^nRn空间中选择v0⋯vkv_0\cdots v_kv0⋯vk共k+1k+1k+1个点，v1−v0,⋯,vk−v0v_1-v_0,\cdots,v_k-v_0v1−v0,⋯,vk−v0线性无关，则与上述点相关的单纯形为：

C=Conv{v0⋯vk}={θ0v0+θ1v1+θ2v2+⋯+θkvk∣θ0⋯θk≥0,θ0+⋯+θk=1}C=Conv\{v_0\cdots v_k\}=\{\theta_0v_0+\theta_1v_1 + \theta_2v_2 + \cdots + \theta_kv_k \:|\: \theta_0 \cdots \theta_k \ge 0,\:\theta_0 +\cdots +\theta_k = 1 \}C=Conv{v0⋯vk}={θ0v0+θ1v1+θ2v2+⋯+θkvk∣θ0⋯θk≥0,θ0+⋯+θk=1}

例子:

RRR 一维空间, 两个点单纯形为两点连接线段,
R2R^2R2 二维空间, 两个点单纯形为两点连接线段, 三个点为两个向量围成的三角形, 四个点无法满足线性无关的三个向量
R3R^3R3 三维空间,四个点单纯形为一个四面体

证明：单纯形是多面体的一种

x∈C∈Rnx\in C \in R^nx∈C∈Rn CCC为单纯形 xxx ⇔\Leftrightarrow⇔ θ0v0+θ1v1+θ2v2+⋯+θkvk\theta_0v_0 + \theta_1v_1 + \theta_2v_2 + \cdots + \theta_kv_kθ0v0+θ1v1+θ2v2+⋯+θkvk

θ0⋯θk≥0,θ0+⋯+θk=1\theta_0 \cdots \theta_k \ge 0,\:\theta_0 +\cdots +\theta_k = 1θ0⋯θk≥0,θ0+⋯+θk=1. v1−v0,⋯,vk−v0v_1-v_0,\cdots,v_k-v_0v1−v0,⋯,vk−v0线性无关

首先定义下面两个向量：

[θ1⋯θk]T=y[\theta_1 \cdots \theta_k]^T=y[θ1⋯θk]T=y, y≥0y\ge0y≥0, 1Ty≤11^Ty\le11Ty≤1,

[v1−v0,⋯,vk−v0]=B∈Rn×k[v_1-v_0, \cdots, v_k-v_0]=B\in R^{n\times k}[v1−v0,⋯,vk−v0]=B∈Rn×k

因此：

X∈C⇔X=θ0v0+θ1v1+θ2v2+⋯+θkvk=v0+θ1(v1−v0)+⋯+θk(vk−v0)=v0+By\begin{aligned} X \in C \Leftrightarrow X &=\theta_0v_0 + \theta_1v_1 + \theta_2v_2 + \cdots + \theta_kv_k\\ &= v_0 + \theta_1(v_1-v_0)+ \cdots + \theta_k(v_k-v_0) \\ &= v_0 +By\\ \end{aligned}X∈C⇔X=θ0v0+θ1v1+θ2v2+⋯+θkvk=v0+θ1(v1−v0)+⋯+θk(vk−v0)=v0+By

B包含k个线性无关的向量，因此：rank(B)=k(k≤n)rank(B)=k \quad (k \le n)rank(B)=k(k≤n)

B是列满秩矩阵，可以转换成：[Ik0]\begin{bmatrix} I_k \\[0.3em] 0\end{bmatrix}[Ik0]

存在一个非奇异矩阵A=[A1A2]∈Rn×nA=\begin{bmatrix}A_1 \\[0.3em] A_2\end{bmatrix} \in R^{n \times n}A=[A1A2]∈Rn×n使得AB=[A1A2]B=[Ik0]AB=\begin{bmatrix}A_1 \\[0.3em] A_2\end{bmatrix}B =\begin{bmatrix} I_k \\[0.3em] 0\end{bmatrix}AB=[A1A2]B=[Ik0]

由X=v0+ByX=v_0+ByX=v0+By 左右两边同乘以AAA 的：

AX=Av0+AByAX =Av_0+AByAX=Av0+ABy ⇔\Leftrightarrow⇔ [A1A2]X=[A1A2]v0+[A1BA2B]y\begin{bmatrix}A_1 \\[0.3em] A_2\end{bmatrix}X=\begin{bmatrix}A_1 \\[0.3em] A_2\end{bmatrix}v_0+\begin{bmatrix}A_1B \\[0.3em] A_2B \end{bmatrix}y[A1A2]X=[A1A2]v0+[A1BA2B]y ⇔\Leftrightarrow⇔ {A1X=A1v0+yA2X=A2v0\begin{cases} A_1X=A_1v_0+y \\ A_2X=A_2v_0 \\ \end{cases}{A1X=A1v0+yA2X=A2v0

⇔\Leftrightarrow⇔ {A1X≥A1v01TA1X≤1+1TA1v0A2X=A2v0\begin{cases} A_1X &\ge A_1v_0 \\ 1^TA_1X &\le 1+ 1^TA_1v_0 \\ A_2X &=A_2v_0 \\ \end{cases}⎩⎪⎨⎪⎧A1X1TA1XA2X≥A1v0≤1+1TA1v0=A2v0

两个线性不等式和一个线性等式=多面体

2.4 半正定锥

对称矩阵集合 Sn={X∈Rn×n∣X=XT}S^n=\{X\in R^{n\times n}|X=X^T\}Sn={X∈Rn×n∣X=XT} 凸集凸锥

对称半正定矩阵集合 S+n={X∈Rn×n∣X=XT,X⪰0}S_{+}^n=\{X\in R^{n\times n}|X=X^T,\: X \succeq 0\}S+n={X∈Rn×n∣X=XT,X⪰0} 其中X⪰0X \succeq 0X⪰0表示特征值大于等于0 凸集凸锥

对称正定矩阵集合 S++n={X∈Rn×n∣X=XT,X≻0}S_{++}^n=\{X\in R^{n\times n}|X=X^T,\: X \succ 0\}S++n={X∈Rn×n∣X=XT,X≻0} 其中X≻0X \succ 0X≻0表示XXX是正定矩阵凸集非凸锥

证明 S+nS_{+}^nS+n 是凸集、凸锥

∀θ1,θ2≥0\forall \theta_1, \: \theta_2 \: \ge 0∀θ1,θ2≥0 ∀A,B∈S+n\forall \: A, \: B \in S_{+}^n∀A,B∈S+n 证明 θ1A+θ2B∈S+n\theta_1A+\theta_2B \in S_+^nθ1A+θ2B∈S+n 即证明 θ1A+θ2B\theta_1A+\theta_2Bθ1A+θ2B 对称半正定

如果A,BA, BA,B是半正定矩阵，则对于∀X∈Rn\forall X\in R^n∀X∈Rn, XTAX≥0XTBX≥0\begin{aligned} X^TAX &\ge 0 \\ X^TBX &\ge 0 \\ \end{aligned}XTAXXTBX≥0≥0

由上可知证明半正定即证明 XT(θ1A+θ2B)X≥0=XTθ1AX+XTθ2BX≥0X^T(\theta_1A+\theta_2B)X \ge 0=X^T \theta_1AX+X^T \theta_2BX \ge 0XT(θ1A+θ2B)X≥0=XTθ1AX+XTθ2BX≥0

因此得证

考虑简单情况：

当n=1n=1n=1 时，S+n=R+S_+^n=R_+S+n=R+ S++n=R++S_{++}^n=R_{++}S++n=R++ Sn=RS^n=RSn=R 可知对称正定矩阵S++nS_{++}^nS++n不包含原点，因此非凸锥

S+nS_+^nS+n n=2n=2n=2 S+n={[xyyz]∣x≥0,z≥0,xz≥y2}S_+^n=\Bigg\{\begin{bmatrix} x&y \\[0.3em] y&z\end{bmatrix} | x \ge 0,\:z\ge0,\: xz\ge y^2 \Bigg\}S+n={[xyyz]∣x≥0,z≥0,xz≥y2} 二维矩阵空间与xyz 三维空间可以对应起来, 如下图所示:

交集

若 S1,S2S_1,S_2S1,S2为凸集，则S1⋂S2S_1 \bigcap S_2S1⋂S2为凸

若 SaS_aSa为凸集，∀a∈A\forall a\in A∀a∈A 则⋂a∈ASa\mathop{\bigcap} \limits_{a\in A} S_aa∈A⋂Sa为凸集

2.5参考

1、Stephen Boyd 、Lieven Vandenberghe——《Convex Optimization》）
2、中科大凌青凸优化 (https://www.bilibili.com/video/BV1Jt411p7jE?)

【第1章】凸集——几种重要的凸集相关推荐

【凸优化学习笔记3】几种重要的凸集
参考资料: 1.凌青老师的凸优化课(b站) 2.Stephen Boyd的<凸优化>中译本(清华大学出版社) 全部使用LaTex公式书写文章目录仿射集.凸集.凸锥总结几种重要的凸集 ...
[最优化]凸集的定义与常见凸集
凸集的定义与常见凸集通常认为,如果某个实际问题可以表述为凸优化问题,那么事实上已经解决了这个问题,然而凸优化问题的识别还比较困难,本文将先介绍凸集的定义与常见凸集. 仿射集如果集合 C⊆Rn C ...
UML科普文，一篇文章掌握14种UML图
前言上一篇文章写了一篇建造者模式,其中有几个UML类图,有的读者反馈看不懂了,我们今天就来解决一哈. 什么是UML? UML是Unified Model Language的缩写,中文是统一建模语言, ...
图书馆的uml概念类图怎么画_UML科普文，一篇文章掌握14种UML图
前言上一篇文章写了一篇建造者模式,其中有几个UML类图,有的读者反馈看不懂了,我们今天就来解决一哈. 什么是UML? UML是Unified Model Language的缩写,中文是统一建模语言, ...
c语言的boolean_0基础学习C语言第四章：三种基本结构
1.C语言的三种基本结构顺序结构:从头到尾一句接着一句的执行下来,直到执行完最后一句: 选择结构:到某个节点后,会根据一次判断的结果来决定之后向哪一个分支方向执行: 循环结构:循环结构有一个循环体, ...
技术汇总：第七章：三种验证方式
第一种验证码 b.html <!DOCTYPE html> <html><head><meta charset="UTF-8">&l ...
《FPGA全程进阶---实战演练》第二十一章之几种常用电平分析及特性
TTL,CMOS以及LVTTL,LVCMOS TTL和CMOS是数字电路中两种常见的逻辑电平,LVTTL和LVCMOS是两者低电平版本.TTL是流控器件,输入电阻小,TTL电平器件速度快,驱动能力大, ...
一篇文章认识4种Java多线程的创建方式
Java4种多线程的创建: 什么是程序? 什么是进程? 什么是线程? 并行与并发: 那么JAVA多线程实现方式: (1)继承Thread类实现多线程: (2)实现Runnable接口方式实现多线程: ...
贾树森_（第三章）24种生活场景_（第十课）如何让照片具有故事性
信息泛滥的时代,我们每天都看到大量的图片,自己也制造一些,怎样让我们的照片耐看其中的秘诀就是让照片讲故事,抓住观众的眼球如何让静态的照片讲故事像电影学习,横构图容易去诉说一个故事,它涵盖了更多的 ...
贾树森_（第三章）24种生活场景_（第四课）怎样自拍好看又不落俗套
抱着孩子闭着眼睛拍影子跳跃牵着爱人或小孩影子投影在树上镜子自拍通过镜子自拍可以相对来说把人拍的小一点,而不是只拍一张大脸这里是两面镜子,互相多次反射自拍杆可以让相机离我们更远一点,从 ...

【第1章】凸集——几种重要的凸集