凸优化学习笔记（一）：仿射集、凸集、锥

前言

如果你对这篇文章可感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

文章目录

前言
一、介绍
- 习题建议
- - Chapter 2
  - Chapter 3
  - Chapter 4
  - Chapter 5
- 基本概念
二、凸集
- 仿射集 (Affine Sets)
- - 基本概念
  - 举例
- 凸集 (Convex Sets)
- - 基本概念
  - 典型凸集
  - 凸集性质
- 锥 (Cone)
- 总结

一、介绍

习题建议

Chapter 2

2.1、2.2、2.5、2.7、2.10、2.16、2.18、2.19

Chapter 3

3.1、3.2、3.5、3.13、3.18、3.21、3.32、3.33、3.36、3.43

Chapter 4

4.3、4.9、4.22、4.24、4.59、4.62

Chapter 5

5.5、5.20、5.27

基本概念

凸优化：优化的一种，是优化中比较容易的问题。其中目标函数是凸函数，约束是一个凸集（约束由若干个凸函数组成）

优化：从一个可行解的集合中，寻找出最优的元素

数学形式：
min⁡f0(X)s.t.fi(X)≤bi,i=1,2,...,M\begin{aligned} \min \ & f_0(X) \\ s.t. \ & f_i(X)\leq b_i, i=1,2,...,M \\ \end{aligned} min s.t. f0(X)fi(X)≤bi,i=1,2,...,M
其中 X=[x1,x2,...,xn]TX=[x_1,x_2,...,x_n]^TX=[x1,x2,...,xn]T 为优化变量，f0:Rn→Rf_0:R^n\rightarrow Rf0:Rn→R 为目标函数，fi:Rn→Rf_i:R^n\rightarrow Rfi:Rn→R 为不等式约束，X∗X^*X∗ 为最优解

线性函数：f(αx+βy)=αf(x)+βf(y)f(\alpha x+\beta y)=\alpha f(x)+\beta f(y)f(αx+βy)=αf(x)+βf(y)

凸函数：f(αx+βy)≤αf(x)+βf(y),α,β≥0,α+β=1f(\alpha x+\beta y)\leq \alpha f(x)+\beta f(y),\alpha,\beta\geq 0,\alpha+\beta=1f(αx+βy)≤αf(x)+βf(y),α,β≥0,α+β=1

光滑函数：各阶导数存在且连续的函数

连续 / 离散：取决于可行域是连续区域还是离散点

范数：RnR^nRn 空间的范数 P(x),x∈RnP(x),x\in R^nP(x),x∈Rn，满足

P(ax)=∣a∣P(x)P(ax)=|a|P(x)P(ax)=∣a∣P(x)
三角不等式：P(x+y)≤P(x)+P(y)P(x+y)\leq P(x)+P(y)P(x+y)≤P(x)+P(y)
P(x)=0⇔x=0P(x)=0\Leftrightarrow x=0P(x)=0⇔x=0

谱范数：∣∣A(x)∣∣2||A(x)||_2∣∣A(x)∣∣2 表示矩阵 A(x)A(x)A(x) 最大的奇异值

经典不等式：

三角不等式：∣∣a+b∣∣≤∣∣a∣∣+∣∣b∣∣||a+b||\leq ||a||+||b||∣∣a+b∣∣≤∣∣a∣∣+∣∣b∣∣，对任意范数成立
柯西-施瓦茨不等式 (Cachy-Schwartz)：∣⟨x,y⟩∣2≤⟨x,x⟩⋅⟨y,y⟩|\langle x,y\rangle|^2\leq \langle x,x\rangle\cdot\langle y,y\rangle∣⟨x,y⟩∣2≤⟨x,x⟩⋅⟨y,y⟩，变形 ⟨a,b⟩+∣∣a∣∣∣∣b∣∣≥0\langle a,b\rangle + ||a||||b||\geq 0⟨a,b⟩+∣∣a∣∣∣∣b∣∣≥0
min-max 不等式：sup⁡z∈Szinf⁡w∈Swf(w,z)≤inf⁡w∈Swsup⁡z∈Szf(w,z)\sup_{z\in S_z}\inf_{w\in S_w}f(w,z)\leq \inf_{w\in S_w}\sup_{z\in S_z}f(w,z)supz∈Szinfw∈Swf(w,z)≤infw∈Swsupz∈Szf(w,z)

二、凸集

仿射集 (Affine Sets)

基本概念

直线方程：（yyy 为直线上任意一点）
y,x1≠x2∈Rn,θ∈Ry=θx1+(1−θ)x2=x2+θ(x1−x2)y,x_1\not=x_2\in R^n,\theta\in R\\ y=\theta x_1+(1-\theta)x_2=x_2+\theta(x_1-x_2)\\ y,x1=x2∈Rn,θ∈Ry=θx1+(1−θ)x2=x2+θ(x1−x2)

线段方程：
y,x1≠x2∈Rn,θ∈[0,1]y=θx1+(1−θ)x2=x2+θ(x1−x2)y,x_1\not=x_2\in R^n,\theta\in [0,1]\\ y=\theta x_1+(1-\theta)x_2=x_2+\theta(x_1-x_2) \\ y,x1=x2∈Rn,θ∈[0,1]y=θx1+(1−θ)x2=x2+θ(x1−x2)

仿射组合：

设 x1,...,xk∈c,θ1,...,θk∈R,θ1+...+θk=1x_1,...,x_k\in c,\theta_1,...,\theta_k\in R,\theta_1+...+\theta_k=1x1,...,xk∈c,θ1,...,θk∈R,θ1+...+θk=1，则 θ1x1+...+θkxk\theta_1x_1+...+\theta_kx_kθ1x1+...+θkxk 为一个仿射组合

仿射包：

{θ1x1+...+θkxk∣∀x1,...,xk∈c,∀θ1,...,θk∈R,θ1+...+θk=1}\{\theta_1x_1+...+\theta_kx_k|\forall x_1,...,x_k\in c,\forall \theta_1,...,\theta_k\in R,\theta_1+...+\theta_k=1\}{θ1x1+...+θkxk∣∀x1,...,xk∈c,∀θ1,...,θk∈R,θ1+...+θk=1}
包含 x1,...,xkx_1,...,x_kx1,...,xk 的最小的仿射集

仿射集：

【简单定义】一个集合 ccc 是仿射集，则 ∀x1,x2∈c\forall x_1,x_2\in c∀x1,x2∈c，连接 x1,x2x_1,x_2x1,x2 的直线上的点也都在集合内
【泛化定义】一个集合 ccc 是仿射集，则 ∀x1,...,xk∈c\forall x_1,...,x_k\in c∀x1,...,xk∈c，其仿射组合 ∈c\in c∈c
【注意】上述两个定义是等价的

与 ccc 相关的子空间：

ccc 是一个仿射集，∀x0∈c\forall x_0\in c∀x0∈c，则 V=c−x0={x−x0∣x∈c}V=c-x_0=\{x-x_0|x\in c\}V=c−x0={x−x0∣x∈c} 是一个与 ccc 相关的子空间，不能直接称其为子空间
【性质 1】与 ccc 相关的子空间一定经过原点
【性质 2】∀v1,v2∈V\forall v_1,v_2\in V∀v1,v2∈V，则 ∀α,β,αv1+βv2∈V\forall \alpha,\beta,\alpha v_1+\beta v_2\in V∀α,β,αv1+βv2∈V

举例

线性方程组的解集等价于仿射集

正向 - 线性方程组的解集 ccc 是仿射集：

c={x∣Ax=b},A∈Rm⋅n,b∈Rm,x∈Rnc=\{x|Ax=b\},A\in R^{m\cdot n}, b\in R^m, x\in R^nc={x∣Ax=b},A∈Rm⋅n,b∈Rm,x∈Rn
【证明】∀x1,x2∈c\forall x_1,x_2\in c∀x1,x2∈c，则 Ax1=Ax2=bAx_1=Ax_2=bAx1=Ax2=b，且 A(θx1+(1−θ)x2)=bA(\theta x_1+(1-\theta)x_2)=bA(θx1+(1−θ)x2)=b

逆向 - 任意一个仿射集 ccc 都可以写成一个线性方程组的解集：
c={x∣Ax=b}c=\{x|Ax=b\} c={x∣Ax=b}

子空间是仿射集的平移，子空间是仿射集对应线性变换 A 的零空间 / 核

线性方程组的解集 ccc 的子空间 VVV 是 AAA 的化零空间：
∀x0∈c,Ax0=b,V={x−x0∣x∈c}V={x−x0∣Ax=b}={x−x0∣A(x−x0)=0}={y∣Ay=0}\forall x_0\in c, Ax_0=b,V=\{x-x_0|x\in c\} \\ V=\{x-x_0|Ax=b\}=\{x-x_0|A(x-x_0)=0\}=\{y|Ay=0\} ∀x0∈c,Ax0=b,V={x−x0∣x∈c}V={x−x0∣Ax=b}={x−x0∣A(x−x0)=0}={y∣Ay=0}

仿射集 ccc 与子空间 VVV 的关系：

c={x∣Ax=b},∀x0∈c,V={x−x0∣A(x−x0)=0}c=\{x|Ax=b\},\forall x_0\in c,V=\{x-x_0|A(x-x_0)=0\}c={x∣Ax=b},∀x0∈c,V={x−x0∣A(x−x0)=0}
任意一个仿射集 ccc 将其平移到至少有一个点落到原点上，则这个新的集合一定是一个仿射集，且为与 ccc 相关的子空间。

Ax=0Ax=0Ax=0 与 Ax=bAx=bAx=b 的关系：

凸集 (Convex Sets)

基本概念

凸集：

【简单定义】一个集合 ccc 是凸集，当任意两点之间的线段仍然在 ccc 内
【数学定义】∀x1,x2∈c,∀θ∈[0,1],θx1+(1−θ)x2∈c\forall x_1,x_2\in c,\forall \theta \in [0,1],\theta x_1+(1-\theta)x_2\in c∀x1,x2∈c,∀θ∈[0,1],θx1+(1−θ)x2∈c
【泛化定义】任意元素凸组合 ∈c\in c∈c
仿射集要求的是直线，凸集要求的是线段，因此仿射集一定是凸集

凸组合：

设 x1,...,xk∈c,θ1,...,θk∈[0,1],θ1+...+θk=1x_1,...,x_k\in c,\theta_1,...,\theta_k\in [0,1],\theta_1+...+\theta_k=1x1,...,xk∈c,θ1,...,θk∈[0,1],θ1+...+θk=1，则 θ1x1+...+θkxk\theta_1x_1+...+\theta_kx_kθ1x1+...+θkxk 为一个凸组合

凸包：

{θ1x1+...+θkxk∣∀x1,...,xk∈c,∀θ1,...,θk∈[0,1],θ1+...+θk=1}\{\theta_1x_1+...+\theta_kx_k|\forall x_1,...,x_k\in c,\forall \theta_1,...,\theta_k\in [0,1],\theta_1+...+\theta_k=1\}{θ1x1+...+θkxk∣∀x1,...,xk∈c,∀θ1,...,θk∈[0,1],θ1+...+θk=1}
包含 x1,...,xkx_1,...,x_kx1,...,xk 的最小的凸集

典型凸集

RnR^nRn 空间
RnR^nRn 空间的子空间，即过原点的、加乘封闭的空间
任意直线、线段
超平面 (Hyperplane)：{x∣aTx=b,a,x∈Rn,b∈R}\{x|a^Tx=b,a,x\in R^n,b\in R\}{x∣aTx=b,a,x∈Rn,b∈R}
半空间 (half space)：超平面将 RnR^nRn 分成两个半空间
球：{x∣∣∣x−xc∣∣2≤r}\{x|||x-x_c||_2 \leq r\}{x∣∣∣x−xc∣∣2≤r}
椭球：{x∣(x−xc)TP−1(x−xc)≤1},xc∈Rn,P∈S++n\{x|(x-x_c)^TP^{-1}(x-x_c)\leq 1\},x_c\in R^n,P\in S^n_{++}{x∣(x−xc)TP−1(x−xc)≤1},xc∈Rn,P∈S++n，即 nnn 维对称正定矩阵
多面体：{x∣ajTx≤bj,j=1,...,m;ajTx=dj,j=1,...,p}\{x|a_j^Tx\leq b_j,j=1,...,m;a_j^Tx=d_j,j=1,...,p\}{x∣ajTx≤bj,j=1,...,m;ajTx=dj,j=1,...,p}，若干个半空间和超平面的交集
单纯形：RnR^nRn 空间中选择 v0,...,vkv_0,...,v_kv0,...,vk 共 k+1 个点，v1−v0,...,vk−v0v_1-v_0,...,v_k-v_0v1−v0,...,vk−v0 线性无关，则与上述点相关的单纯形为 c=Conv{v0,...,vk}={θ0v0+...+θkvk∣θ≥0,ITθ=1}c=Conv\{v_0,...,v_k\}=\{\theta_0v_0+...+\theta_kv_k|\theta\geq 0,I^T\theta=1\}c=Conv{v0,...,vk}={θ0v0+...+θkvk∣θ≥0,ITθ=1}，任何一个单纯形都是多面体
对称矩阵集合、对称半正定矩阵集合

凸集性质

任意多个凸集的交集是凸集
凸集经过仿射函数变换后仍是凸集，仿射函数 f:Rn→Rm,f(x)=Ax+bf:R^n\rightarrow R^m,f(x)=Ax+bf:Rn→Rm,f(x)=Ax+b
凸集经过透视函数变换后仍是凸集，透视函数 f:Rn+1→Rn,f(Rn,R++)=RnR++f:R^{n+1}\rightarrow R^n,f(R^n,R_{++})=\displaystyle\frac{R^n}{R_{++}}f:Rn+1→Rn,f(Rn,R++)=R++Rn
凸集经过线性分式函数后仍是凸集，f:Rn→Rm+1,g(x)=[AcT]Tx+[bd]T,A∈Rm⋅n,b∈Rm,c∈Rn,d∈Rf:R^n\rightarrow R^{m+1},g(x)=[A \ c^T]^Tx+[b\ d]^T,A\in R^{m\cdot n},b\in R^m,c\in R^n,d\in Rf:Rn→Rm+1,g(x)=[A cT]Tx+[b d]T,A∈Rm⋅n,b∈Rm,c∈Rn,d∈R

锥 (Cone)

锥：

ccc 是锥 ⇔∀x∈c,θ≥0\Leftrightarrow \forall x\in c,\theta \geq 0⇔∀x∈c,θ≥0，有 θx∈c\theta x\in cθx∈c
在二维空间中，类似于若干根以原点为连接点的火柴

凸锥：

ccc 是凸锥 ⇔x1,x2∈c,θ1,θ2≥0\Leftrightarrow x_1,x_2\in c,\theta_1,\theta_2\geq 0⇔x1,x2∈c,θ1,θ2≥0，有 x1θ1+x2θ2∈cx_1\theta_1+x_2\theta_2\in cx1θ1+x2θ2∈c

凸锥组合：

设 x1,...,xk∈c,θ1,...,θk≥0x_1,...,x_k\in c,\theta_1,...,\theta_k\geq 0x1,...,xk∈c,θ1,...,θk≥0，则 θ1x1+...+θkxk\theta_1x_1+...+\theta_kx_kθ1x1+...+θkxk 为一个凸锥组合

凸锥包：

{θ1x1+...+θkxk∣∀x1,...,xk∈c,∀θ1,...,θk≥0}\{\theta_1x_1+...+\theta_kx_k|\forall x_1,...,x_k\in c,\forall \theta_1,...,\theta_k\geq 0\}{θ1x1+...+θkxk∣∀x1,...,xk∈c,∀θ1,...,θk≥0}
包含 x1,...,xkx_1,...,x_kx1,...,xk 的最小的凸锥

总结

仿射组合：∀θ1,...,θk,θ1+...+θk=1\forall \theta_1,...,\theta_k,\theta_1+...+\theta_k=1∀θ1,...,θk,θ1+...+θk=1
凸组合：∀θ1,...,θk,θ1+...+θk=1,θ1,...,θk∈[0,1]\forall \theta_1,...,\theta_k,\theta_1+...+\theta_k=1,\theta_1,...,\theta_k\in [0,1]∀θ1,...,θk,θ1+...+θk=1,θ1,...,θk∈[0,1]
凸锥组合：∀θ1,...,θk,θ1,...,θk≥0\forall \theta_1,...,\theta_k,\theta_1,...,\theta_k\geq 0∀θ1,...,θk,θ1,...,θk≥0
空集是仿射集、凸集、凸锥