凸优化学习（一）凸集与凸函数、凸优化问题

4.1 凸集 convex sets

仿射集（Affine Sets）：如果一个集合C∈RnC\in\mathbb{R}^nC∈Rn 是仿射的，则在C中两点的直线也在C中，若x1∈C,x2∈C,则x=θx1+(1−θ)x2∈C,θ∈Rx_1\in C,x_2\in C,则x=\theta x_1+(1-\theta)x_2\ \in C,\theta \in Rx1∈C,x2∈C,则x=θx1+(1−θ)x2 ∈C,θ∈R ，例如Ax=b的解集就是一个仿射集。

凸集：如果集合C∈RnC\in\mathbb{R}^nC∈Rn 是凸集，如果C中两点间的线段也在C中，即x=θx1+(1−θ)x2∈C,θ∈[0,1]x=\theta x_1+(1-\theta)x_2\ \in C,\theta \in [0,1]x=θx1+(1−θ)x2 ∈C,θ∈[0,1] 。注意θ\thetaθ 取值范围的不同。

常见的凸集：

所有Rn\mathbb{R}^nRn
所有R+n\mathbb{R}_+^nR+n
超平面（Hyperplane）：C={x∣aTx=b}C=\{x|a^Tx=b\}C={x∣aTx=b} 既是仿射集又是凸集
半空间（Halfspace）C={x∣aTx≥b}或C={x∣aTx≤b}C=\{x|a^Tx\ge b\}或C=\{x|a^Tx\le b\}C={x∣aTx≥b}或C={x∣aTx≤b} 只是凸集
范数球：满足 ∥x∥p≤1,p≥1\|x\|_p \le 1,\quad p\ge1∥x∥p≤1,p≥1的集合称为范数球。（依据范数的三角不等式可证）

但是∥x∥p=1,p≥1\|x\|_p = 1,\quad p\ge1∥x∥p=1,p≥1 不是凸集。当0<p<10<p<10<p<1 时， ∥x∥p≤1\|x\|_p \le 1∥x∥p≤1 也不是凸集。
多面体（polyhedron）：有限个半空间和超平面的交集。（凸集的交集是凸集）

P={x∣Ax≤b,Cx=d},A∈Rm×n,b∈Rm,C∈Rp∗n,d∈RpP=\{x|Ax\le b, Cx=d\},A\in R^{m\times n},b\in R^m, C \in R^{p*n}, d \in R^pP={x∣Ax≤b,Cx=d},A∈Rm×n,b∈Rm,C∈Rp∗n,d∈Rp , 由于A，C都是矩阵，因此对应了有限个半空间和超平面。

凸集的性质：

凸集的交集是凸集。

凸集的并集不一定是凸集。

4.2 凸函数

一个函数f:Rn→Rf:R^n \to Rf:Rn→R 被称为凸函数，如果：

f的定义域dom(f)dom(f)dom(f) 是凸集
对于任何x,y∈dom(f),0≤θ≤1,有f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)x,y \in dom(f), 0\le \theta \le 1, 有f(\theta x+(1-\theta)y)\le \theta f(x)+(1-\theta)f(y)x,y∈dom(f),0≤θ≤1,有f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9jtMZpXJ-1588902997776)(http://ovra6ykmb.bkt.clouddn.com/2018-06-27-17-11-42.png)]

几何解释：函数值小于连接函数值的线段的值。

凸函数的充要条件

一阶充要条件：$f(x_1)\ge f(x)+\nabla^Tf(x)(x_1-x) $ 对于所有x1,xx_1,xx1,x 均成立。

二阶充要条件：如果函数f二阶可导，则凸函数的充要条件为：H(x)⪰0H(x) \succeq 0H(x)⪰0 即Hessian矩阵半正定。（如果是正定的，则是严格凸函数。半负定，则是凹函数）

在实际使用中，使用二阶充要条件比较好用。

证明：凸函数的局部最优解就是全局最优解。

假定x∗x^*x∗ 是局部最优解，则在x∗x^*x∗ 的邻域内的点z有f(x∗)≤f(z)f(x^*) \le f(z)f(x∗)≤f(z) 。假设y点为可行域内的任意一点，则z=(1−t)x∗+t)y,t∈[0,1]z=(1-t)x^*+t)y,\quad t\in [0,1]z=(1−t)x∗+t)y,t∈[0,1] ,通过调整t的值，可以使得z保持在x∗x^*x∗ 的邻域内。根据凸函数定义：

f(x∗)≤f(z)=f(tx∗+(1−t)y)≤tf(x∗)+(1−t)f(y)f(x^*)\le f(z)=f(tx^*+(1-t)y)\le tf(x^*)+(1-t)f(y)f(x∗)≤f(z)=f(tx∗+(1−t)y)≤tf(x∗)+(1−t)f(y)

化简上面的不等式有：f(x∗)≤f(y)f(x^*) \le f(y)f(x∗)≤f(y)

由于y为任意一点，因此x∗x^*x∗ 也是全局最优解。

常见凸函数

ax+b: 既是凸函数，也是凹函数
x2x^2x2 凸函数
eαxe^{\alpha x}eαx 凸函数
-log(x) 凸函数，x>0
−xlogx，x≥0-xlogx，x\ge 0−xlogx，x≥0 凸函数
f(x)=aTx+bf(x)=a^Tx+bf(x)=aTx+b 凸函数、凹函数
f(x)=xTPx+2qTx=r,当且仅当P⪰0时是凸函数f(x)=x^TPx+2q^Tx=r, 当且仅当P \succeq 0时是凸函数f(x)=xTPx+2qTx=r,当且仅当P⪰0时是凸函数，特别地f(x)=xTxf(x)=x^Txf(x)=xTx 是凸函数（2范数是凸函数）

凸函数的性质

f(x)是凸函数，则f(Ax+b)也是凸函数。例如∥y−Ax∥2\|y-Ax\|_2∥y−Ax∥2
如果g(x)，h(x)是凸函数，h函数是非递减函数，则f(x)=h(g(x))f(x)=h(g(x))f(x)=h(g(x)) 是凸函数。例如：g(x)=∥y−Ax∥2,h(x)=x2在x≥0上非递减g(x)=\|y-Ax\|_2,h(x)=x^2\quad在x\ge 0上非递减g(x)=∥y−Ax∥2,h(x)=x2在x≥0上非递减, 则f(x)=∥y−Ax∥22f(x)=\|y-Ax\|^2_2f(x)=∥y−Ax∥22 是凸函数。
f1,...,fmf_1,...,f_mf1,...,fm 是凸函数，w1,...,wm≥0w_1,...,w_m\ge 0w1,...,wm≥0 ，则$\sum_{i=1}^{m}w_if_i $ 是凸函数，例如：

f(x)=∥y−Ax∥22+λ∥x∥22f(x)=\|y-Ax\|^2_2+\lambda \|x\|^2_2f(x)=∥y−Ax∥22+λ∥x∥22 是凸函数。（L2正则化项）
逐点最大：f1,...,fmf_1,...,f_mf1,...,fm 是凸函数，则f(x)=max{f1(x),...,fm(x)}f(x)=max\{f_1(x),...,f_m(x)\}f(x)=max{f1(x),...,fm(x)} 是凸函数。例如，f(x,y)f(x,y)f(x,y) 对于每个y∈Ay \in Ay∈A 都是凸函数，则supy∈Af(x,y)sup_{y\in A}f(x,y)supy∈Af(x,y) 是凸函数（f(x,y)的上确界，可以类比最大值）。

凸函数和凸集的关系

α\alphaα 水平集或下水平集

一元函数f的α\alphaα 水平集为：Sα={x∣f(x)≤α}S_{\alpha}=\{x|f(x)\le \alpha\}Sα={x∣f(x)≤α}

如果f为凸函数，则对每个α{\alpha}α ，SαS_{\alpha}Sα都是凸集。反之则不成立。

4.3 凸优化问题

对于一般优化问题：
minimizef0(x)subjecttofi(x)≤0fori=1,2,...,mhi(x)=0fori=1,2,...,p\begin{array}{l}minimize & f_0(x)\\subject to & f_i(x)\le 0 \quad for i=1,2,...,m\\&h_i(x)=0 \quad for i=1,2,...,p\end{array} minimizesubjecttof0(x)fi(x)≤0fori=1,2,...,mhi(x)=0fori=1,2,...,p
如果f0(x)f_0(x)f0(x) 是凸函数，且可行域是凸集，则上述优化问题是凸优化问题。因此，凸优化问题是在凸集上极小化一个凸的目标函数。

凸优化问题要求（可行域是凸集）：

不等式约束函数必须是凸的。（若fi(x)f_i(x)fi(x) 是凸函数，则不等式约束为下水平集，是凸集。）
等式约束函数必须是仿射的。

凸优化问题的最优值写为：p∗=min{f0(x):fi(x)≤0,hi(x)=0}p^*=min\{f_0(x):f_i(x) \le 0,h_i(x)=0\}p∗=min{f0(x):fi(x)≤0,hi(x)=0} ，可能的取值为：

p∗=+∞p^*=+\inftyp∗=+∞ 不可行（可行域为空集）
p∗=−∞p^*=-\inftyp∗=−∞ 称为unbounded below (存在可行点使得f0(x)→∞f_0(x) \to \inftyf0(x)→∞ )
f0(x∗)=p∗f_0(x^*)=p^*f0(x∗)=p∗

凸优化问题的重要结论

凸优化问题局部最优就是全局最优

局部最优点x指：存在R>0R>0R>0 ，对于所有可行点z，且有∥x−z∥2≤R\|x-z\|_2 \le R∥x−z∥2≤R ，满足f0(x)≤f0(z)f_0(x) \le f_0(z)f0(x)≤f0(z)

全局最优点x指，对于所有可行点，满足f0(x)≤f0(z)f_0(x) \le f_0(z)f0(x)≤f0(z)

反证法证明：

x∗x^*x∗ 是凸优化问题的局部最优点，假设存在一点x′x'x′ 使得f0(x∗)>f0(x′)f_0(x^*) \gt f_0(x')f0(x∗)>f0(x′) ，则由于f0f_0f0 是凸函数：

f0(tx∗+(1−t)x′)≤tf(x∗)+(1−t)f(x′)f_0(tx^*+(1-t)x')\le tf(x^*)+(1-t)f(x')f0(tx∗+(1−t)x′)≤tf(x∗)+(1−t)f(x′)

当(1-t)很小时，∥x−(tx∗+(1−t)x′)∥2≤R\|x-(tx^*+(1-t)x')\|_2\le R∥x−(tx∗+(1−t)x′)∥2≤R ，则$f_0(x^)\le f_0(tx^+(1-t)x’) $

可以得到f0(x∗)≤f0(x′)f_0(x^*)\le f_0(x')f0(x∗)≤f0(x′) ，这与假设条件相违背，因此，不存在一点x′x'x′ 使得f0(x∗)>f0(x′)f_0(x^*) \gt f_0(x')f0(x∗)>f0(x′)，即 x∗x^*x∗ 是全局最优点。

典型凸优化问题

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W4vgZlac-1588902997779)(http://ovra6ykmb.bkt.clouddn.com/2018-06-27-18-23-58.png)]

实例

形式转换成凸优化问题

将本质是凸优化问题的问题，从形式上转换为凸优化问题。

对于以下问题，通过定义矩阵和向量的方式，转换为标准的凸优化问题，便于利用软件包进行求解。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fhQjfYdO-1588902997781)(http://ovra6ykmb.bkt.clouddn.com/2018-06-27-18-54-10.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gLLklZ5P-1588902997783)(http://ovra6ykmb.bkt.clouddn.com/2018-06-27-18-54-27.png)]

CVX软件包

欢迎关注