4.2凸优化

标准形式的凸优化问题
局部最优解与全局最优解
可微函数 $f_0$ 的最优性准则
等价的凸问题
拟凸优化

标准形式的凸优化问题

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ a_i^T=b_i&i=1,\cdots p \end{matrix}$

$f_0,d_1,f_2\cdots ,f_m$ 是凸函数，等式约束是仿射函数。则此优化问题是凸优化问题。

也可以写成

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ Ax=b& \end{matrix}$

重要性质：凸优化问题的可行集也是凸集。

证明：可行集是满足不等式约束和等式约束的点的集合，首先不等式约束函数 $f_i$ 是凸函数，满足不等式约束 $f_i(x)\leq 0$ 的x，相当于是 $f_i$ 的0-下水平集，凸函数的下水平集是凸集，所以满足每个不等式约束的x均是凸集，同时满足这些不等式约束的x是这些凸集的交集仍为凸集。对于等式约束，满足每个仿射函数的x是凸集，同时满足多个仿射函数的x是凸集的交集也是凸集。同时考虑不等式约束和等式约束，可知凸优化问题的可行集也是凸集。

例子：

$minimize\, \, f_0(x)=x_1^2+x_2^2 \\ subject\, \, to\, \, \begin{matrix} f_1(x)=x_1/(1+x_2^2)\leq 0& \\ h_1(x)=(x_1+x_2)^2=0& \end{matrix}$

首先判断可行集，由两个约束函数可推出 $x_1+x_2=0,x_1\leq 0$ ，可知可行集是凸集。

$f_0$ 是凸函数。但是这不是一个凸优化问题，因为其不等式约束函数不是凸函数，等式约束函数也不是仿射函数。

但可以得到其等价的凸优化问题：

$minimize\, \, f_0(x)=x_1^2+x_2^2 \\ subject\, \, to\, \, \begin{matrix} f_1(x)=x_1\leq 0& \\ h_1(x)=x_1+x_2=0& \end{matrix}$

局部最优解与全局最优解

凸优化问题的基础性质:局部最优解也是全局最优解。

证明：

假设x是局部最优解，且存在一个可行点y， $f_0(y)\leq f_0(x)$ 。

因为x是局部最优解，故存在一些R，

$R>0,f_0(x)=inf\left \{ f_0(z)|z\, is \, feasible,\begin{Vmatrix} z-x \end{Vmatrix}_2\leq R\right \}$

因为凸优化问题的可行集是凸集，故取 $\forall \theta \in[0,1],z=\theta y+(1-\theta)x$ 都属于可行集。

因为 $f_0(y)\leq f_0(x)$ ，故 $\begin{Vmatrix} y-x \end{Vmatrix}_2> R$ ，此时令 $\theta =\frac{R}{2\begin{Vmatrix} y-x \end{Vmatrix}_2}$ 。可知 $\theta \in(0,1/2)$ 此时

$\begin{Vmatrix} z-x \end{Vmatrix}_2= \begin{Vmatrix} -\theta x+\theta y \end{Vmatrix}_2 =\begin{Vmatrix} \theta(y-x) \end{Vmatrix}_2$

$= \begin{Vmatrix} \frac{R}{2\begin{Vmatrix}y-x \end{Vmatrix}_2}(y-x) \end{Vmatrix}_2= \frac{R}{2\begin{Vmatrix}y-x \end{Vmatrix}_2}\begin{Vmatrix} (y-x) \end{Vmatrix}_2=R/2< R$

$\Rightarrow f_0(z)\geq f_0(x)$

而根据凸函数性质：

$f_0(z)=f_0(\theta y+(1-\theta)x)\leq \theta f_0(y)+(1-\theta)f_0(x)< f_0(x)$

与上式矛盾。故凸优化问题中局部最优解就是全局最优解。

可微函数 $f_0$ 的最优性准则

当 $f_0$ 是可微凸函数时，根据凸函数一阶条件，可知 $\forall x,y\in dom(f_0),f_0(y)\geq f_0(x)+\bigtriangledown ^Tf_0(x)(y-x)$

如果x是最优解，对任意的y属于可行集，首先满足 $f_0(y)\geq f_0(x)+\bigtriangledown ^Tf_0(x)(y-x)$ ，同时满足 $f_0(y)\geq f_0(x)$ 。所以x是最优解的充要条件就是对任意的y属于可行集， $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$

$\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 等价于 $-\bigtriangledown ^Tf_0(x)(y-x)\leq 0$ ，故几何上如果 $\bigtriangledown ^Tf_0(x)\neq 0$ ， $-\bigtriangledown ^Tf_0(x)$ 在可行集上定义了一个支撑超平面。

1）对于无约束问题：

可行集就是 $f_0$ 的定义域，所以x是最优解的充要条件就是 $\bigtriangledown f_0(x)=0$ 。

证明：因为 $f_0$ 可微，所以其定义域是开的，因此与x足够近的点都可行，取 $y=-t\bigtriangledown f_0(x),t\in R$ ,t为很小正数时，y可行，于是

$\bigtriangledown ^Tf_0(x)(y-x)= -t\bigtriangledown ^Tf_0(x) \bigtriangledown f_0(x)=-t\begin{Vmatrix}\bigtriangledown f_0(x) \end{Vmatrix}_2$ ，要想满足 $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ ，只能 $\bigtriangledown f_0(x)=0$ 。

2)对于只有等式约束的问题:

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} Ax=b& \end{matrix}$

可行解的最优性条件：对任意的y属于可行集，即 $\forall \left \{ y|Ay=b \right \}$ , $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ ，因为x,y都是可行解，令 $y=x+v,\forall v\in N(A)$ ,N(A)表示矩阵A的零空间， $v\in N(A)\Leftrightarrow Av=0$ ,

将x,y代入最优条件： $\bigtriangledown ^Tf_0(x)v\geq 0,\forall v\in N(A)$ ，即线性函数非负，故 $\bigtriangledown ^Tf_0(x)v=0,\forall v\in N(A)$

$\bigtriangledown f_0(x)\perp N(A)$ 又因为 $N(A)^{\perp }=R(A^T)$

$\Rightarrow \bigtriangledown f_0(x)\in R(A^T)\Rightarrow \exists v\in R^p,A^Tv=\bigtriangledown f_0(x)\Leftrightarrow \exists v\in R^p,A^Tv+\bigtriangledown f_0(x)=0$

上述最优性条件也可以拉格朗日乘子法得到，令 $L=f_0(x)+\lambda (Ax-b)$

$\frac{\partial L}{\partial x}=\bigtriangledown f_0(x)+A^T\lambda$ ，令其为0，得到最优性条件。

3)对于非负象限的极小化问题:

$minimize\, \, f_0(x) \, \, \, \\subject\, \, to\, \, x\geq 0$

当x为最优解时，最优性条件： $\forall y\geq 0,$ $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 。而 $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 是y的线性函数，在 $y\geq 0$ 时，如果 $\bigtriangledown ^Tf_0(x)< 0$ 时，函数无下界，即最优条件不可能恒成立，故 $\bigtriangledown ^Tf_0(x)\geq 0$ 。

于是最优条件写成：

$\forall y\geq 0,$ $\bigtriangledown ^Tf_0(x)y+(-\bigtriangledown ^Tf_0(x)x)\geq 0$

所以要使上式恒成立要求 $-\bigtriangledown ^Tf_0(x)x\geq 0$ ，而 $\bigtriangledown ^Tf_0(x)\geq 0$ 且 $x\geq 0$ ，所以只能是 $\bigtriangledown ^Tf_0(x)x=0$

即 $\sum _{i=1}^n(\bigtriangledown f_0(x))_ix_i=0$

等价的凸问题

保持问题凸性的转换有：消除等式约束、引入等式约束、引入松弛变量、上境图问题形式、极小化部分变量

消除等式约束

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ Ax=b& \end{matrix}$

等价于

$minimize\, \, f_0(Fz+x_0) \\ subject\, \, to\, \, \begin{matrix} f_i(Fz+x_0)\leq 0& i=1,\cdots m \end{matrix}$

$x_0$ 是Ax=b的特解，F的列可以长成A的零空间。

引入等式约束

$minimize\, \, f_0(A_0x+b_0) \\ subject\, \, to\, \, \begin{matrix} f_i(A_ix+b_i)\leq 0& i=1,\cdots m \end{matrix}$

等价于

$minimize\, \, f_0(y_0) \\ subject\, \, to\, \, \begin{matrix} f_i(y_i)\leq 0& i=1,\cdots m \\y_i=A_ix+b_i& i=1,\cdots m\end{matrix}$

引入松弛变量

$minimize\, \, f_0(x) \\ subject\, \, to\, \, a_i^Tx\leq b_i,i=1,2\cdots m$

等价于

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} a_i^Tx+ s_i=b_i,i=1,2\cdots m \\ s_i\geq 0,i=1,2\cdots m \end{matrix}$

上境图形式

凸优化问题的上境图形式：

$minimize\, \, t \\ subject\, \, to\, \, \begin{matrix} f_0(x)-t\leq 0 \\ f_i(x)\leq 0,i=1,2\cdots m \\ a_i^Tx=b_i ,i=1,2\cdots p \end{matrix}$

极小化部分变量

极小化凸函数的部分变量将保持凸性不变，

$minimize\, \, f_0(x_1,x_2) \\ subject\, \, to\, \, \begin{matrix} f_i(x_1)\leq 0& i=1,\cdots m \end{matrix}$

等价于

$minimize\, \, \tilde{f_0}(x_1) \\ subject\, \, to\, \, \begin{matrix} f_i(x_1)\leq 0& i=1,\cdots m\end{matrix}$

$\tilde{f_0}(x_1) =\underset{x_2}{sup}\, f_0(x_1,x_2)$

拟凸优化

拟凸优化的标准形式

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ a_i^T=b_i&i=1,\cdots p \end{matrix}$

$f_1,f_2\cdots ,f_m$ 是凸函数，等式约束是仿射函数， $f_0$ 是拟凸函数。则此优化问题是拟凸优化问题。

拟凸优化问题的局部最优解不一定是全局最优解。

如上图 $(x,f_0(x))$ 是局部最优解但是不是全局最优解。

用一族凸函数不等式表示拟凸函数的下水平集

选择一族凸函数 $\phi _t:R^n\rightarrow R,t \in R$ ，t是凸函数的编号，这些函数满足：

$f(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$ ，即拟凸函数的t下水平集是凸函数 $\phi _t$ 的0下水平集。

并且，对于每个x， $\phi _t(x)$ 都是t的非增函数。

注意：t固定时，每个 $\phi _t(x)$ 是x的凸函数。

例子：

$f_0(x)=p(x)/q(x)$ ，其中p是凸函数，q是凹函数，在定义域上， $p(x)\geq 0,q(x)> 0$ 。

则可取 $\phi _t(x)=p(x)-tq(x)$

说明：（1） $\phi _t(x)$ 是凸的：p是凸的，q是凹的，但-q是凸的，所以 $\phi _t(x)$ 是凸的。

（2）满足： $p(x)/q(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$

求解拟凸优化的二分法

思想：有一个区间，包含最优解，取区间的中点，判断最优解在上半区间还是下半区间，然后更新区间，不断将区间缩小为原来的一般直到找到足够小的区间。

算法：

给定 $l\leq p^*,u\geq p^*$ ，容忍度 $\varepsilon >0$

重复一下步骤:

$t=(l+u)/2$
求解凸可行性问题
如果问题可行，u=t，否则l=t

直到 $u-l< \varepsilon$

凸优化第四章凸优化问题 4.2凸优化相关推荐

JVM性能优化（四）提高网站访问性能之Tomcat优化
一.前言 tomcat 服务器在JavaEE项目中使用率非常高,所以在生产环境对tomcat的优化也变得非常重要了,对于tomcat的优化,主要是从2个方面入手,一是tomcat本身的配置,另一个是t ...
JVM性能优化（四）提高网站访问性能之Tomcat优化，晒出收入
vim tomcat-users.xml 需要配置文件,配置tomcat的管理用户写入以下内容: 保存退出如果是tomcat7,配置了tomcat用户就可以登录系统了,但是tomcat8中不行,还 ...
JVM 性能优化（四）提高网站访问性能之 Tomcat 优化，java 程序开发实用教程邱加永答案
启动 tomcat 2.33 启动访问成功访问 tomcat 地址后,点击首页中Server Status,输入用户名密码tomcat/tomcat 进入页面,我们需要关注的就是其中 JVM 的列 ...
机器学习第四课：SVM前置知识点（凸优化问题）
内容主要来源于大数据文摘 #1 高数教材中拉格朗日乘子法的泛化 ##1.1 高数教材中的拉格朗日乘子法我们大学时讲了这个计算条件极值的方法,运用拉格朗日乘数法(乘子法) {min⁡f(x)s.t. ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
【数据库原理及应用】经典题库附答案（14章全）——第四章：关系系统及其优化
[数据库原理及应用]经典题库附答案(14章全)--第一章:数据库基础知识 [数据库原理及应用]经典题库附答案(14章全)--第二章:关系数据库知识 [数据库原理及应用]经典题库附答案(14章全)--第 ...
Android群英传知识点回顾——第四章：ListView常用优化技巧
Android群英传知识点回顾--第四章:ListView常用优化技巧知识点目录 4.1 ListView常用优化技巧 4.1.1 使用ViewHolder模式提高效率 4.1.2 设置项目间分割线 ...
基于局部鲁棒优化的场景生成（SGLRO）的非凸鲁棒优化算法
鲁棒优化是一种通过寻找在所有可能的不确定参数值下可行的解来考虑不确定性的优化. 该程序实现了包含非凸约束的鲁棒优化问题的求解.这是Rudnick Cohen等人2019年提出的采用局部鲁棒优化(SGL ...
《C++性能优化指南》 linux版代码及原理解读第四章
目录概述为什么字符串很麻烦字符串是动态分配的字符串赋值背后的操作如何面对字符串会进行大量复制写时复制COW(copy on write) 尝试优化字符串避免临时字符串通过预留存储空间减 ...

凸优化第四章凸优化问题 4.2凸优化

4.2凸优化

标准形式的凸优化问题

局部最优解与全局最优解