4.6 广义不等式约束

锥形式问题
半定规划
例子

广义不等式约束

将不等式约束函数扩展为向量，并使用广义不等式，得到：

$minimize \, \,f_0(x) \\ subject \, \, to \, \,\begin{matrix} f_i(x)\preceq _{K_i} 0,i=1,2,\cdots m\\ Ax=b \end{matrix}$

其中 $f_0:R^n\rightarrow R$ ， $K_i\subseteq R^{k_i}$ 为正常锥， $f_i:R^n\rightarrow R^{k_i}$ 为 $K_i$ 凸的。则称此问题为广义不等式意义下的凸优化问题。

结论：

可行集、任意下水平集和最优集都是凸的。
上述问题的任意局部最优解都是全局最优解。
可微函数 $f_0$ 的最优性条件都成立。

锥形式问题

锥形式问题也称锥规划，有线性目标函数和一个不等式约束函数（仿射函数）：

$minimize \, \,c^Tx \\ subject \, \,to \, \,\begin{matrix} Fx+g\preceq _K0\\ Ax=b \end{matrix}$

标准形式的锥形式问题：

$minimize \, \,c^Tx \\ subject \, \,to \, \,\begin{matrix} x\succeq _K0\\ Ax=b \end{matrix}$

不等式形式的锥形式问题：

$minimize \, \,c^Tx \\ subject \, \,to \, \,\begin{matrix} Fx+g\preceq _K0\end{matrix}$

半定规划

当K为 $S_+^k$ ，即 $k\times k$ 半正定矩阵锥时，相应的锥形式问题为半定规划（SDP）：

$minimize \,\, c^Tx \\ subject \, \, to \, \, \begin{matrix} x_1F_1+\cdots +x_nF_n+G\preceq 0\\ Ax=b \end{matrix}$

其中 $G,F_1,\cdots F_n\in S^k,A\in R^{p\times n}$ ，且不等式是线性矩阵不等式（LMI）。

如果 $G,F_1,\cdots F_n$ 都是对角阵，那么上式中的线性矩阵不等式等价于n个线性不等式，SDP退化为线性规划。

标准形式的半定规划

标准形式的SDP具有对变量 $X\in S^n$ 的线性等式约束和非负约束：

$minimize \, \, tr(CX) \\ subject \, \, to \, \,\begin{matrix} tr(A_iX)=b_i,i=1,2,\cdots p\\ X\succeq 0 \end{matrix}$

其中 $C,A_1,A_2,\cdots A_p\in S^n$ 。

不等式形式的半定规划

$minimize \, \, c^Tx \\ subject \, \, to \, \,x_1A_1+x_2A_2+\cdots x_nA_n\preceq B$

其优化变量 $x\in R^n,B,A_1,A_2,\cdots A_n\in S^k,c\in R^n$ 。

多个LMI：

$minimize \, \, c^Tx \\ subject \, \, to \, \,F^{(i)}(x)=x_1F^{(i)}_1+x_2F^{(i)}_2+\cdots x_nF^{(i)}_n+G^{(i)}\preceq 0$

多个LMI和一个LMI是等价的，例如

$minimize \, \, c^Tx \\ subject \, \, to \, \,\begin{matrix} F^{(1)}(x)=x_1F^{(1)}_1+x_2F^{(1)}_2+\cdots x_nF^{(1)}_n+G^{(1)}\preceq 0\\ F^{(2)}(x)=x_1F^{(2)}_1+x_2F^{(2)}_2+\cdots x_nF^{(2)}_n+G^{(2)}\preceq 0 \end{matrix}$

其约束函数可以写成：

$x_1\begin{bmatrix} F^{(1)}_1 & 0\\ 0 & F^{(2)}_1 \end{bmatrix}+x_2\begin{bmatrix} F^{(1)}_2 & 0\\ 0 & F^{(2)}_2 \end{bmatrix}+\cdots +x_n\begin{bmatrix} F^{(1)}_n & 0\\ 0 & F^{(2)}_n \end{bmatrix}\preceq 0$

新的约束的矩阵仍然属于 $S^k$

LP 、SOCP、SDP

首先解释为什么当 $G,F_1,\cdots F_n$ 都是对角阵时，那么上式中的线性矩阵不等式等价于n个线性不等式，SDP退化为线性规划

当 $G,F_1,\cdots F_n$ 都是对角阵时，取k=2，n=2，此时约束函数：

$x_1\begin{bmatrix} F^{(1)}_{11} & 0\\ 0 & F^{(1)}_{22} \end{bmatrix}+x_2\begin{bmatrix} F^{(2)}_{11} & 0\\ 0 & F^{(2)}_{22} \end{bmatrix}+\begin{bmatrix} G_{11} & 0\\ 0 & G_{22} \end{bmatrix}\preceq 0$

$\Rightarrow\begin{matrix} x_1F^{(1)}_{11}+x_2F^{(2)}_{11}+G_{11}\preceq 0 \\ x_1F^{(1)}_{22}+x_2F^{(2)}_{22}+G_{22}\preceq 0 \\ \end{matrix}$

显然SDP退化为线性规划。

SOCP和等价的SDP

SOCP：

$minimize \, \, f^Tx \\ subject \,\, to \,\,\begin{Vmatrix} A_ix+b_i\end{Vmatrix}_2\leq c_i^Tx+d_i,i=1,2,\cdots m$

想要得到其等价的SDP，关键在于对其约束函数的转变，即由SOCP的约束函数得到一个矩阵半定约束。

$minimize \, \, f^Tx \\ subject \,\, to \,\,\begin{bmatrix} (c_i^Tx+d_i)I & A_ix+b_i\\ ( A_ix+b_i)^T& (c_i^Tx+d_i) \end{bmatrix}\succeq 0$

显然矩阵正定有两个约束：（1） $(c_i^Tx+d_i)I\geq 0$ （2） $(c_i^Tx+d_i)I(c_i^Tx+d_i)-(A_ix+b_i)^T(A_ix+b_i)\geq 0$ 由这两个约束可推出SOCP的约束。

例子

最小化矩阵最大的特征值

$minimize \, \, \lambda _{max}(A(x))$

$A(x)=A_0+x_1A_1+x_2A_2+\cdots x_nA_n,A_i\in S^k$

相当于找到一个最小的t，使得 $\lambda _{max}(A(x))\leq t$ ，即 $\forall y,x,y^TA(x)y\preceq y^Tty\Leftrightarrow A(x)\preceq tI\Leftrightarrow A(x)-tI\preceq 0$

等价于SDP：

$minimize \, \, t \\ subject \, \, to \, \,A(x)-tI\preceq 0$

矩阵范数极小化

$minimize \, \, \begin{Vmatrix} A(x)\end{Vmatrix}_2=(\lambda _{max}(A(x)^TA(x)))^{1/2}\\ A(x)=A_0+x_1A_1+x_2A_2+\cdots x_nA_n,A_i \in R^{p\times q}$

即找到一个最小t，使得 $\begin{Vmatrix}A(x) \end{Vmatrix}_2\leq t\Leftrightarrow A^TA\preceq t^2I,t\geq 0\Leftrightarrow \begin{bmatrix} tI & A\\A^T & tI \end{bmatrix}\succeq 0$

所以其对应的SDP问题为：

$minimize \, \, t \\ subject \, \, to \, \,\begin{bmatrix} tI & A\\A^T & tI \end{bmatrix}\succeq 0$

来源：https://blog.csdn.net/wangchy29/article/details/86659239

凸优化第四章凸优化问题 4.6 广义不等式约束相关推荐

凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
【数据结构总结】第四章：串、数组和广义表（线性结构）
第四章:串.数组和广义表(线性结构) 提示:本文主要是以思维导图的形式概括数据结构第一章的精华内容,基本不会用到文字性的内容,目的是为了给大家梳理每个重要的知识点的相关概念,方便大家在复盘的时候快速阅 ...
H5移动应用的发布优化（四）图片优化
H5移动应用常常是一个手机网页应用,或被包装成一个安卓或苹果的应用程序. 在开发完成后,将本地开发版本上线时常常需要优化,主要的优化思路是: 减少交互次数,即减少对服务器的访问,主要手段有缓存优化.文 ...
网络营销教程SEO 第四章搜索引擎优化基础（第四节）
第四节搜索引擎如何看待SEM工作记2008年百度联盟锋会--李彦宏:"每个企业都应该有SEM部门". 一搜索引擎会对自然排名(serp)人工干预吗? 搜索引擎会采取人工的方式 ...
优化算法(四)——粒子群优化算法(PSO)
粒子群算法(Particle Swarm Optimization,PSO)是一种模仿鸟群.鱼群觅食行为发展起来的一种进化算法.其概念简单易于编程实现且运行效率高.参数相对较少,应用非常广泛.粒子群算 ...
第四章：串、数组和广义表的思维导图
第四章 Global and Detailed Placement [VLSL Physical Design 学习笔记 ]
第四章 Global and Detailed Placement [VLSL Physical Design 学习笔记 ] 4.1 简介 4.2 优化目标摆放的线长(Total wirelengt ...
Android 性能优化（三）布局优化秒变大神
Android 性能优化 (一)APK高效瘦身 http://blog.csdn.net/whb20081815/article/details/70140063 Android 性能优化 (二)数据 ...
App优化（五）电量优化
引言 App优化(一)App启动速度优化 App优化(二)布局优化 App优化(三)ANR优化 App优化(四)内存优化 App优化(五)电量优化 App优化(六)网络优化电量使用优化, 基本上是我 ...
凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...

凸优化第四章凸优化问题 4.6 广义不等式约束