4.4 二次优化问题

基本概念
例子
二次锥规划

4.4.1 基本概念

二次优化

当凸优化问题的目标函数是凸二次型并且约束函数为仿射函数时，问题为二次规划：

$\begin{array}{ll} \operatorname{minimize} & (1 / 2) x^{T} P x+q^{T} x+r \\ \text { subject to } & G x \preceq h \\ & A x=b \end{array}$

其中 $P \in \mathbf{S}_{+}^{n}, G \in \mathbf{R}^{m \times n}, A \in \mathbf{R}^{p \times n}$ 。

在二次规划问题中，我们在多面体上极小化一个图二次函数。如下所示：

二次约束二次规划

二次约束二次规划，即目标函数和不等式约束函数均为凸二次型：

$\begin{array}{ll} \text { minimize } & (1 / 2) x^{T} P_{0} x+q_{0}^{T} x+r_{0} \\ \text { subject to } & (1 / 2) x^{T} P_{i} x+q_{i}^{T} x+r_{i} \leqslant 0, \quad i=1, \cdots, m \\ & A x=b \end{array}$

其中 $P_{i} \in \mathbf{S}_{+}^{n}, i=0,1, \cdots, m$ 。

这里记LP 为线性规划，QP为二次规划，QCQP为二次约束二次规划，可知 $LP \subseteq QP \subseteq QCQP$ 。

当QCQP中的 $P_i=0,i=1,2,\cdots, m$ 时，QCQP变为QP。

当QP中的 $P_0=0$ 时，QP变为LP。

4.4.2 例子

最小二乘及回归

$minimize \,\begin{Vmatrix} Ax-b \end{Vmatrix}_2^2$

无约束的情况下，最小二乘问题是一个二次规划。

解析解：是A 的伪逆。

增加线性约束： $l\leq x\leq u$ ，也是一个二次规划问题。

如果约束为： $x_1\leq x_2\leq \cdots \leq x_n$ ，对约束进行整理，整理成： $x_{i+1}-x_i\geq 0,i=1,2\cdots n-1$ ，也是线性约束，也是二次规划问题。

多面体间距离

多面体 $\mathcal{P}_{1}=\left\{x \mid A_{1} x \preceq b_{1}\right\}\ and \ \mathcal{P}_{2}=\left\{x \mid A_{2} x \preceq b_{2}\right\}$ 间的距离定义为：

$\operatorname{dist}\left(\mathcal{P}_{1}, \mathcal{P}_{2}\right)=\inf \left\{\left\|x_{1}-x_{2}\right\|_{2} \mid x_{1} \in \mathcal{P}_{1}, x_{2} \in \mathcal{P}_{2}\right\}$

为了得到两多面体间的距离，我们求解如下问题：

$\begin{array}{ll} \operatorname{minimize} & \left\|x_{1}-x_{2}\right\|_{2}^{2} \\ \text { subject to } & A_{1} x_{1} \preceq b_{1}, \quad A_{2} x_{2} \preceq b_{2} \end{array}$

方差界定

我们再次考虑Chebyshev不等式的例子，其变量是由 $p \in R^n$ 给出的未知概率分布，并且我们对其有一些先验知识。随机变量f(x)的方差由： $\mathbf{E} f^{2}-(\mathbf{E} f)^{2}=\sum_{i=1}^{n} f_{i}^{2} p_{i}-\left(\sum_{i=1}^{n} f_{i} p_{i}\right)^{2}$ 给出，其中 $f_{i}=f\left(u_{i}\right)$ ，这是关于p的凹二次函数。

为了得到最大可能方差，我们求解如下问题：

$\begin{array}{ll} \operatorname{maximize} & \sum_{i=1}^{n} f_{i}^{2} p_{i}-\left(\sum_{i=1}^{n} f_{i} p_{i}\right)^{2} \\ \text { subject to } & p \succeq 0, \quad \mathbf{1}^{T} p=1 \\ & \alpha_{i} \leqslant a_{i}^{T} p \leqslant \beta_{i}, \quad i=1, \cdots, m \end{array}$

关于随机费用的线性规划

考虑线性规划：

$\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & G x \preceq h \\ & A x=b \end{array}$

其中，c是随机向量， $\bar{c}$ 是c的均值， $\Sigma$ 是协方差，且 $\mathbf{var}(c^Tx)=E(c^Tx-E(c^Tx))^2=E(c^Tx-\bar{c}^Tx)^2=E(x^T(c^T-\bar{c}^T)^2x)$

根据协方差公式： $cov(X,Y)=E((X-E(X))(Y-E(Y)))\Rightarrow cov(c,c)=E((c-\bar{c})(c-\bar{c})^T)$

$\Rightarrow\mathbf{ var}(c^Tx)=x^T\Sigma x$

一般地，在小的费用期望和小的费用方差之间有一个权衡。考虑方差的一种方法是极小化费用的期望和方差的线性组合，即： $\mathbf{E} c^{T} x+\gamma \operatorname{var}\left(c^{T} x\right)$ ，这个函数称为风险敏感费用。系数 $\gamma\geq 0$ ，称为风险回避参数，它越大，表示越在意费用方差，即越希望费用方差充分小（通过增加期望费用）。

为极小化风险敏感费用，我们可以求解如下问题：

$\begin{array}{ll} \operatorname{minimize} & \bar{c}^{T} x+\gamma x^{T} \Sigma x \\ \text { subject to } & G x \preceq h \\ & A x=b \end{array}$

Markowitz投资组合优化

我们考虑在一时期内持有n种资产或股票的经典的投资组合问题。我们用 $x_i$ 表示在这个时期内持有资产 $i$ 的数量， $x_i$ 以美元为单位，用开始时的价格进行度量。一般地，资产 $i$ 的多头对应于 $x_i>0$ ，资产i的空头(即在期末购买资产的契约)对应于 $x_i<0$ 。我们用 $p_i$ 表示资产在整个时期内的相对价格变动，即其整个时期内的资产变动除以其在开始时的价格。投资总回报为 $r=p^Tx$ (以美元给出)。优化变量为投资组合向量 $x \in R^n$ 。
可以考虑对于投资组合的各种约束。最简单的约束是 $x_i\geq 0$ (即没有空头)和 $1^Tx=B$ (即总投资预算为B，B常取为1)。
我们用随机模型来描述价格变动： $p \in R^n$ 为随机变量，其均值 $p$ 和协方差 $\Sigma$ 已知。所以，对于投资组合 $x \in R^n$ ，其回报 $r$ 是(标量)随机变量，均值为 $\bar{p}^{T} x$ ，方差为 $x^{T} \Sigma x$ 。投资组合 $x$ 的选择需要考虑平均回报和方差之间的权衡。

求解以下问题，即在最小可接受平均回报率 $r_{min}$ 的约束下极小化回报方差：

$\begin{array}{ll} \operatorname{minimize} & x^{T} \Sigma x \\ \text { subject to } & \bar{p}^{T} x \geqslant r_{\min } \\ & \mathbf{1}^{T} x=1, \quad x \succeq 0 \end{array}$

4.4.3 二阶锥规划

二阶锥规划(SOCP)：

$\begin{array}{ll} \operatorname{minimize} & f^{T} x \\ \text { subject to } & \left\|A_{i} x+b_{i}\right\|_{2} \leqslant c_{i}^{T} x+d_{i}, \quad i=1, \cdots, m \\ & F x=g \end{array}$

其中 $x \in R^n$ 为优化变量， $A_{i} \in \mathbf{R}^{n_{i} \times n},F \in \mathbf{R}^{p \times n}$ 。

称 $\begin{Vmatrix} A_ix+b_i \end{Vmatrix}_2\leq c_i^Tx+d_i$ 这种形式的约束为二阶锥约束。因为这等同于要求仿射函数 $(A_ix+b_i, c_i^Tx+d_i)$ 在二阶锥 $R^{(n_i+1)}$ 中。

当 $c_{i}=0, i=1, \cdots, m$ 时，SOCP退化为QCQP。当 $A_{i}=0, i=1, \cdots, m$ 时，SOCP退化为LP问题。

鲁棒线性规划

考虑不等式形式的线性规划问题：

$\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & a_{i}^{T} x \leqslant b_{i}, \quad i=1, \cdots, m \end{array}$

其中参数 $a_i,b_i,c$ 含有一些不确定性或变化。

简化起见，假设只有 $a_i$ 有不确定性，其他都是确定的。

已知 $a_i$ 在给定的椭球中： $a_i \in \varepsilon _i=\left \{ \bar{a_i}+P_iu|\begin{Vmatrix} u \end{Vmatrix}_2\leq 1 \right \}$ ，所以问题变成：

$\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & a_{i}^{T} x \leqslant b_{i}, \forall a_{i} \in \mathcal{E}_{i}, \quad i=1, \cdots, m \end{array}$

不等式约束又可以表示成： $sup\left \{ a_i^Tx|a_i \in \varepsilon _i \right \}\leq b_i$

$\begin{aligned} \sup \left\{a_{i}^{T} x \mid a_{i} \in \mathcal{E}_{i}\right\} &=\bar{a}_{i}^{T} x+\sup \left\{u^{T} P_{i}^{T} x \mid\|u\|_{2} \leqslant 1\right\} \\ &=\bar{a}_{i}^{T} x+\left\|P_{i}^{T} x\right\|_{2} \end{aligned}$

所以上述约束变为 $\bar{a_i}x+\begin{Vmatrix} P_i^Tx \end{Vmatrix}_2\leq b_i$

问题变成：

$\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & \bar{a}_{i}^{T} x+\left\|P_{i}^{T} x\right\|_{2} \leqslant b_{i}, \quad i=1, \cdots, m \end{array}$

随机约束下的线性规划

设参数 $a_i$ 是独立搞死随机变量，均值为 $\bar{a_i}$ ，协方差为 $\Sigma _i$ ，要求每一个约束 $a_i^Tx \leq b_i$ 成立的概率超过 $\eta$ ，且 $\eta \geq 0.5$ ，即 $prob(a_i^Tx \leq b_i)\geq \eta$ 。

令 $u=a_i^Tx$ ，均值 $\bar{a_i}^Tx$ ，方差 $x^T\Phi _ix$ ，因此

$prob(a_i^Tx \leq b_i)=prob(\frac{a_i^Tx-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2}\leq \frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2})$

所以

$prob(a_i^Tx\leq b_i)=\Phi (\frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2})$ ， $\Phi(x)= (\frac{1}{\sqrt{2\pi }})\int_{-\infty }^{x}e^{-t^2/2}dt$

所以： $prob(a_i^Tx \leq b_i)\geq \eta$ 可以写成：

$\frac{b_i-\bar{a_i}^Tx}{\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2}\geq \Phi ^{-1}(\eta)\Rightarrow \bar{a_i}^Tx+\begin{Vmatrix} \Sigma _i^{1/2}x \end{Vmatrix}_2\Phi ^{-1}(\eta)\leq b_i$

问题：

$\begin{array}{ll} \text { minimize } & c^{T} x \\ \text { subject to } & \text { prob }\left(a_{i}^{T} x \leqslant b_{i}\right) \geqslant \eta, \quad i=1, \cdots, m \end{array}$

变为：

$\begin{array}{ll} \text { minimize } & c^{T} x \\ \text { subject to } & \bar{a}_{i}^{T} x+\Phi^{-1}(\eta)\left\|\Sigma_{i}^{1 / 2} x\right\|_{2} \leqslant b_{i}, \quad i=1, \cdots, m \end{array}$

参考：https://blog.csdn.net/wangchy29/article/details/86608176

凸优化第四章凸优化问题 4.4 二次优化问题相关推荐

凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
第四章 SQL聚合函数 COUNT（二）
文章目录第四章 SQL聚合函数 COUNT(二) 权限性能未提交事务所做的更改示例第四章 SQL聚合函数 COUNT(二) 权限要使用COUNT(*),必须对指定的表具有表级别的SELEC ...
H5移动应用的发布优化（四）图片优化
H5移动应用常常是一个手机网页应用,或被包装成一个安卓或苹果的应用程序. 在开发完成后,将本地开发版本上线时常常需要优化,主要的优化思路是: 减少交互次数,即减少对服务器的访问,主要手段有缓存优化.文 ...
网络营销教程SEO 第四章搜索引擎优化基础（第四节）
第四节搜索引擎如何看待SEM工作记2008年百度联盟锋会--李彦宏:"每个企业都应该有SEM部门". 一搜索引擎会对自然排名(serp)人工干预吗? 搜索引擎会采取人工的方式 ...
优化算法(四)——粒子群优化算法(PSO)
粒子群算法(Particle Swarm Optimization,PSO)是一种模仿鸟群.鱼群觅食行为发展起来的一种进化算法.其概念简单易于编程实现且运行效率高.参数相对较少,应用非常广泛.粒子群算 ...
第四章：Java_面向对象编程（二）
目录: 面向对象的特征之二:继承性方法的重写关键字super 子类对象实例化的全过程面向对象的特征之三:多态性 Object类 Junit单元测试类包装类 1.面向对象的特征二:继承性 1.为 ...
【JAVA 第四章流程控制语句】课后习题二维坐标距离三角形判断等
知识点: 1.三角形的判断公式两边之和大于第三边 2.二维坐标两点距离公式根号[(x1-x2)平方+(y1-y2)平方] 3.JAVA Math.pow(变量,指数); 的运用 4.JAVA Ma ...
第四章 Global and Detailed Placement [VLSL Physical Design 学习笔记 ]
第四章 Global and Detailed Placement [VLSL Physical Design 学习笔记 ] 4.1 简介 4.2 优化目标摆放的线长(Total wirelengt ...
Android 性能优化（三）布局优化秒变大神
Android 性能优化 (一)APK高效瘦身 http://blog.csdn.net/whb20081815/article/details/70140063 Android 性能优化 (二)数据 ...
App优化（五）电量优化
引言 App优化(一)App启动速度优化 App优化(二)布局优化 App优化(三)ANR优化 App优化(四)内存优化 App优化(五)电量优化 App优化(六)网络优化电量使用优化, 基本上是我 ...

凸优化第四章凸优化问题 4.4 二次优化问题