5.9广义不等式

Lagrange对偶
最优性条件

Lagrange对偶

$minimize \, \,f_0(x)\\ subject \, \, to \, \,\begin{matrix} f_i(x)\preceq _{K_i}0&i=1,2\cdots m \\ h_i(x)=0 &i=1,2 \cdots p \end{matrix}$

其中 $K_i \in R^{K_i}$ 是正常锥。

对于问题中的每个广义不等式 $f_i(x)\preceq _{K_i}0$ ，引入Lagrange乘子向量， $\lambda _i \in R^{K_i}$ ，并定义相关的Lagrange函数：

$L(x,\lambda,v)=f_0(x)+\sum_{i=1}^m\lambda^T_if_i(x)+\sum _{i=1}^p v_ih_i(x)$

对偶函数：

$g(\lambda,v)=\underset{x \in D}{inf}L(x,\lambda,v)=\underset{x \in D}{inf}(f_0(x)+\sum_{i=1}^m\lambda^T_if_i(x)+\sum _{i=1}^p v_ih_i(x))$

弱对偶性：如果 $\lambda_i \succeq_{K_i^*}0$ ，即广义不等式的Lagrange乘子必须是对偶非负的，则 $g(\lambda,v)\leq P^*$

对偶问题：

$minimize \, \, g(\lambda,v)\\ subject \,\, to \,\,\lambda_i\succeq_{K_i^*}0,i=1,2\cdots m$

弱对偶性始终成立。

在广义不等式的情况下，强对偶性成立的条件：原问题是凸的且满足约束条件（Slater条件）

对于如下问题：

$minimize \, \,f_0(x)\\ subject \, \, to \, \,\begin{matrix} f_i(x)\preceq _{K_i}0&i=1,2\cdots m \\ Ax=b & \end{matrix}$

其中 $f_0$ 是凸函数， $f_i,i=1,2\cdots m$ 是 $K_i$ 凸的，其Slater条件：

$\exists x\in relint D,f_i(x)\prec _{K_i}0,i=1,2,\cdots m,Ax=b$

如果Slater条件成立，强对偶性成立。

半定规划问题

$minimize \,\, c^Tx \\ subject \,\, to \, \,x_1F_1+x_2F_2+\cdots+x_nF_n+G\preceq 0$

其中 $F_1,\cdots F_n,G \in S^k$ ，此时 $f_1$ 是仿射的，锥 $K_1$ 为半正定锥 $S^k_+$

引入Lagrange乘子z，其Lagrange函数：

$L(x,z)=c^Tx+\boldsymbol{tr}((x_1F_1+x_2F_2+\cdots+x_nF_n+G)z)=x_1(c_1+\boldsymbol{tr}(F_1z))+\cdots +x_n(c_n+\boldsymbol{tr}(F_nz))+\boldsymbol{tr}(Gz)$

对偶函数：

$g(z)=\underset{x}{inf}L(x,z)$

对x极小化，当且仅当 $c_i+\boldsymbol{tr}(F_iz)=0,i=1,\cdots n$ ，此时 $g(z)$ 有下界 $\boldsymbol{tr}(GZ)$ ，其他情况下 $g(z)$ 无下界。

$g(z)=\underset{x}{inf}L(x,z)=\left\{\begin{matrix} \boldsymbol{tr}(Gz) & c_i+\boldsymbol{tr}(F_iz)=0,i=1,\cdots n \\ -\infty & otherwise \end{matrix}\right.$

对偶问题：

$maximize \,\, \boldsymbol{tr}(Gz) \\ subject \,\, to \, \,z\succeq 0,\boldsymbol{tr}(F_iz)+c_i=0,i=1,\cdots n$

最优性条件

互补松弛性

$\lambda^*_i\succ _{K_i^*} 0\Rightarrow f_i(x^*)=0\\ f_i(x^*)\succ_{K_i} 0\Rightarrow \lambda _i^*=0$

KKT条件

$f_i(x^*)\precep_{K_i} 0,i=1,\cdots m \\ h_i(x^*)=0,i=1,\cdots p \\ \lambda _i^*\succeq_{K_i^*} 0,i=1,\cdots m\\ \lambda_i^*f_i(x^*)=0,i=1,\cdots m\\ \bigtriangledown_x L(x^*,\lambda^*,v^*)=\bigtriangledown _xf_0(x^*)+\sum_{i=1}^m\lambda^*_i\bigtriangledown _xf_i(x^*)+\sum_{i=1}^pv^*_i \bigtriangledown _xh_i(x^*)=0$

凸优化第五章对偶 5.9广义不等式相关推荐

凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
《C++应用程序性能优化::第五章动态内存管理》学习和理解
<C++应用程序性能优化::第五章动态内存管理>学习和理解说明:<C++应用程序性能优化> 作者:冯宏华等 2007年版. 2010.8.29 cs_wuyg@126.com ...
凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
精通安卓性能优化-第五章（三）
Concurrency 在java.util.concurrent.atomic和java.util.concurrent.locks包中定义了更多的类.java.util.concurrent.at ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...

凸优化第五章对偶 5.9广义不等式