5.7例子

引入新的变量以及相应的等式约束
隐式约束

一个问题的等价问题会得到非常不一样的对偶问题。有些时候利用原问题的等价问题是非常有用的，因为原问题的对偶问题可能很难求解或者不是我们所感兴趣的，而其等价问题的对偶问题却容易求解。

引入新的变量以及相应的等式约束

例子1

考虑如下无约束问题：

$minimize \,\,f_0(Ax+b)$

此问题的对偶问题是他本身，没有什么意义。

现在引入新的变量y，y=Ax+b，此时问题：

$minimize \,\, f_0(y) \\ subject \, \,to\,\, Ax+b-y=0$

此时问题与原问题等价，此问题的对偶函数是：

$g(\lambda )=\underset{x,y}{inf}L(x,y,\lambda)=\underset{x,y}{inf}f_0(y)+\lambda ^T(Ax+b-y)$

通过对x极小化， $g(\lambda)$ 存在下界当且仅当 $\lambda^TA=0$ ，对y极小化 $\underset{y}{inf}(f_0(y)-\lambda^Ty)=-\underset{y}{sup}(-f_0(y)+\lambda^Ty)=-f_0^*(y)$

所以 $g(\lambda)= \lambda^Tb-f_0^*(\lambda)$

其对偶问题是：

$maximize \,\, \lambda^Tb-f_0^*(\lambda)\\ subject \,\, to \,\,\lambda^TA=0$

例子2

考虑如下无约束问题：

$minimize \,\,\begin{Vmatrix} Ax-b \end{Vmatrix}$

此问题的对偶问题是它本身，没有什么意义。

现在引入新的变量y，y=Ax-b，此时问题：

$minimize \,\, \begin{Vmatrix} y \end{Vmatrix} \\ subject \, \,to\,\, y-Ax+b=0$

此时问题与原问题等价，此问题的对偶函数是：

$g(\lambda )=\underset{x,y}{inf}L(x,y,\lambda)=\underset{x,y}{inf}f_0(y)+\lambda ^T(y-Ax+b)$

通过对x极小化， $g(\lambda)$ 存在下界当且仅当 $\lambda^TA=0$ ，对y极小化 $\underset{y}{inf}(f_0(y)+\lambda^Ty)=-\underset{y}{sup}(-f_0(y)-\lambda^Ty)=-f_0^*(-\lambda)$

所以 $g(\lambda)=\lambda^Tb-f_0^*(-\lambda)$

而范数的共轭函数为0的条件： $\begin{Vmatrix} \lambda \end{Vmatrix}_*\leq 1$

其对偶问题是：

$maximize \,\, \lambda^Tb\\ subject \,\, to \,\,\lambda^TA=0,\begin{Vmatrix} \lambda \end{Vmatrix}_*\leq 1$

隐式约束

考虑如下问题：

$minimize \,\,c^Tx \\ subject \,\, to \, \,Ax=b,l \preceq x\preceq u$

问题 $l \preceq x\preceq u$ 称为框约束或变量的界。

其对偶函数：

$g(\lambda,v)=\underset{x}{inf}L(x,\lambda,v)=\underset{x}{inf}(c^Tx+v^T(Ax-b)+\lambda_1^T(x-u)+\lambda_2^T(l-x))$

通过对x极小化， $g(\lambda,v)$ 存在下界当且仅当 $A^Tv+\lambda_1-\lambda_2+c=0$ ，此时 $g(\lambda,v)=-v^Tb-\lambda_1^Tu+\lambda_2^Tl$

所以其对偶问题：

$minimize \,\, -v^Tb-\lambda_1^Tu+\lambda_2^Tl \\ subject \, \,to\,\,A^Tv+\lambda_1-\lambda_2+c=0,\lambda_1 \succeq 0,\lambda_2 \succeq 0$

现在将问题的框约束引入到目标函数的定义域中，形成隐式约束，即定义目标函数：

$minimize \, \,f_0(x)=\left\{\begin{matrix} c^Tx&l \preceq x\preceq u\\ \infty& otherwise \end{matrix}\right.\\ subject \, \, to \, \,Ax=b$

此时问题与原问题等价，此问题的对偶函数是：

$g(v)=\underset{x}{inf}L(x,v)=\underset{x}{inf}f_0(x)+v ^T(Ax-b)=\underset{l \preceq x\preceq u}{inf}c^Tx+v ^T(Ax-b)$

所以 $y_i^+=max(y_i,0),y_i^-=max(-y_i,0)$

$g(v)=-v^Tb+l^T(A^Tv+c)^+-u^T(A^Tv+c)^-$

解释：当 $A^Tv+c<0$ 时， $g(v)=-v^Tb+u^T(A^Tv+c)$ ,当 $A^Tv+c>0$ 时， $g(v)=-v^Tb+l^T(A^Tv+c)$

其对偶问题是：

$maximize \,\,-v^Tb+l^T(A^Tv+c)^+-u^T(A^Tv+c)^-$

凸优化第五章对偶 5.7例子相关推荐

凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
《C++应用程序性能优化::第五章动态内存管理》学习和理解
<C++应用程序性能优化::第五章动态内存管理>学习和理解说明:<C++应用程序性能优化> 作者:冯宏华等 2007年版. 2010.8.29 cs_wuyg@126.com ...
凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
精通安卓性能优化-第五章（三）
Concurrency 在java.util.concurrent.atomic和java.util.concurrent.locks包中定义了更多的类.java.util.concurrent.at ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...

凸优化第五章对偶 5.7例子

5.7例子

引入新的变量以及相应的等式约束

例子1

例子2

隐式约束

凸优化第五章对偶 5.7例子相关推荐

最新文章

热门文章