UA SIE545 优化理论基础4 对偶理论简介1 松弛问题与Lagrange对偶

优化理论基础第四部分介绍对偶问题(Dual problem)及其简单性质，是对偶理论的入门，后续章节会更深入地讨论对偶问题的数学基础及其求解方法。这一讲我们介绍松弛(relaxation)这个概念以及为什么我们需要讨论对偶问题。

定义1 Relaxation
考虑两个优化问题：
zP=min⁡{f(x):x∈X}zR=min⁡{g(x):x∈Y}z_P = \min\{f(x):x \in X\} \\ z_R = \min \{g(x): x \in Y\}zP=min{f(x):x∈X}zR=min{g(x):x∈Y}

称优化问题R是优化问题P的一个松弛问题，如果

f(x)≥g(x),∀x∈Xf(x) \ge g(x),\forall x \in Xf(x)≥g(x),∀x∈X
X⊂YX \subset YX⊂Y

评注1 根据第一个条件，我们知道最优值一定满足zP≥zRz_P \ge z_RzP≥zR，因为
min⁡x∈Xf(x)≥min⁡x∈Xg(x)≥min⁡x∈Yg(x)\min_{x \in X}f(x) \ge \min_{x \in X} g(x) \ge \min_{x \in Y} g(x)x∈Xminf(x)≥x∈Xming(x)≥x∈Yming(x)

根据第二个条件，优化R的可行域比优化P的可行域更大，所以如果优化R是infeasible，那么优化P也是infeasible。

性质1 假设xRx_RxR是优化R的一个最优解，如果它满足xR∈Xx_R \in XxR∈X, f(xR)=g(xR)f(x_R)=g(x_R)f(xR)=g(xR)，则xRx_RxR也是优化P的一个最优解。

证明
xRx_RxR是优化R的一个最优解说明∀x∈Y\forall x \in Y∀x∈Y, g(x)≥g(xR)g(x) \ge g(x_R)g(x)≥g(xR)，根据relaxation的条件，∀x∈X,f(x)≥g(x)≥g(xR)=f(xR)\forall x \in X,f(x) \ge g(x) \ge g(x_R) = f(x_R)∀x∈X,f(x)≥g(x)≥g(xR)=f(xR)，因此xRx_RxR也是优化P的一个最优解。
证毕

例1 不求解线性规划，考虑z∗z^*z∗的下界，其中z∗z^*z∗为
z∗=min⁡x1,x22x1+4x2s.t.{x1+x2≥205x1+3x2≥90x2≤10,x1,x2≥0z^* = \min_{x_1,x_2} 2x_1+4x_2 \\ s.t. \begin{cases} x_1+x_2 \ge 20 \\ 5x_1+3x_2 \ge 90 \\ x_2 \le 10 ,x_1,x_2 \ge 0 \end{cases}z∗=x1,x2min2x1+4x2s.t.⎩⎪⎨⎪⎧x1+x2≥205x1+3x2≥90x2≤10,x1,x2≥0

我们记这个线性规划为P，为了找z∗z^*z∗的下界，根据评注1的讨论，我们可以找线性规划P的一个relaxation。但我们知道，随便修改一个数字，让可行域变大或者目标函数变小，比如第一个约束的20改成19或者目标函数系数从2，4改成1，2等，都可以是relaxation，那么怎么样的relaxation才是值得我们去讨论的呢？

我们在KKT理论的框架下来讨论这个问题。定义Lagrange函数
ϕ(x1,x2,u1,u2,u3)=2x1+4x2+u1(−x1−x2+20)+u2(−5x1−3x2+90)+u3(x2−10)\phi(x_1,x_2,u_1,u_2,u_3)=2x_1+4x_2+u_1(-x_1-x_2+20) \\ +u_2(-5x_1-3x_2+90)+u_3(x_2-10)ϕ(x1,x2,u1,u2,u3)=2x1+4x2+u1(−x1−x2+20)+u2(−5x1−3x2+90)+u3(x2−10)

则KKT定理说明线性规划P等价于加入KKT条件的优化R，其中优化R为
min⁡ϕ(x1,x2,u1,u2,u3),x1,x2,u1,u2,u3≥0\min \phi(x_1,x_2,u_1,u_2,u_3),x_1,x_2,u_1,u_2,u_3 \ge 0minϕ(x1,x2,u1,u2,u3),x1,x2,u1,u2,u3≥0

不难发现优化R就是线性规划P的一个relaxation，记θ(u1,u2,u3)\theta(u_1,u_2,u_3)θ(u1,u2,u3)是优化R目标函数的最优值，则
z∗≥θ(u1,u2,u3),u1,u2,u3≥0z^* \ge \theta(u_1,u_2,u_3),u_1,u_2,u_3 \ge 0z∗≥θ(u1,u2,u3),u1,u2,u3≥0

接下来我们分析优化R的目标函数，
ϕ(x1,x2,u1,u2,u3)=(2−u1−5u2)x1+(4−u1−3u2+u3)x2+20u1+90u2−10u3\phi(x_1,x_2,u_1,u_2,u_3)=(2-u_1-5u_2)x_1\\+(4-u_1-3u_2+u_3)x_2 + 20u_1+90u_2-10u_3ϕ(x1,x2,u1,u2,u3)=(2−u1−5u2)x1+(4−u1−3u2+u3)x2+20u1+90u2−10u3

我们需要牢记，我们的目标是最小化这个目标函数从而得到z∗z^*z∗的有价值的下界。如果2−u1−5u2<02-u_1-5u_2<02−u1−5u2<0，目标函数关于x1x_1x1单调递减，那么对于x1≥0x_1 \ge 0x1≥0，最小值就是x1→+∞x_1 \to +\inftyx1→+∞的时候取得，为−∞-\infty−∞，这个下界说明z∗>−∞z^*>-\inftyz∗>−∞，这就是没有价值的下界，因为我们不做这些分析也知道这个结果。因此我们需要2−u1−5u2≥02-u_1-5u_2\ge 02−u1−5u2≥0，同理，4−u1−3u2+u3≥04-u_1-3u_2+u_3 \ge 04−u1−3u2+u3≥0，此时目标函数的最小值将在x1=x2=0x_1=x_2=0x1=x2=0时取得，因此
θ(u1,u2,u3)=20u1+90u2−10u32−u1−5u2≥04−u1−3u2+u3≥0u1,u2,u3≥0\theta(u_1,u_2,u_3) = 20u_1+90u_2-10u_3 \\ 2-u_1-5u_2\ge 0 \\ 4-u_1-3u_2+u_3 \ge 0 \\ u_1,u_2,u_3 \ge 0θ(u1,u2,u3)=20u1+90u2−10u32−u1−5u2≥04−u1−3u2+u3≥0u1,u2,u3≥0

现在我们进一步讨论，虽然得到了一个比较合理的下界了，但它是关于u1,u2,u3u_1,u_2,u_3u1,u2,u3的函数，为了得到一个最大的下界，我们考虑线性规划D
max⁡θ(u1,u2,u3)=20u1+90u2−10u3s.t.2−u1−5u2≥04−u1−3u2+u3≥0u1,u2,u3≥0\max \theta(u_1,u_2,u_3) = 20u_1+90u_2-10u_3 \\ s.t. \ \ 2-u_1-5u_2\ge 0 \\ 4-u_1-3u_2+u_3 \ge 0 \\ u_1,u_2,u_3 \ge 0maxθ(u1,u2,u3)=20u1+90u2−10u3s.t. 2−u1−5u2≥04−u1−3u2+u3≥0u1,u2,u3≥0

显然在线性规划的对偶理论中，线性规划D是线性规划P的对偶问题。

接下来我们讨论怎么将线性规划的对偶理论推广到非线性规划中。从例1中我们可以总结，对偶问题的决策变量是Lagrange乘子，将原来的决策变量作为对偶问题的“乘子”，这种思路是建立在KKT理论与Lagrange函数上的，我们称这种对偶为Lagrange对偶(Lagrangian Duality)。

定义2 Lagrange对偶问题。考虑优化问题P：
min⁡f(x)s.t.g(x)≤0,h(x)=0,x∈X\min f(x) \\ s.t. \ g(x) \le 0, h(x) = 0, x \in Xminf(x)s.t. g(x)≤0,h(x)=0,x∈X

定义其对偶问题为优化D：
sup⁡u,vθ(u,v)s.t.u≥0\sup_{u,v} \theta(u,v) \\ s.t. u \ge 0u,vsupθ(u,v)s.t.u≥0

评注2
我们按例1的逻辑顺序来梳理一下定义2，首先写出优化P的Lagrange函数，
ϕ(x,u,v)=f(x)+uTg(x)+vTh(x)\phi(x,u,v) = f(x)+u^Tg(x)+v^Th(x)ϕ(x,u,v)=f(x)+uTg(x)+vTh(x)

然后关于xxx做最小化，
θ(u,v)=inf⁡x∈Xϕ(x,u,v)\theta(u,v)=\inf_{x \in X}\phi(x,u,v) θ(u,v)=x∈Xinfϕ(x,u,v)

最后就是定义中的最大化了。

例2 线性规划的对偶，考虑最小化
min⁡cTxs.t.b−Ax≤0\min c^Tx \\ s.t. b - Ax \le 0mincTxs.t.b−Ax≤0

它的对偶问题的目标函数为
θ(u)=inf⁡{cTx+uT(b−Ax)}=inf⁡{(cT−uTA)x+uTb}={uTb,ifATu=c−∞,otherwise\theta(u) = \inf\{c^Tx+u^T(b-Ax)\} \\ = \inf\{(c^T-u^TA)x+u^Tb\} = \begin{cases} u^Tb, \ if A^Tu=c \\ -\infty, \ otherwise \end{cases}θ(u)=inf{cTx+uT(b−Ax)}=inf{(cT−uTA)x+uTb}={uTb, ifATu=c−∞, otherwise

因此对偶问题为
sup⁡uuTbs.t.ATu=c,u≥0\sup_u u^Tb \\ s.t. A^Tu = c,u \ge 0usupuTbs.t.ATu=c,u≥0

UA SIE545 优化理论基础4 对偶理论简介1 松弛问题与Lagrange对偶相关推荐

UA SIE545 优化理论基础4 对偶理论简介6 求解对偶问题的梯度算法
UA SIE545 优化理论基础4 对偶理论简介6 求解对偶问题的梯度算法这一讲我们介绍求解对偶问题的另一个算法--梯度算法(gradient method). 假设原问题为 min⁡x∈Xf(x) ...
UA SIE545 优化理论基础4 对偶理论简介4 求解对偶问题的割平面算法
UA SIE545 优化理论基础4 对偶理论简介4 求解对偶问题的割平面算法这一讲我们介绍一个求解对偶问题的算法--割平面算法(cutting plane algorithm). 假设原问题为 mi ...
UA SIE545 优化理论基础4 对偶理论简介3 强对偶
UA SIE545 优化理论基础4 对偶理论简介3 强对偶上一讲介绍了弱对偶,弱对偶满足 inf⁡{f(x):x∈X,g(x)≤0,h(x)=0}≥sup⁡{θ(u,v):u≥0}\inf\{f(x ...
UA SIE545 优化理论基础4 对偶理论简介5 对偶的几何解释
UA SIE545 优化理论基础4 对偶理论简介5 对偶的几何解释前四讲我们建立了弱对偶与强对偶的概念与理论,这一讲我们试图从直观上理解对偶. 强对偶的几何解释考虑下面的优化 min⁡(x−2)2 ...
UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap
UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap 上一讲我们定义了Lagrange对偶,这一讲我们介绍第一个重要结论--弱对偶定理(Weak duality theo ...
UA SIE545 优化理论基础1 例题1 常见的凸集
UA SIE545 优化理论基础1 例题1 常见的凸集一些例题在优化理论中,我们主要讨论下面几种凸集: 超平面:{x:pTx=β}\{x:p^Tx=\beta\}{x:pTx=β} 半空间:{x: ...
UA SIE545 优化理论基础用Farkas定理证明Farkas类的结论
UA SIE545 优化理论基础用Farkas定理证明Farkas类的结论 Farkas定理 AAA是一个m×nm\times nm×n的矩阵,下面两个系统有且仅有一个有解: I:Ax≤0,cTx& ...
UA SIE545 优化理论基础函数凸性的一些有趣的判断方法
UA SIE545 优化理论基础函数凸性的一些有趣的判断方法 Convex function f:S→Rf:S \to \mathbb{R}f:S→R where SSS is a nonempty ...
UA SIE545 优化理论基础例题对偶函数的凸性与次梯度计算
UA SIE545 优化理论基础例题对偶函数的凸性与次梯度计算例考虑对偶函数 θ(u1,u2)=min⁡x12+x22≤4x1(2−u1)+x2(3−u2)\theta(u_1,u_2) = ...

UA SIE545 优化理论基础4 对偶理论简介1 松弛问题与Lagrange对偶

UA SIE545 优化理论基础4 对偶理论简介1 松弛问题与Lagrange对偶

UA SIE545 优化理论基础4 对偶理论简介1 松弛问题与Lagrange对偶相关推荐

最新文章

热门文章