对偶问题的对偶性体现

这个理解来自于斯坦福的课程——凸优化：

“我们注意到标准形式线性规划和不等式形式线性规划以及它们的对偶问题之间的有趣的对称性：标准形式线性规划的对偶问题是只含有不等式约束的线性规划问题，反之亦然。”
为了完整性，下面列出以上提到的两个线性规划问题。
标准形式线性规划：

mins.t.cTxAx=bx≥0

不等式形式线性规划：

maxs.t.−bTνATν+c≥0

该理解说明了对偶问题真的具有对偶性，但是并没有说明对偶问题具有对偶性的原因。接下来将说明这一点。

对偶问题具有对偶性的原因

这个理解同样来自于斯坦福的课程——机器学习：

一句话总结：调换对偶问题中对拉格朗日函数取最大化、最小化的顺序即可得到与原问题等价的优化问题。即，对偶问题是对拉格朗日函数先取最小化，再取最大化；而原问题则是对拉格朗日函数先取最大化，再取最小化。

为了对比两优化问题之间的对偶性，我先列出对偶问题的形式：

gd(λ,ν)=minxL(x,λ,ν)d∗=maxλ≥0,νgd(λ,ν)

其中下标 d表示对偶问题。考虑对换取最小化和最大化的顺序：

gp(x)=maxλ≥0,νL(x,λ,ν)p∗=minxgp(x)

其中下标 p表示原问题。

定理：上式中p∗就是原问题的最优解。
证明：当x不满足约束条件时：

fi(x)>0⇒gp(x)=∞
只要对应的λi取无穷大即可。
hi(x)≠0⇒gp(x)=∞
只要对应的νi取无穷大或无穷小即可。

当x满足约束条件时：
hi(x)=0，所以∑νihi(x)=0；fi(x)≤0，所以为了使gp(x)最大化，则必须有∑λifi(x)=0，因此gp(x)=f0(x)。总结得：

gp(x)={∞f0(x)x不满足约束条件else

因此 p∗为原问题最优解。以上，证毕。

关于拉格朗日对偶问题中对偶性的理解（很有趣）相关推荐

关于拉格朗日对偶问题中对偶性的理解
首先说明本文讨论用的符号,拉格朗日函数: L(x,λ,ν)=f0(x)+∑λifi(x)+∑νihi(x) L(x,\lambda,\nu)=f_0(x)+\sum\lambda_if_i(x)+\s ...
Kubernetes插画版理解---很有趣
有一天女儿走进书房问他什么是Kubernetes,于是就有了这本插画版的Kubernetes 指南,讲述了勇敢的 Phippy(一个PHP应用),在Kubernetes的冒险故事. Hope You ...
ux和ui_他们说，以UX / UI设计师的身份加入一家初创公司。他们说，这会很有趣。
ux和ui Sure, working in a startup environment sounds fun. The stories of flexibility and freedom that ...
如何通俗理解拉格朗日对偶问题(part2)
学习笔记,仅供参考,有错必纠转载自:李竞宜拉格朗日对偶问题关于对拉格朗日对偶的理解,Boyd的那本<Convex Optimization>中给出了很多种解释方法,比如通过函数值集合 ...
拉格朗日函数、拉格朗日对偶问题、KKT条件个人理解
最近学习SVM的相关内容时,接触到了拉格朗日函数及其对偶问题,于是就学习了一些相关内容,在此整理总结一下.文章内容为个人理解,如有错误,欢迎指正! 文章目录 1. 引言 1.1 在约束条件下求函数的极 ...
从放弃到再入门之拉格朗日对偶问题推导（转）
从放弃到再入门之拉格朗日对偶问题推导(转) 2018年04月17日 16:15:33 EFLYP 普通同学的解法无约束条件:求导就可以了等式约束:代入消元,再求导不等式约束:分情况讨论(在边界 ...
机器学习算法（4）——SVM（以及拉格朗日对偶问题）
假设在桌子上似乎有规律放了两种颜色的球,你用一根棍分开它们?要求:尽量在放更多球之后,仍然适用." 于是我们这样分了: 然后我们往在桌上放了更多的球,似乎有一个球站错了阵营:SVM就是试图把 ...
拉格朗日对偶问题的一些介绍
文章目录参考前言拉格朗日函数例1 例2 拉格朗日函数的对偶问题参考 "拉格朗日对偶问题"如何直观理解?"KKT条件" "Slater条件&q ...
拉格朗日对偶函数拉格朗日对偶问题
前段时间学了拉格朗日乘子法,学会了构造拉格朗日函数,也就是学会了把带约束(等式或不等式)的优化问题转化为无约束优化问题,私以为这部分就学完了到此为止了,没想到今天推导SVM的数学模型,要推原问题的对偶 ...
SVM(二）从拉格朗日对偶问题到SVM
2.1 拉格朗日对偶(Lagrange duality) 先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束.通常解法是引入拉格朗 ...

关于拉格朗日对偶问题中对偶性的理解（很有趣）

对偶问题的对偶性体现

对偶问题具有对偶性的原因

关于拉格朗日对偶问题中对偶性的理解（很有趣）相关推荐

最新文章

热门文章

关于拉格朗日对偶问题中对偶性的理解 （很有趣）

对偶问题的对偶性体现

对偶问题具有对偶性的原因

关于拉格朗日对偶问题中对偶性的理解 （很有趣）相关推荐

最新文章

热门文章

关于拉格朗日对偶问题中对偶性的理解（很有趣）

关于拉格朗日对偶问题中对偶性的理解（很有趣）相关推荐