拉格朗日对偶问题的解释

0. 内容介绍

在约束最优化问题中，常常利用拉个朗日对偶性将原始问题转化为对偶问题，通过解对偶问题而得到原始问题的解，该方法应用在很多的统计学习方法中。例如在上一篇文章中（http://blog.csdn.net/robin_xu_shuai/article/details/52791306）所说的最大熵模型。在学习最大熵模型中我们看到，需要求解满足所有已知条件并且使得熵最大的模型，也就是求解问题带约束的极值问题，其解决方法一般采用拉格朗日对偶原理。下面简单介绍拉格朗日对偶原理。

1.原始问题

约束条件可以分成不等式约束条件和等式约束条件，只有等式约束条件的问题解决方法是直接将等式约束加入原问题构造出拉格朗日函数，然后求导即可。现在考虑带不等式约束和等式约束的极值问题如何构造拉格朗日函数求解。

假设f(x), c_i(x), h_j(x)是定义在Rⁿ上的连续可微函数，约束最优化问题如下：

称此约束最优化问题为原始问题。

首先，引入拉格朗日函数：

这里\alpha和\beta是拉格朗日乘子。此时我们定义（引入）一个函数，这个函数的目的是建立拉格朗日函数和原始问题中的f(x)的关系。

分析这个定义的函数：此时给定某个x,如果x违反原始问题的约束条件，即如果存在某个i使得c_i(w)>0或者存在某个j使得h_j(w)≠0,那么就有:

(因为如果某个i使得约束c_i(x)>0, 则可以令α_i取正无穷, 如果某个j使得h_j(x)≠0, 则可以令β_j取正无穷，而将其他的剩余的拉格朗日乘子取0.)。而相反，如果x满足原问题的约束条件，可得θ_p(x) =f(x)，因此得到：

(这样就将原来的约束问题变成了现在的无约束问题)

所以当我们现在考虑以下的极小化问题时就与原始的最优化问题(4)(5)(6)是等价的.有相同的解。

2.对偶问题

再引入一个公式，将其定义为α, β的函数：

这样将拉格朗日函数转化为了两个参数的函数，并考虑在此基础上的极大化：

我们把这个问题称为原始问题的对偶问题。和原始问题对比只是交换了最大化和最小化的次序，但是解却不一定是相同的，在满足一定的条件下，原始问题和对偶问题的解相同。

拉格朗日对偶问题的解释相关推荐

从放弃到再入门之拉格朗日对偶问题推导（转）
从放弃到再入门之拉格朗日对偶问题推导(转) 2018年04月17日 16:15:33 EFLYP 普通同学的解法无约束条件:求导就可以了等式约束:代入消元,再求导不等式约束:分情况讨论(在边界 ...
如何通俗理解拉格朗日对偶问题(part2)
学习笔记,仅供参考,有错必纠转载自:李竞宜拉格朗日对偶问题关于对拉格朗日对偶的理解,Boyd的那本<Convex Optimization>中给出了很多种解释方法,比如通过函数值集合 ...
机器学习算法（4）——SVM（以及拉格朗日对偶问题）
假设在桌子上似乎有规律放了两种颜色的球,你用一根棍分开它们?要求:尽量在放更多球之后,仍然适用." 于是我们这样分了: 然后我们往在桌上放了更多的球,似乎有一个球站错了阵营:SVM就是试图把 ...
拉格朗日对偶函数拉格朗日对偶问题
前段时间学了拉格朗日乘子法,学会了构造拉格朗日函数,也就是学会了把带约束(等式或不等式)的优化问题转化为无约束优化问题,私以为这部分就学完了到此为止了,没想到今天推导SVM的数学模型,要推原问题的对偶 ...
拉格朗日函数、拉格朗日对偶问题、KKT条件个人理解
最近学习SVM的相关内容时,接触到了拉格朗日函数及其对偶问题,于是就学习了一些相关内容,在此整理总结一下.文章内容为个人理解,如有错误,欢迎指正! 文章目录 1. 引言 1.1 在约束条件下求函数的极 ...
拉格朗日对偶问题的一些介绍
文章目录参考前言拉格朗日函数例1 例2 拉格朗日函数的对偶问题参考 "拉格朗日对偶问题"如何直观理解?"KKT条件" "Slater条件&q ...
最优化理论极简入门(第二部分)：拉格朗日对偶问题
上一篇:最优化条件和KKT条件概要什么是对偶问题拉格朗日对偶问题(Lagrange duality) 拉格朗日对偶问题:小结强弱对偶定理什么是对偶问题? 正式开始之前,先说一句废话,之所以需 ...
SVM(二）从拉格朗日对偶问题到SVM
2.1 拉格朗日对偶(Lagrange duality) 先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束.通常解法是引入拉格朗 ...
svm中拉格朗日对偶问题的推导
原始问题: 应用拉格朗日对偶性,求解最优解,对偶问题比较容易求解,可以引入核函数,推广到非线性问题. 构造拉格朗日函数: 我们所求的问题为: 转为为对偶问题为: 如果原问题与对偶问题解相同 ...

拉格朗日对偶问题的解释

拉格朗日对偶问题的解释相关推荐

最新文章

热门文章