参考

“拉格朗日对偶问题”如何直观理解？“KKT条件” “Slater条件” “凸优化”打包理解
感觉有时间看视频的还是看视频比较好，本文只是记录一下以防以后忘记。

前言

还记得SVM里用到拉格朗日对偶，将有约束条件转换成无约束条件问题进行最优值求解，其实也只是会用这个方法而已，至于为啥能这么用，还是不知道的，接下来深入理解一下吧，也为了之后学习正则化做铺垫。

拉格朗日函数

其中f₀(x)是我们的目标函数。
f_i（x）则是需要考虑的约束条件。

那么根据这种转换我们可以看一下几个简答的例子：

例1

可以看出在相切的点就是极值了，因为梯度是个向量，只有目标函数的梯度和约束条件的梯度方向一致，相加才可能为0，才能够满足约束条件的情况下取到极值，梯度方向一致可以通过调整λ大小来使得二者梯度能够大小相等，方向相反，相加就为0了。

例2

假设现在有5个约束条件，分别在图中画出。
可以看到生成与目标函数相反方向的梯度，只有两个约束条件的梯度能做出这样的贡献

他们那个点的梯度和是目标函数的相反的梯度。
对于没有用到的约束条件，则他们的梯度应当为0，如果不为0就不会满足约束条件和目标函数梯度的和为0这个条件了。

从下图中我们可以看出，箭头的方向都是直线上的点对应得梯度的方向

如果λ允许取负数，那么其实别的约束条件梯度的组合也可能满足与目标函数的大小相同，方向相反，因此我们需要规定λ>=0.

松弛说明约束条件并没有起到约束的作用，缺少了结果也不会受到影响。
紧致说明约束条件起导论约束的作用，如果缺少这个条件，结果会发生改变。

例如这种情况下，对于求最小值来说，所有约束条件都是松弛的。

拉格朗日函数的对偶问题

首先给出一个等价的问题表达：

因为λ和μ是可以任意取的，因此当不满足约束条件的时候，L(x,，λ，μ )都是能取到无穷大的，不过外面还有个取最小值，因此不符合约束条件的都会被舍弃，那么剩下的就是符合约束条件的，最后的结果也就是需要求的最小值了。

如果将上面的问题看作原问题那么对偶问题就如下：

需要引入一个对偶函数，相当于将计算最大最小的顺序反一下。
对偶问题还能够等价写成：

假设我们已经找到了解，对偶函数的特征如下：

变量都是一阶线性的关系，因为线性函数一定是个凸函数或者凹函数，因为这里是要求对偶函数的最大值，我们就能将他看成一个凹函数了。（凹函数加个-号就是凸函数了）

因此，不论原问题的约束条件目标函数是什么，当其能转换为对偶问题时，那么他一定是个凸优化问题。求解就比较方便了。

虽然转换成对偶问题容易，但是对偶问题的解和原问题的解相等，是需要条件的。

通过推导可知，原问题的解一定是>=对偶问题的解的。

当满足Slater条件，说明原问题和对偶问题有强对偶性。
但是在机器学习SVM中我们经常遇到的KKT条件

一般来说，大多数问题对偶问题满足KKT条件应该就是原问题的强对偶问题了，但是理论上KKT条件只是一个必要条件，就是说如果满足强对偶问题，那么一定满足KKT条件，但是反过来就不一定了，但是由于大多数情况下反过来也是，那么就这么用问题也不大。

拉格朗日对偶问题的一些介绍相关推荐

拉格朗日函数、拉格朗日对偶问题、KKT条件个人理解
最近学习SVM的相关内容时,接触到了拉格朗日函数及其对偶问题,于是就学习了一些相关内容,在此整理总结一下.文章内容为个人理解,如有错误,欢迎指正! 文章目录 1. 引言 1.1 在约束条件下求函数的极 ...
从放弃到再入门之拉格朗日对偶问题推导（转）
从放弃到再入门之拉格朗日对偶问题推导(转) 2018年04月17日 16:15:33 EFLYP 普通同学的解法无约束条件:求导就可以了等式约束:代入消元,再求导不等式约束:分情况讨论(在边界 ...
如何通俗理解拉格朗日对偶问题(part2)
学习笔记,仅供参考,有错必纠转载自:李竞宜拉格朗日对偶问题关于对拉格朗日对偶的理解,Boyd的那本<Convex Optimization>中给出了很多种解释方法,比如通过函数值集合 ...
机器学习算法（4）——SVM（以及拉格朗日对偶问题）
假设在桌子上似乎有规律放了两种颜色的球,你用一根棍分开它们?要求:尽量在放更多球之后,仍然适用." 于是我们这样分了: 然后我们往在桌上放了更多的球,似乎有一个球站错了阵营:SVM就是试图把 ...
拉格朗日对偶函数拉格朗日对偶问题
前段时间学了拉格朗日乘子法,学会了构造拉格朗日函数,也就是学会了把带约束(等式或不等式)的优化问题转化为无约束优化问题,私以为这部分就学完了到此为止了,没想到今天推导SVM的数学模型,要推原问题的对偶 ...
最优化理论极简入门(第二部分)：拉格朗日对偶问题
上一篇:最优化条件和KKT条件概要什么是对偶问题拉格朗日对偶问题(Lagrange duality) 拉格朗日对偶问题:小结强弱对偶定理什么是对偶问题? 正式开始之前,先说一句废话,之所以需 ...
SVM(二）从拉格朗日对偶问题到SVM
2.1 拉格朗日对偶(Lagrange duality) 先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束.通常解法是引入拉格朗 ...
拉格朗日对偶问题的解释
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/robin_Xu_shuai/article/details/52803645 0. 内容介绍在约束 ...
svm中拉格朗日对偶问题的推导
原始问题: 应用拉格朗日对偶性,求解最优解,对偶问题比较容易求解,可以引入核函数,推广到非线性问题. 构造拉格朗日函数: 我们所求的问题为: 转为为对偶问题为: 如果原问题与对偶问题解相同 ...

拉格朗日对偶问题的一些介绍

文章目录

参考

前言

拉格朗日函数

例1

例2

拉格朗日函数的对偶问题

拉格朗日对偶问题的一些介绍相关推荐

最新文章

热门文章