最好的解释：https://www.quora.com/What-is-an-intuitive-explanation-of-the-KKT-conditions#

作者：卢健龙
链接：https://www.zhihu.com/question/38586401/answer/105273125
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

拉格朗日乘数法（Lagrange multiplier）有很直观的几何意义。
举个2维的例子来说明：
假设有自变量x和y，给定约束条件g(x,y)=c，要求f(x,y)在约束g下的极值。

我们可以画出f的等高线图，如下图。此时，约束g=c由于只有一个自由度，因此也是图中的一条曲线（红色曲线所示）。显然地，当约束曲线g=c与某一条等高线f=d1相切时，函数f取得极值。
两曲线相切等价于两曲线在切点处拥有共线的法向量。因此可得函数f(x,y)与g(x,y)在切点处的梯度（gradient）成正比。
于是我们便可以列出方程组求解切点的坐标(x,y)，进而得到函数f的极值。

(一直怀疑这个图画错了，但是没有证据，为什么g(x,y)的梯度和f(x,y)的方向不一样呢？我感觉应该一样啊，因为梯度方向是数值增大的方向，问题纠结的地方就是那里是大？貌似又没有错误，因为仅仅从等高线上看，是分辨不出来山峰和盆地的等高线的，好乱，我已经糊涂了……)

KKT条件边界意义

对于有不等式约束的拉格朗日对偶问题，KKT条件可以总结成：约束条件（原始约束和引入拉格朗日乘子后的约束）、对x偏导为0、对偶互补条件

进一步可以理解为：

①对于无约束的变量偏导为0

②对于有约束的变量，在约束边界偏导可以不为0，不在约束边界偏导必为0

其中，不在约束边界的情况提供了函数值的伸缩性，使其取值为一个空间而不是一个点。

对偶互补条件就是对②的数学描述：

其中是原始约束。

对偶互补条件的在约束边界的物理意义：

当不位于原始边界时，它在各个方向是“自由”的，若此时他的偏导不为0，那么它沿着原始问题中的负梯度方向移动时，可取的函数值变小，那么就不可能是解。所以，当不在约束边界时，它必须在极值点上，即：小于0时必为0

当位于原始边界，即等于0时，它在边界上的移动不会改变函数值，所以它的偏导取合适的值来进一步减小函数值，即它的偏导可取大于0的值。

通过物理意义来理解KKT在边界的行为，会显得比较直观。

由此，SVM中的硬间隔最大化可由物理意义来直观的理解：

硬间隔最大化问题中，不等式约束为点的函数距离大于等于1。位于间隔边界的点（支持向量），相当于位于约束边界，他们的偏导可以不为0。而位于间隔边界之后的点，它们不在约束边界上，此时要想使间隔最大化，必须使的偏导为0，否则在负梯度方向上查找必能找到更优解。

对于SVM的软间隔最大化，由于支持向量不光是间隔边界上的点，还包括间隔平面之间的点，此时松弛变量的偏导同时也由惩罚参数决定，松弛变量的偏导的符号转换为与的大小关系。通过分析，以下结论不难得到：

转自：http://www.bubuko.com/infodetail-519632.html

KKT条件的物理意义(转)相关推荐

数学基础（五）最优化理论（最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件）
目录一.无约束优化 1.梯度下降法 2.牛顿法二.有约束优化 1.约束为等式 2.约束为不等式一.无约束优化无约束优化问题十分普遍,如梯度下降法.牛顿法就是无约束的优化算法. 像最小二乘法.极 ...
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束时使用 ...
最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件
最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理对于任意两个向量a⃗,b⃗\vec{a ...
最优控制理论六、拉格朗日乘子法和KKT条件
拉格朗日乘子法和KKT条件 1. 等式约束最优化 2. 不等式约束最优化 2.1 1个不等式约束 2.2 KKT条件 2.3 二维不等式约束图解 3. MATLAB不等式约束优化总结 4. 参考文献 ...
一文详解从拉格朗日乘子法、KKT条件、对偶上升法到罚函数与增广Lagrangian乘子法再到ADMM算法（交替方向乘子法）
最近看了ADMM算法,发现这个算法需要用到许多不少前备知识,在搜索补齐这些知识的过程中感觉网上的资料与总结在零散的同时又不够清晰,在此本文对这一块的内容进行汇总,同时表达自己的一些理解. 目录拉格朗 ...
矩阵相关概念的物理意义
参考链接: 矩阵乘法的本质是什么? 条件数病态矩阵与条件数(&& 与特征值和SVD的关系) 矩阵的物理意义: https://blog.csdn.net/NightkidLi_911 ...
频谱中负频率的物理意义（二）
1.频率的概念就是从机械旋转运动来的,定义为角速度,对于周期运动,角速度也就是角频率.通常 θ以反时针为正,因此转动的正频率是反时针旋转角速度,负频率就是顺时针旋转角速度.这就是它的物理意义,正.负号 ...
卷积的定义及其物理意义_高等数学入门——高阶导数的定义及其物理意义
系列简介:这个系列文章讲解高等数学的基础内容,注重学习方法的培养,对初学者不易理解的问题往往会不惜笔墨加以解释.在内容上,以国内的经典教材"同济版高等数学"为蓝本,并对具体内容作了 ...
约束优化方法之拉格朗日乘子法与KKT条件
来源:https://www.cnblogs.com/ooon/p/5721119.html 引言本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可 ...

KKT条件的物理意义(转)

KKT条件边界意义

KKT条件的物理意义(转)相关推荐

最新文章

热门文章