拉格朗日乘子法(Lagrangian Multiplier Method)和KKT条件

设目标函数f(x),不等式约束约束为g(x),等式约束为h(x)，那么可以将优化问题描述如下
min⁡f(X)s.t.hj(X)=0j=1,2,...,pgk(X)≤0k=1,2,...q\begin{aligned} \min \quad&f(X)\\ s.t. \quad&h_j(X)=0\quad j=1,2,...,p\\ &g_k(X)\le 0 \quad k=1,2,...q\\ \end{aligned} mins.t.f(X)hj(X)=0j=1,2,...,pgk(X)≤0k=1,2,...q
我们定义不等式约束下的拉格朗日函数L，则L的表达式为
L(X,λ,μ)=f(X)+∑j=1pλjhj(X)+∑k=1qμkgk(X)L(X, \lambda, \mu)=f(X)+\sum\limits_{j=1}^{p}{\lambda_jh_j(X)}+\sum\limits_{k=1}^q{\mu_k\mathrm{g}_k(X)} L(X,λ,μ)=f(X)+j=1∑pλjhj(X)+k=1∑qμkgk(X)
对于有约束的情况下能取到极值点的地方可能有两种情况：

在h(x) 和等值线相切的地方
f(x) 的极值点本身就在可行域里面。

若要求解上述优化问题，必须满足下述的条件，即求解条件：
∂L∂x∣X=X∗=0λj≠0μk≥0μkgk(X∗)=0hj(X∗)=0j=1,2,...,pgk(X∗)≤0k=1,2,...q\begin{aligned} &\frac{\partial L}{\partial x}\bigg|_{X=X^*}=0\\ &\lambda_j\neq0\\ &\mu_k\geq0\\ &\mu_kg_k(X^*)=0\\ &h_j(X^*)=0 \quad j=1,2,...,p\\ &g_k(X^*)\leq0 \quad k=1,2,...q \end{aligned} ∂x∂L∣∣∣∣X=X∗=0λj=0μk≥0μkgk(X∗)=0hj(X∗)=0j=1,2,...,pgk(X∗)≤0k=1,2,...q
这些求解条件就是KKT条件。
(1)是对拉朗格朗日函数取极值时的必要条件
(2)是拉格朗日系数等式约束
(3)是拉格朗日系数不等式约束
(4)是互补松弛条件
(5)(6)原约束条件

增广拉格朗日见我另一个博客

拉格朗日乘子法(Lagrangian Multiplier Method)和KKT条件相关推荐

【精简推导】支持向量机（拉格朗日乘子法、对偶函数、KKT条件）
支持向量机,就是通过找出边际最大的决策边界,来对数据进行分类的分类器.因此,支持向量分类器又叫做最大边际分类器. (疯狂暗示:这是一个最优化问题啊~) 直接上目标求解函数: 这个式子是支持向量机基本形 ...
一文详解从拉格朗日乘子法、KKT条件、对偶上升法到罚函数与增广Lagrangian乘子法再到ADMM算法（交替方向乘子法）
最近看了ADMM算法,发现这个算法需要用到许多不少前备知识,在搜索补齐这些知识的过程中感觉网上的资料与总结在零散的同时又不够清晰,在此本文对这一块的内容进行汇总,同时表达自己的一些理解. 目录拉格朗 ...
【数学】拉格朗日乘子法（Lagrange Multiplier) 和KKT条件理解
转载目录动机简介一. 拉格朗日乘子法(Lagrange Multiplier) 和KKT条件 (a) 拉格朗日乘子法(Lagrange Multiplier) (b) KKT条件二. 为什么 ...
数值计算之拉格朗日乘子法初探
数值计算之拉格朗日乘子法初探前言等式约束优化等式约束的几何解释不等式约束优化多约束优化 KKT条件代码示例前言 LM算法的置信域方法中,通过在优化函数后添加一个优化量约束来提升迭代过程 ...
拉格朗日乘子法、KKT条件、拉格朗日对偶性
拉格朗日乘子法.KKT条件.拉格朗日对偶性转载于http://blog.csdn.net/sinat_17496535/article/details/52103852 笔记主要来源于维基百科和&l ...
增广拉格朗日乘子法（Augmented Lagrange Method）
增广拉格朗日乘子法(Augmented Lagrange Method) 在了解增广拉格朗日乘子法之前,我们先了解一下基本拉格朗日乘子法拉格朗日乘子法基本的拉格朗日乘子法,常用于解决函数在约束条件 ...
基础数学知识（一）——拉格朗日乘子法
这几天一直在看支持向量机,然后就是大量大量的数学公式,一直迷迷糊糊的,然后一直遇到拉格朗日,拉格朗日,原来数学基础也不好,没怎么学过,于是下定决心要把拉格朗日乘子法搞懂,花了几天,看了一些文章,算是对 ...
拉格朗日乘子法（Lagrange Multiplier）和KKT条件
拉格朗日乘子法(Lagrange Multiplier)和KKT条件一:前言如果我们现实生活中的多元值求最优化的问题,我们会遇到一下三种场景: 无条件约束的优化问题有等式约束的优化问题有不等式 ...
拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值:如果含有不等式 ...

拉格朗日乘子法(Lagrangian Multiplier Method)和KKT条件

拉格朗日乘子法(Lagrangian Multiplier Method)和KKT条件相关推荐

最新文章

热门文章