等式约束和不等式约束下的KKT条件求法

一、写在前面

本篇内容主要写非线性规划等式约束和不等式约束下的KKT条件，主要通过举例说明。

二、等式约束下的KKT条件

1、题目描述

考虑等式约束的最小二乘问题
minimizexTxsubjecttoAx=bminimize \quad x^Tx \\ subject \ to \quad Ax=bminimizexTxsubject toAx=b
其中， A∈Rm∗n,rank(A)=mA \in \mathbb{R}^{m*n},rank(A)=mA∈Rm∗n,rank(A)=m 。给出KKT条件，推导原问题最优解x^* 以及对偶问题最优解v^* 的表达式。

2、Lagrarian函数

L(x,v)=xTx+vT(Ax−b)L(x,v)=x^Tx+v^T(Ax-b)L(x,v)=xTx+vT(Ax−b)
=xTx+vTAx−vTb= x^Tx+v^TAx-v^Tb=xTx+vTAx−vTb

3、KKT条件

其对应的KKT条件如下：
导数为乘子不为等式约束条件{∂L(x∗,v∗)∂(x∗)=0//导数为0(v∗)T≠0//Lagrange乘子不为0Ax∗=b//等式约束条件\begin{cases} \frac{\partial L(x^*,v^*)}{\partial (x^*)} = 0 \quad \quad //导数为0\\ (v^*)^T \neq 0 \quad \quad //Lagrange乘子不为0 \\ Ax^* = b \quad \quad //等式约束条件 \end{cases}⎩⎪⎨⎪⎧∂(x∗)∂L(x∗,v∗)=0//导数为0(v∗)T̸=0//Lagrange乘子不为0Ax∗=b//等式约束条件

二、不等式约束下的KKT条件

1、题目描述

考虑不等式约束下的线性规划问题
maximizef(x)=(x−3)2subjectto1≤x≤5maximize \quad f(x)=(x-3)^2 \\ subject \ to \quad 1≤x≤5maximizef(x)=(x−3)2subject to1≤x≤5

2、Lagrarian函数

原条件等价于：
{minf(x)=−(x−3)2g1(x)=1−x≤0g2(x)=x−5≤0\begin{cases} min \ f(x)=-(x-3)^2\\ g_1(x)=1-x ≤0 \\ g_2(x)=x-5 ≤0 \end{cases}⎩⎪⎨⎪⎧min f(x)=−(x−3)2g1(x)=1−x≤0g2(x)=x−5≤0
其对应的Lagrarian函数为：
KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ L(x,λ_1,λ_2) …

3、KKT条件

其对应的KKT条件如下：
导数为不等式约束条件不等式约束条件不等式约束条件不等式约束条件乘子大于乘子大于{∂L(x∗,v∗)∂(x∗)=−2(x∗−3)−λ1∗+λ2∗=0//导数为0λ1∗g1(x∗)=λ1∗(1−x∗)=0//不等式约束条件λ2∗g2(x∗)=λ2∗(x∗−5)=0//不等式约束条件g1(x∗)≤0//不等式约束条件g2(x∗)≤0//不等式约束条件λ1∗≥0//Lagrange乘子大于0λ2∗≥0//Lagrange乘子大于0\begin{cases} \frac{\partial L(x^*,v^*)}{\partial (x^*)} = -2(x^*-3)-λ_1^*+λ_2^* = 0 \quad \quad //导数为0\\ λ_1^*g_1(x^*) =λ_1^*(1-x^*)=0 \quad \quad //不等式约束条件\\ λ_2^*g_2(x^*) =λ_2^*(x^*-5)=0 \quad \quad //不等式约束条件\\ g_1(x^*) ≤ 0 \quad \quad //不等式约束条件\\ g_2(x^*) ≤ 0 \quad \quad //不等式约束条件\\ λ_1^*≥0 \quad \quad //Lagrange乘子大于0\\ λ_2^*≥0\quad \quad //Lagrange乘子大于0\\ \end{cases}⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧∂(x∗)∂L(x∗,v∗)=−2(x∗−3)−λ1∗+λ2∗=0//导数为0λ1∗g1(x∗)=λ1∗(1−x∗)=0//不等式约束条件λ2∗g2(x∗)=λ2∗(x∗−5)=0//不等式约束条件g1(x∗)≤0//不等式约束条件g2(x∗)≤0//不等式约束条件λ1∗≥0//Lagrange乘子大于0λ2∗≥0//Lagrange乘子大于0

二、等式约束和不等式约束结合的KKT条件

1、题目描述

考虑不等式约束下的线性规划问题
minimizef(x)g(x)=0h(x)≤0minimize f(x) \\ g(x)=0 \\ h(x)≤0minimizef(x)g(x)=0h(x)≤0

2、Lagrarian函数

其对应的Lagrarian函数为：
KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ L(x,λ,μ) & =…

3、KKT条件

其对应的KKT条件如下：
导数为等式乘子不为等式约束条件不等式约束条件不等式约束条件不等式乘子大于

本文来自 nana-li 的CSDN 博客，全文地址请点击：https://blog.csdn.net/quiet_girl/article/details/79066019?utm_source=copy

等式约束和不等式约束下的KKT条件求法相关推荐

等式约束与不等式约束问题
针对特殊约束条件下的优化问题,有着不同类别适应不同条件的求解算法.包括梯度法.求解线性等式约束问题的投影梯度法.适用于含有等式约束规划和含有不等式规划的拉格朗日乘子法.针对不等式约束的KKT条件法.罚 ...
UA SIE545 优化理论基础3 Fritz-John与Kuhn-Tucker理论总结带等式约束与不等式约束的极值问题
UA SIE545 优化理论基础3 Fritz-John与Kuhn-Tucker理论总结带等式约束与不等式约束的极值问题对于函数f:X→Yf:X \to Yf:X→Y,我们希望XXX是一个凸的度量 ...
直观理解拉格朗日乘子法和Karush-Kuhn-Tucker(KKT)条件
在最优化问题中,经常是会有约束条件的,而约束条件可分为等式约束条件和不等式约束条件,对于前者,我们有拉格朗日乘子法,对于后者,有KKT条件,对于既有等式约束又有不等式约束的最优化问题,只需要结合拉格朗 ...
机器学习中的数学——拉格朗日乘子法（二）：不等式约束与KKT条件
分类目录:<算法设计与分析>总目录相关文章: ·拉格朗日乘子法(一):等式约束的拉格朗日乘子法 ·拉格朗日乘子法(二):不等式约束与KKT条件现在接着<拉格朗日乘子法(一):等式 ...
如何用计算机解kkt条件,【直观详解】拉格朗日乘法和KKT条件
[阅读时间]8min - 10mun [内容简介]直观的解读了什么是拉格朗日乘子法,以及如何求解拉格朗日方程,并且给出几个直观的例子,针对不等式约束解读了KKT条件的必要条件和充分条件 What &a ...
【机器学习－西瓜书】六、支持向量机（SVM）：最大间隔；对偶问题；KKT条件
推荐阅读:对偶问题,KKT条件关键词:最大间隔:支持向量:对偶问题:KKT条件:SMO算法 6.1 间隔与支持向量关键词:最大间隔:支持向量. 支持向量机(Support Vector Machi ...
最优控制理论六、拉格朗日乘子法和KKT条件
拉格朗日乘子法和KKT条件 1. 等式约束最优化 2. 不等式约束最优化 2.1 1个不等式约束 2.2 KKT条件 2.3 二维不等式约束图解 3. MATLAB不等式约束优化总结 4. 参考文献 ...
判断kkt条件的例题_kkt条件例题(kkt条件例题求解)
kkt条件例题(kkt条件例题求解) 2020-05-08 10:54:39 共10个回答要看目标函数的斜率,不能单凭横坐标或纵坐标确定追问能举例说明吗回答一般线性规划的图像解法是通过平移一条直线, ...
拉格朗日乘数法及KKT条件-通俗理解
拉格朗日乘子法及KKT条件数学理解 1.拉格朗日乘数法的基本思想在数学最优问题中,拉格朗日乘数法(以数学家约瑟夫·路易斯·拉格朗日命名)是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法.这 ...

等式约束和不等式约束下的KKT条件求法

等式约束和不等式约束下的KKT条件求法相关推荐

最新文章

热门文章