KKT条件(Karush-Kuhn-Tucker)及二阶充分条件(The second-order sufficiency condition)

max ⁡ f ( x ) s . t . g ( x ) ≤ 0 h ( x ) = 0 x ‾ ≤ x ≤ x ‾ (1) \begin{aligned} \max \quad&f(x) \tag{1}\\ s.t. \quad&g(x)\le 0 \\ &h(x)=0 \\ &\underline x\le x\le \overline x \end{aligned} maxs.t.f(x)g(x)≤0h(x)=0x≤x≤x(1)
其的KKT条件为
{ − ∇ f ( x ) + ∇ g ( x ) y + ∇ h ( x ) z = 0 g ( x ) ≤ 0 h ( x ) = 0 x ‾ ≤ x ≤ x ‾ y ≥ 0 y T g ( x ) = 0 (2) \left\{ \begin{aligned} &-\nabla f(x)+\nabla g(x)y+\nabla h(x)z=0 \tag{2}\\ &g(x)\le 0 \\ &h(x)=0 \\ &\underline x\le x\le \overline x\\ &y\ge0\\ &y^Tg(x)=0 \end{aligned} \right . ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧−∇f(x)+∇g(x)y+∇h(x)z=0g(x)≤0h(x)=0x≤x≤xy≥0yTg(x)=0(2)

The second-order sufficiency condition

Let I 1 = { i : g i ( x ∗ ) = 0 , i ∈ { 1 , . . . , m } } , I 2 = { i : g i ( x ∗ ) < 0 , i ∈ { 1 , . . . , m } } , a n d u = c o l ( x , y , z ) , w h e r e c o l ( ⋅ ) I_1=\{i:g_i(x^*)=0,i\in\{1,...,m\}\}, I_2=\{i:g_i(x^*)<0,i\in\{1,...,m\}\},and\; u=col(x,y,z),where\; col(\cdot) I1={i:gi(x∗)=0,i∈{1,...,m}},I2={i:gi(x∗)<0,i∈{1,...,m}},andu=col(x,y,z),wherecol(⋅) denotes the column concatenation of vectors
如果满足如下三个条件

X ∗ X^* X∗ is regular;
there exist y ∗ a n d z ∗ y^*\;and\;z^* y∗andz∗ such that u ∗ u^* u∗satisfies KKT condition (2)
∇ x x 2 L ( x ∗ , y ∗ , z ∗ ) \nabla_{xx}^2L(x^*,y^*,z^*) ∇xx2L(x∗,y∗,z∗) is positive definite on the space D : = { d ∈ R n : d ≠ 0 , d T ∇ g i ( x ∗ ) = 0 , i ∈ I 1 , d T ∇ g j ( x ∗ ) ≤ 0 , j ∈ I 2 , d T ∇ h k ( x ∗ ) = 0 , k = 1 , . . . , q } D:=\{d\in R^n:d\ne 0, d^T\nabla g_i(x^*)=0,i\in I_1, d^T\nabla g_j(x^*)\le0,j\in I_2,d^T\nabla h_k(x^*)=0,k=1,...,q\} D:={d∈Rn:d=0,dT∇gi(x∗)=0,i∈I1,dT∇gj(x∗)≤0,j∈I2,dT∇hk(x∗)=0,k=1,...,q}

那么 x ∗ x^* x∗ 为一个 strict local maximum of (1)
上述三个条件为 The second-order sufficiency condition

KKT条件(Karush-Kuhn-Tucker)及二阶充分条件(The second-order sufficiency condition)相关推荐

KKT条件（Karush–Kuhn–Tucker conditions）
在约束最优化问题中,常常利用有条件的拉格朗日乘子法,进而一步步推导KKT条件. 1.最优化条件和下降搜索给定一个多变量可微函数 ,是的局部最小值,这时有如果,就存在使得 (对这边做个解释:因为是局 ...
KKT condition --- Karush–Kuhn–Tucker conditions
有关KKT条件,一直都看的云里雾里,但是还是很好奇其内在的逻辑,最后花时间整理了一下,有不足之处请指正. 有关原问题和对偶问题的转化知乎回答解释的更详细. 正文开始之前,介绍一些概念 Duality, ...
拉格朗日乘子法、KKT条件、拉格朗日对偶性
拉格朗日乘子法.KKT条件.拉格朗日对偶性转载于http://blog.csdn.net/sinat_17496535/article/details/52103852 笔记主要来源于维基百科和&l ...
判断kkt条件的例题_浅谈最优化问题的KKT条件
最近学习了最优化理论,正好学到了机器学习中支持向量机(Support Vector Machine)和最大熵模型(Maximum Entropy Model)中用到的KKT条件(Karush–Kuhn ...
拉格朗日乘子法 KKT条件
目录 1. 拉格朗日乘子法用于最优化的原因 2. 最优化问题三种情况 2.1 无约束条件 2.2 等式约束条件:拉格朗日乘子法 2.3 不等式约束条件:KKT 3. Lagrange对偶函数 3.1 ...
【数学基础】运筹学：拉格朗日乘子法和KKT条件（上）
引言在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.通常,对于等式约束问题,采用拉格朗日乘子法.对 ...
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束时使用 ...
求解最优化问题的方法：拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束时使用 ...
从拉格朗日乘数法到KKT条件
从拉格朗日乘数法到KKT条件最近看论文遇到了Karush–Kuhn–Tucker (KKT)条件,想搞清楚这是个什么东东,因此就把这个东西认真学习一下并且分享出来,希望对大家有用.学习KKT就不得不 ...
拉格朗日乘数法和KKT条件的直观解释
拉格朗日乘数法和KKT条件的直观解释标签(空格分隔): 机器学习 linbin 2018-05-10 Abstract 在SVM的推导中,最优化问题是其中的核心,这里我们简单介绍下最优化问题,特别是 ...

KKT条件(Karush-Kuhn-Tucker)及二阶充分条件(The second-order sufficiency condition)

The second-order sufficiency condition

KKT条件(Karush-Kuhn-Tucker)及二阶充分条件(The second-order sufficiency condition)相关推荐

最新文章

热门文章