最优化理论与KKT条件

看着内容挺好的，转载一下

原文：http://jacoxu.com/?p=78

1. 最优化理论(Optimization Theory)

最优化理论是研究函数在给定一组约束条件下的最小值(或者最大值)的数学问题. 一般而言, 一个最优化问题具有如下的基本形式:

min.:f(x)

s.t.:gi(x)≤0,i=1,2,...,p,hj(x)=0,k=1,2,...,q,x∈Ω⊂Rn

其中. f(x) 为目标函数, gi(x)≤0,i=1,2,…,p 为不等式约束条件, hj(x)=0,k=1,2,…,q 为等式约束条件.

在很多情况下, 不等式约束条件可以通过引入新的变量而转化为等式约束条件, 因此最优化问题的一般形式可以简化为仅仅包含等式约束条件的形式

min.:f(x)s.t.:g(x)=0

最优化问题可以根据目标函数和约束条件的类型进行分类:

1). 如果目标函数和约束条件都为变量的线性函数, 称该最优化问题为线性规划;

2). 如果目标函数为变量的二次函数, 约束条件为变量的线性函数, 称该最优化问题为二次规划;

3). 如果目标函数或者约束条件为变量的非线性函数, 称该最优化问题为非线性规划.

2. KKT(Karush-Kuhn-Tucker)

KTT条件是指在满足一些有规则的条件下, 一个非线性规划(Nonlinear Programming)问题能有最优化解法的一个必要和充分条件. 这是一个广义化拉格朗日乘数的成果. 一般地, 一个最优化数学模型的列标准形式参考开头的式子, 所谓 Karush-Kuhn-Tucker 最优化条件，就是指上式的最优点 x∗ 必须满足下面的条件:

1). 约束条件满足 gi(x∗)≤0,i=1,2,…,p , 以及 ,hj(x∗)=0,j=1,2,…,q

2). ∇f(x∗)+∑i=1pμi∇gi(x∗)+∑j=1qλj∇hj(x∗)=0 , 其中 ∇ 为梯度算子;

3). λj≠0 且不等式约束条件满足 μi≥0,μigi(x∗)=0,i=1,2,…,p

KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出来的. 这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视, 因此许多书只记载成「Kuhn-Tucker 最优化条件 (Kuhn-Tucker conditions)」.

KKT条件第一项是说最优点 x∗ 必须满足所有等式及不等式限制条件, 也就是说最优点必须是一个可行解, 这一点自然是毋庸置疑的. 第二项表明在最优点 x∗ , ∇f 必须是 ∇gi 和 ∇hj 的线性組合, μi 和 λj 都叫作拉格朗日乘子. 所不同的是不等式限制条件有方向性, 所以每一个 μi 都必须大于或等于零, 而等式限制条件没有方向性，所以 λj 没有符号的限制, 其符号要视等式限制条件的写法而定.

3. 关于duality

一位博友对duality的总结很通俗易懂, http://blog.pluskid.org/?p=702 这里就不再重复复述了.

最优化理论与KKT条件相关推荐

最优化学习 KKT条件(最优解的一阶必要条件)
KKT条件 KKT条件(最优解的一阶必要条件) Complementary Slackness 互补松弛条件切锥与约束规范最优解的必要条件线性可行方向集线性无关约束规范(LICQ) 引用Far ...
图解法求最优解的例题_【第四章最优化理论】4.2 带约束最优化
掌握目标: 1.掌握等式约束的最优化问题,拉格朗日乘子法,从几何上理解 2.掌握不等式约束的最优化问题,kkt松弛条件,从几何上理解 3.优化的拉格朗日对偶理论,原始问题,原始问题的等价原问题,对偶问 ...
陈宝林《最优化理论与算法》超详细学习笔记（五）————最优性条件之 KKT条件
陈宝林<最优化理论与算法>超详细学习笔记 (五)----最优性条件之 KKT条件 Lagrange对偶问题原问题 Lagrange函数 Lagrange对偶函数强/弱对偶性弱对偶性 ...
数学基础（五）最优化理论（最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件）
目录一.无约束优化 1.梯度下降法 2.牛顿法二.有约束优化 1.约束为等式 2.约束为不等式一.无约束优化无约束优化问题十分普遍,如梯度下降法.牛顿法就是无约束的优化算法. 像最小二乘法.极 ...
数值最优化-KKT条件（一阶必要条件）证明总结
笔记:约束优化问题一阶最优性条件(KKT条件) - 知乎 (zhihu.com) 最优化理论与方法-第八讲-约束优化(一):KKT条件_哔哩哔哩_bilibili 参考链接:如上唯一参考书:数值最优 ...
什么是Karush-Kuhn-Tucker 最优化条件 (KKT 条件) 三个人名独立发现的最优化条件
Karush-Kuhn-Tucker 最优化条件 (KKT 条件) 一般地,一个最优化数学模型能够表示成下列标准形式: 所谓 Karush-Kuhn-Tucker 最优化条件,就是指上式的最小点 x* ...
Karush-Kuhn-Tucker 最优化条件 (KKT 条件)(转载)
一般地,一个最优化数学模型能够表示成下列标准形式: ‍‍ 所谓 Karush-Kuhn-Tucker 最优化条件,就是指上式的最小点 x* 必须满足下面的条件: ‍ KKT最优化条件是Karush[1 ...
最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件
最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理对于任意两个向量a⃗,b⃗\vec{a ...
最优控制理论六、拉格朗日乘子法和KKT条件
拉格朗日乘子法和KKT条件 1. 等式约束最优化 2. 不等式约束最优化 2.1 1个不等式约束 2.2 KKT条件 2.3 二维不等式约束图解 3. MATLAB不等式约束优化总结 4. 参考文献 ...

最优化理论与KKT条件

最优化理论与KKT条件相关推荐

最新文章

热门文章