对偶问题和KKT条件

对偶问题
KKT条件

在求解支持向量机时，我们遇到了求解约束问题
max⁡w,b∣∣w∣∣2(10)\max_{w,b}\mid\mid w\mid\mid^2 \tag{10}w,bmax∣∣w∣∣2(10)

s.t. yi(wTxi+b)≥1y_i(w^Tx_i+b)\geq 1yi(wTxi+b)≥1

对偶问题

对于一般的约束优化问题
min⁡f(x)s.t.gi(x)≤0i=1,2,...,mηj(x)=0j=1,2,...,m\min f(x)\\ s.t. \qquad \qquad g_i(x)\leq 0 \qquad i=1,2,...,m \\ \quad \quad \quad \quad \qquad \eta_j(x)=0 \qquad j=1,2,...,m minf(x)s.t.gi(x)≤0i=1,2,...,mηj(x)=0j=1,2,...,m

拉格朗日函数为
L(x,μ,λ)=f(x)+∑i=1mμigi(x)+∑j=1mλjηj(x)L(x,\mu ,\lambda)=f(x)+\sum_{i=1}^m\mu_ig_i(x)+\sum_{j=1}^m\lambda_j\eta_j(x) L(x,μ,λ)=f(x)+i=1∑mμigi(x)+j=1∑mλjηj(x)

其中μ=(μ1,μ2,...,μm)T,λ=(λ1,λ2,...,λm)T\mu=(\mu_1,\mu_2,...,\mu_m)^T,\lambda=(\lambda_1,\lambda_2,...,\lambda_m)^Tμ=(μ1,μ2,...,μm)T,λ=(λ1,λ2,...,λm)T为拉格朗日乘子。

定义拉格朗日对偶函数Γ(μ,λ)\Gamma(\mu,\lambda)Γ(μ,λ)为L(x,μ,λ)L(x,\mu ,\lambda)L(x,μ,λ)关于x的下确界（即最小值），
Γ(μ,λ)=inf⁡x∈DL(x,μ,λ)=inf⁡x∈D(f(x)+∑i=1mμigi(x)+∑j=1mλjηj(x))\Gamma(\mu,\lambda)=\inf_{x \in D}L(x,\mu,\lambda)=\inf_{x \in D}(f(x)+\sum_{i=1}^m\mu_ig_i(x)+\sum_{j=1}^m\lambda_j\eta_j(x)) Γ(μ,λ)=x∈DinfL(x,μ,λ)=x∈Dinf(f(x)+i=1∑mμigi(x)+j=1∑mλjηj(x))
其拥有两个性质：

无论上述优化是否为凸优化问题，其对偶函数Γ(μ,λ)\Gamma(\mu,\lambda)Γ(μ,λ)恒为凸函数，对偶问题为凸优化问题。
当μ≥0\mu \geq 0μ≥0 时，Γ(μ,λ)\Gamma(\mu,\lambda)Γ(μ,λ)构成了上述优化问题最优值p∗p^*p∗的下界

定义在满足μ≥0\mu \geq 0μ≥0 这个约束条件下对偶函数最大值的优化问题为拉格朗日对偶问题
max⁡Γ(μ,λ)s.t.μ≥0\qquad \qquad\max\Gamma(\mu,\lambda)\\ s.t. \quad \mu \geq 0 maxΓ(μ,λ)s.t.μ≥0

最优值为d∗d^*d∗，强对偶性成立，则对偶问题的最优值即为主问题的最优解。

强对偶性要求：

主问题为凸优化
在主问题的可行集存在一点使所有的不等式约束的不等号成立。

KKT条件

设f(x),gi(x),hj(x)f(x),g_i(x),h_j(x)f(x),gi(x),hj(x)一阶偏导连续，x∗,(μ∗,λ∗)x^*,(\mu^*,\lambda^*)x∗,(μ∗,λ∗)分别为主问题和对偶问题的最优解，若强对偶性成立，则x∗,μ∗,λ∗x^*,\mu^*,\lambda^*x∗,μ∗,λ∗满足
{∇xL(x∗,μ∗,λ∗)=∇f(x∗)+∑i=1mμi∗∇gi(x∗)+∑j=1mλj∗∇ηj(x∗)gj(x∗)≤0hj(x∗)=0μi∗≥0μi∗gi(x∗)=0\begin{cases} \nabla_xL(x^*,\mu^*,\lambda^*)= \nabla f(x^*)+\sum_{i=1}^m\mu_i^*\nabla g_i(x^*)+\sum_{j=1}^m\lambda_j^*\nabla \eta_j(x^*) \\ g_j(x^*) \leq 0\\ h_j(x^*)=0 \\ \mu_i^* \geq 0\\ \mu_i^*g_i(x^*)=0 \end{cases}⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧∇xL(x∗,μ∗,λ∗)=∇f(x∗)+∑i=1mμi∗∇gi(x∗)+∑j=1mλj∗∇ηj(x∗)gj(x∗)≤0hj(x∗)=0μi∗≥0μi∗gi(x∗)=0

对偶问题和KKT条件相关推荐

机器学习+优化问题的种类、如何优化、凸优化、非凸优化、对偶问题、KKT条件
机器学习+优化问题的种类.如何优化.凸优化.非凸优化.对偶问题.KKT条件目录
【机器学习－西瓜书】六、支持向量机（SVM）：最大间隔；对偶问题；KKT条件
推荐阅读:对偶问题,KKT条件关键词:最大间隔:支持向量:对偶问题:KKT条件:SMO算法 6.1 间隔与支持向量关键词:最大间隔:支持向量. 支持向量机(Support Vector Machi ...
手推支持向量机03-硬间隔SVM-模型求解（对偶问题之KKT条件）
目录 1.写在前面 2.KTT条件 3.求最终的w*,b*和最终的决策函数 1.写在前面上面我们讲到了怎么对硬间隔SVM进行求解,我们我们先把带约束问题,转化为无约束问题,通过强对偶关系将minma ...
个人总结：SVM 与拉格朗日函数、对偶问题和 KKT条件以及 SMO算法
提到SVM,可能首先想到的是令人头大的公式推导,通过确定思想,公式等式转化,拉格朗日函数,求梯度,约束变换,KKT.SMO...最后终于得到我们的最优解.而在这其中,不免作为核心的就是拉格朗日函数以及 ...
拉格朗日函数、拉格朗日对偶问题、KKT条件个人理解
最近学习SVM的相关内容时,接触到了拉格朗日函数及其对偶问题,于是就学习了一些相关内容,在此整理总结一下.文章内容为个人理解,如有错误,欢迎指正! 文章目录 1. 引言 1.1 在约束条件下求函数的极 ...
KKT条件的物理意义(转)
最好的解释:https://www.quora.com/What-is-an-intuitive-explanation-of-the-KKT-conditions# 作者:卢健龙链接:https: ...
线性规划——对偶问题、强弱对偶定理、KKT条件
原问题 min⁡x  cTxs.t.                  Ax=bx≥0\min_x \;c^Tx\\s.t. \;\;\;\;\;\;\;\;\;\\Ax=b\\x\geq 0xmin ...
【数学理论】最优化问题:拉格朗日乘子法、KKT条件以及对偶问题
前言最优化问题的求解方法在机器学习算法中是经常被用到的.下面是一个最优化问题的一个简单概述: 求解f(x)f(x)f(x)最小值时的x∗x^*x∗,即: min⁡xf(x)\mathop {\min ...
SVM中拉格朗日乘子法、KKT条件、对偶问题详解
SVM中拉格朗日乘子法.KKT条件.对偶问题详解创作目的 1.SVM回顾 2.拉格朗日乘子法 3.KKT条件 4.对偶问题强对偶性证明总结创作目的我是机器学习初学者,目前正在上机器学习课,老 ...

对偶问题和KKT条件

对偶问题和KKT条件

对偶问题

KKT条件

对偶问题和KKT条件相关推荐

最新文章

热门文章