转载请注明出处：http://mp.blog.csdn.net/mdeditor

一、问题描述

首先以不严谨的方式给出标准形式的优化问题（具体请参考《凸优化》——Boyd，第五章），：

min⁡f0(x)\min f_0(x)minf0(x)

s.t.fi(x)≤0,i=1,2,⋅⋅⋅,ms.t.\quad f_i(x)\le0,\quad i = 1, 2, \cdot\cdot\cdot, ms.t.fi(x)≤0,i=1,2,⋅⋅⋅,m

hi(x)=0,i=1,2,⋅⋅⋅,p\qquad h_i(x)=0,\quad i = 1, 2, \cdot\cdot\cdot, phi(x)=0,i=1,2,⋅⋅⋅,p

然后给出拉格朗日函数：
L(x,λ,ν)=f0(x)+∑i=1mλ(i)fi(x)+∑i=1pν(i)hi(x)(公式1)L(x,\lambda,\nu)=f_0(x)+\sum_{i=1}^{m}\lambda_{(i)}f_i(x)+\sum_{i=1}^{p}\nu_{(i)}h_i(x) \qquad (公式1) L(x,λ,ν)=f0(x)+i=1∑mλ(i)fi(x)+i=1∑pν(i)hi(x)(公式1)
最后给出对偶函数：
g(λ,ν)=inf⁡x∈DL(x,λ,ν)=inf⁡x∈D(f0(x)+∑i=1mλ(i)fi(x)+∑i=1pν(i)hi(x))(公式2)g(\lambda,\nu)=\inf\limits_{x\in D}L(x,\lambda,\nu)=\inf\limits_{x\in D}(f_0(x)+\sum_{i=1}^{m}\lambda_{(i)}f_i(x)+\sum_{i=1}^{p}\nu_{(i)}h_i(x)) \qquad (公式2) g(λ,ν)=x∈DinfL(x,λ,ν)=x∈Dinf(f0(x)+i=1∑mλ(i)fi(x)+i=1∑pν(i)hi(x))(公式2)
我们要证明的是下面的命题：
命题：拉格朗日对偶函数一定是凹函数，且其凹性与最优化函数和约束函数无关。

说明：上述两个公式中，λ(i)\lambda_{(i)}λ(i)表示的是m维向量λ\lambdaλ的第i个分量，而后面的λi\lambda_{i}λi表示的是λ\lambdaλ的一个具体值，是一个向量。

二、证明

证明：要证对偶函数一定是凹函数，根据凹函数的定义，就是要证

g(θλ1+(1−θ)λ2,θν1+(1−θ)ν2)≥θg(λ1,ν1)+(1−θ)g(λ2,ν2),θ∈R(公式3)g(\theta\lambda_1+(1-\theta)\lambda_2,\theta\nu_1+(1-\theta)\nu_2)\ge\theta g(\lambda_1,\nu_1)+(1-\theta)g(\lambda_2,\nu_2),\quad\theta\in R\quad(公式3) g(θλ1+(1−θ)λ2,θν1+(1−θ)ν2)≥θg(λ1,ν1)+(1−θ)g(λ2,ν2),θ∈R(公式3)

根据对偶函数的定义可知，对偶函数是拉格朗日函数在把λ\lambdaλ和ν\nuν当做常量，xxx变化时的最小值，如果拉格朗日函数没有最小值（可以认为最小值为−∞-\infty−∞)，则对偶函数取值为−∞-\infty−∞，所以，可以把对偶函数按照下面的方式表达：
g(λ,ν)=min{L(x1,λ,ν),L(x2,λ,ν),⋅⋅⋅,L(xn,λ,ν)},n=+∞(公式4)g(\lambda,\nu)=min\{L(x_1,\lambda,\nu),L(x_2,\lambda,\nu),\cdot\cdot\cdot,L(x_n,\lambda,\nu)\},\quad n=+\infty\qquad(公式4) g(λ,ν)=min{L(x1,λ,ν),L(x2,λ,ν),⋅⋅⋅,L(xn,λ,ν)},n=+∞(公式4)

即无穷多个x变化时，拉格朗日函数的最小值。
另外，由于把λ\lambdaλ和ν\nuν分开来写，式子太长了，为了简便，记γ=(λ,ν)\gamma = (\lambda, \nu)γ=(λ,ν)，接下来证明（公式3）：

g(θγ1+(1−θ)γ2)=min{L(x1,θγ1+(1−θ)γ2),L(x2,θγ1+(1−θ)γ2),⋅⋅⋅,L(xn,θγ1+(1−θ)γ2)}(公式5)g(\theta\gamma_1+(1-\theta)\gamma_2)=min\{L(x_1,\theta\gamma_1+(1-\theta)\gamma_2),L(x_2,\theta\gamma_1+(1-\theta)\gamma_2),\cdot \cdot\cdot,L(x_n,\theta\gamma_1+(1-\theta)\gamma_2)\}\qquad(公式5)g(θγ1+(1−θ)γ2)=min{L(x1,θγ1+(1−θ)γ2),L(x2,θγ1+(1−θ)γ2),⋅⋅⋅,L(xn,θγ1+(1−θ)γ2)}(公式5)

≥min{θL(x1,γ1)+(1−θ)L(x1,γ2),θL(x2,γ1)+(1−θ)L(x2,γ2),⋅⋅⋅,θL(xn,γ1)+(1−θ)L(xn,γ2)}(公式6)\ge min\{\theta L(x_1,\gamma_1)+(1-\theta)L(x_1,\gamma_2),\theta L(x_2,\gamma_1)+(1-\theta)L(x_2,\gamma_2),\cdot\cdot\cdot,\theta L(x_n,\gamma_1)+(1-\theta)L(x_n,\gamma_2)\}\quad (公式6)≥min{θL(x1,γ1)+(1−θ)L(x1,γ2),θL(x2,γ1)+(1−θ)L(x2,γ2),⋅⋅⋅,θL(xn,γ1)+(1−θ)L(xn,γ2)}(公式6)

≥θmin{L(x1,γ1),L(x2,γ1),⋅⋅⋅,L(xn,γ1)}+(1−θ)min{L(x1,γ2),L(x2,γ2),⋅⋅⋅,L(xn,γ2)}(公式7)\ge\theta min\{L(x_1,\gamma_1),L(x_2,\gamma_1),\cdot\cdot\cdot,L(x_n,\gamma_1)\}+(1-\theta)min\{L(x_1,\gamma_2),L(x_2,\gamma_2),\cdot\cdot\cdot,L(x_n,\gamma_2)\}\quad (公式7)≥θmin{L(x1,γ1),L(x2,γ1),⋅⋅⋅,L(xn,γ1)}+(1−θ)min{L(x1,γ2),L(x2,γ2),⋅⋅⋅,L(xn,γ2)}(公式7)

=θg(γ1)+(1−θ)g(γ2)(公式8)=\theta g(\gamma_1)+(1-\theta)g(\gamma_2)\quad (公式8)=θg(γ1)+(1−θ)g(γ2)(公式8)

至此，（公式3）得证，所以原命题得证。
证毕.

三、解释证明过程

接下来，解释一下这个证明：

（公式5）到（公式6）是因为L(xi,γ)L(x_i, \gamma)L(xi,γ)中的xxx的值已固定，所以fi(x),i=0,1,2,⋅⋅⋅,mf_i(x), i = 0, 1, 2,\cdot\cdot\cdot, mfi(x),i=0,1,2,⋅⋅⋅,m 和 hi(x),i=0,1,2,⋅⋅⋅,ph_i(x), i = 0, 1, 2,\cdot\cdot\cdot, phi(x),i=0,1,2,⋅⋅⋅,p都应该看做常数，所以此时的L(xi,γ)L(x_i, \gamma)L(xi,γ)是γ\gammaγ的仿射函数，而仿射函数是既凸且凹的，对（公式5）右边中的每一个拉格朗日函数都运用其凹性，就可以得到（公式6）.
而从（公式6）到（公式7）运用的是一个简单的数学原理：

设有两个实数集合 aaa 和 bbb:

a={a1,a2,⋅⋅⋅,an}b={b1,b2,⋅⋅⋅,bn}a=\{a_1,a_2,\cdot\cdot\cdot,a_n\}\\b=\{b_1,b_2,\cdot\cdot\cdot,b_n\}a={a1,a2,⋅⋅⋅,an}b={b1,b2,⋅⋅⋅,bn}

则对于所有的 iii, jjj 有：

min{ai+bj}≥min{a}+min{b},i,j∈N+min\{a_i+b_j\}\ge min\{a\}+min\{b\},\quad i,j\in N^+min{ai+bj}≥min{a}+min{b},i,j∈N+

（公式7）到（公式8）由公式4可得。

最后通过图像来解释:

上图中，每条直线表示的是一个L(xi,γ)L(x_i, \gamma)L(xi,γ)。假想有一条平行于上图中yyy轴方向的直线，这条直线沿着xxx轴方向平移，这条直线与上图中所有的L(xi,γ)L(x_i, \gamma)L(xi,γ)相交，这些交点的最小值（yyy轴方向的值，因为yyy轴方向对应于L(xi,γ)L(x_i, \gamma)L(xi,γ)的值，xxx轴方向对应于每一个xix_ixi）就是g(γ)g(\gamma)g(γ)，也就是（公式4）要表达的意思。
由于这条直线每到一处，就对应于一个xix_ixi，从而逐点逐点地获得g(γ)g(\gamma)g(γ)，所以就称对偶函数是一族关于γ\gammaγ的仿射函数的逐点下确界。

为什么拉格朗日对偶函数一定是凹函数(逐点下确界)相关推荐

拉格朗日对偶函数拉格朗日对偶问题
前段时间学了拉格朗日乘子法,学会了构造拉格朗日函数,也就是学会了把带约束(等式或不等式)的优化问题转化为无约束优化问题,私以为这部分就学完了到此为止了,没想到今天推导SVM的数学模型,要推原问题的对偶 ...
如何理解拉格朗日对偶函数
转自:https://www.cnblogs.com/gczr/p/10521551.html 在约束最优化问题中,常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换为对偶问题, ...
凸优化学习-（十八）对偶性Duality 拉格朗日函数与对偶函数
凸优化学习对偶性是凸优化学习的核心,重中之重. 学习笔记一.拉格朗日函数与对偶函数对于一个普通优化问题: min⁡f0(x)s.t.fi(x)≤0i=1⋯mhi(x)=0i=1⋯p\begin{ ...
Lagrange对偶函数
1.拉格朗日函数考虑标准形式的优化问题如下所示: minimizef0(x)s.t.fi(x)≤0,i=1,⋯,mhi(x)=0,i=1,⋯,p(1)\tag{1}\begin{array}{ll ...
【数学】拉格朗日对偶，从0到完全理解
1. 从最优化引出的拉格朗日乘数法 1.1 一个最简单的无约束优化问题在学习与工程之中,我们时常会遇到一些优化的问题,也就是要对某个目标函数求取极值,最简单的形式如下. min⁡x∈Rnf(x)\l ...
凸优化——详解原函数的对偶函数、对偶问题和共轭函数之间的关系（我尽力了）
一. 原函数的对偶函数和共轭函数对偶函数原函数 ==> 拉格朗日函数 ==> 对偶函数(拉格朗日对偶函数) f0f_0f0 ==>L(x,λ\lambdaλ,v) ==> ...
凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
一文理解拉格朗日对偶和KKT条件
一. 最优化问题求解 1. 等式约束的极值求法 $$ \begin{gather*} \underset{t}{min} f(t) \; s.t.\; h_i(t)=0,i=1,\cdots,p \e ...
【精简推导】支持向量机（拉格朗日乘子法、对偶函数、KKT条件）
支持向量机,就是通过找出边际最大的决策边界,来对数据进行分类的分类器.因此,支持向量分类器又叫做最大边际分类器. (疯狂暗示:这是一个最优化问题啊~) 直接上目标求解函数: 这个式子是支持向量机基本形 ...

为什么拉格朗日对偶函数一定是凹函数(逐点下确界)

一、问题描述

二、证明

三、解释证明过程

为什么拉格朗日对偶函数一定是凹函数(逐点下确界)相关推荐

最新文章

热门文章