拉格朗日函数相关推导

优化问题（即高数中的求极值）可分为三类：无约束、等式约束、不等式约束。

对于无约束的优化问题：求导，令导数为零即可求解。

等式约束优化：（拉格朗日乘子法最开始就是求解等式约束优化的方法）

利用拉格朗日函数：

再对其求导

由此将有等式约束的原函数变成无约束的拉格朗日函数进行求解。

那么为什么拉格朗日乘子法可以这样用呢！

举个例子：

红色箭头和蓝色箭头会在满足条件的极值点共线，根据向量共线也能写出下式

故拉格朗日函数其实只是将这个计算过程变成了一个新的函数求一阶偏导的过程，而将原函数变成新函数则借助了拉格朗日乘子，在等式中只要求拉格朗日乘子不为0。

对于多个不等式约束，朗格朗日乘子法仍然适用。

图中蓝线和黑线表示两个等式约束。

不等式约束的优化（广义拉格朗日函数用于求解此类问题）

假设有一个不等式约束条件：

定义广义拉格朗日函数为：

需要满足的KKT条件：

满足KKT条件后极小化广义拉格朗日函数即可得到在不等式约束条件下的可行解。那么在拉格朗日函数中求可行解的过程中就运用到了拉格朗日的一个重要结论——对偶问题。对于这个结论的证明我将放在广义拉格朗日证明的后面。

下面我们先来理解为什么不等式约束优化的朗格朗日函数除了求导还有其他的KKT条件。

还是刚才的例子，只不过约束条件变成了不等式：

首先我们要知道：不是所有的不等式约束都有效，如下图所示：

对于可行域的点我们可以分成两类：边界点及内点

边界点当然就是h=0，此时我们还需要明白f的梯度与约束条件的梯度方向是始终相反的。

原因如下：在 g(x)≤0 一侧，而 g(x)的梯度是指向大于 0 的一侧，也就是不是可行域的一侧。而求的问题是极小值，所以 f(x)在交点处的梯度是指向可行域的一侧，也就是说两个梯度一定是相反的，故有，>0.

而对于内点来讲，其实就相当于没有这个等式约束。即只需要对f(x)求导即可，故此时 =0.

将上述两种情况结合到一起就有：

补充一个小tip：

约束条件和拉格朗日乘子互补松弛，即当约束条件松弛时(h<0)，拉格朗日乘子紧（ =0）；反之也如此。

好啦，到现在我们已经明白这些条件是怎么来的了。

下面我们来看看拉格朗日函数的对偶问题：

拉格朗日函数相关推导相关推荐

从放弃到再入门之拉格朗日对偶问题推导（转）
从放弃到再入门之拉格朗日对偶问题推导(转) 2018年04月17日 16:15:33 EFLYP 普通同学的解法无约束条件:求导就可以了等式约束:代入消元,再求导不等式约束:分情况讨论(在边界 ...
举例微积分拉格朗日方程_Euler-Lagrange Equation (欧拉-拉格朗日方程)推导
我们知道,对于一个连续函数来说,取得极指的必要条件是它的导函数等于0,也就是驻点(stationary point),这也是费马引理(Fermat's theorem)所表述的内容.然而,函数本身的定 ...
双复合摆的动力学【牛顿法---拉格朗日法】两种方式
一.双摆运动方程的牛顿法推导 0.前言在此示例中,我们将导出并实现双复合摆的运动方程[在重力和粘性力作用下的双摆运动]. 具体来说,我们将要: (1)使用牛顿法推导运动方程:(2)推导施加到摆杆上的 ...
使用拉格朗日多项式(Lagrangian polynomials)的插值法(python,数值积分)
第三十五篇拉格朗日多项式插值插值多项式首先考虑一个函数的推导,该函数精准地通过一系列np离散数据点.虽然有无限多的函数具备这个条件,但我们将专注于最简单的一个,一个n阶多项式,其中n = np− ...
机械臂动力学建模（4）- Lagrangian拉格朗日算法
Lagrangian算法参考思路实现参考哈密顿原理和拉格朗日的推导: 第六章拉格朗日动力学. 书籍: 机械工业出版社的<机器人学导论>145页开始 <Rigid Body ...
SVM-支持向量机原理详解与实践之三
SVM-支持向量机原理详解与实践之二 SVM原理分析以下内容接上篇. 拉格朗日对偶性(Largrange duality)深入分析前面提到了支持向量机的凸优化问题中拉格朗日对偶性的重要性. 因为通 ...
用MATLAB玩转机器人--第五章机器人的数学建模
文章目录 5.2 机器人的机械结构数学建模 5.2.1 机器人运动学基础 5.2.2 机器人坐标变换 5.2.3 利用拉格朗日法导出机械结构模型 5.3 机器人的电气结构数学建模 5.2 机器人的机械 ...
解析对偶理论与对偶单纯性法
摘要:对偶理论(Duality theory)就是研究线性规划中原始问题与对偶问题之间关系的理论. 本文分享自华为云社区<对偶理论与对偶单纯性法>,原文作者:井冈山_阳春 . 线性规划(L ...
周期函数的自身叠加后功率函数思考
周期函数的自身叠加后功率函数思考根据傅里叶级数任意周期为2πw\frac{2\pi}{w}w2π的函数f(t) 可以表示为 f(t)=A0+∑n=1∞Ansin(nwt+ψn)f(t)=A_0+ ...

拉格朗日函数相关推导

拉格朗日函数相关推导相关推荐

最新文章

热门文章