如何理解拉格朗日乘子法？

1 与原点的最短距离

假如有方程：

$x^2y=3$

图像是这个样子滴：

现在我们想求其上的点与原点的最短距离：

这里介绍一种解题思路。首先，与原点距离为 $a$ 的点全部在半径为 $a$ 的圆上：

那么，我们逐渐扩大圆的半径：

显然，第一次与 $x^2y=3$ 相交的点就是距离原点最近的点：

此时，圆和曲线相切，也就是在该点切线相同：

至此，我们分析出了：

$在极值点，圆与曲线相切$

2 等高线

为了继续解题，需要引入等高线。这些同心圆：

可以看作函数 $f(x,y)=x^2+y^2$ 的等高线：

根据梯度的性质（关于梯度可以查看如何通俗地理解梯度？），梯度向量：

$\nabla f=\begin{pmatrix}\frac{\partial f}{\partial x}\\\frac{\partial f}{\partial y}\end{pmatrix}=\begin{pmatrix}2x\\2y\end{pmatrix}$

是等高线的法线：

另外一个函数 $g(x,y)=x^2y$ 的等高线为：

之前的曲线 $x^2y=3$ 就是其中值为3的等高线：

，因此，梯度向量：

$\nabla g=\begin{pmatrix}\frac{\partial g}{\partial x}\\\frac{\partial g}{\partial y}\end{pmatrix}=\begin{pmatrix}2xy\\x^2\end{pmatrix}$

也垂直于等高线 $x^2y=3$ ：

梯度向量是等高线的法线，更准确地表述是：

$梯度与等高线的切线垂直$

3 拉格朗日乘子法

3.1 求解

根据之前的两个分析：

$\begin{cases} 在极值点，圆与曲线相切\\ \\ 梯度与等高线的切线垂直 \end{cases}$

综合可知，在相切点，圆的梯度向量和曲线的梯度向量平行：

也就是梯度向量平行，用数学符号表示为：

$\nabla f=\lambda\nabla g$

还必须引入 $x^2y=3$ 这个条件，否则这么多等高线，不知道指的是哪一根：

因此联立方程：

$\begin{cases} \nabla f=\lambda\nabla g\\ \\ x^2y=3 \end{cases}$

求一下试试：

$\begin{cases} \begin{pmatrix}2x\\2y\end{pmatrix}=\lambda\begin{pmatrix}2xy\\x^2\end{pmatrix}\\ \\ x^2y=3 \end{cases} \implies \begin{cases} x\approx\pm 1.61\\ \\ y\approx 1.1\\ \\ \lambda\approx 0.87 \end{cases}$

这就是拉格朗日乘子法。

3.2 定义

要求函数 $f$ 在 $g$ 约束下的极值这种问题可以表示为：

$minmax\ f\\ s.t.\ g=0$

$s.t.$ 意思是subject to，服从于，约束于的意思。

可以列出方程组进行求解：

$\begin{cases} \nabla f=\lambda\nabla g\\ \\ g=0 \end{cases}$

用这个定义来翻译下刚才的例子，要求：

令：

$\begin{cases} f(x,y)=x^2+y^2\\ \\ g(x,y)=x^2y-3 \end{cases}$

求：

$min\ f(x,y)\\ s.t.\ g(x,y)=0$

联立方程进行求解：

$\begin{cases} \nabla f=\lambda\nabla g\\ \\ g(x,y)=0 \end{cases}$

3.3 变形

这个定义还有种变形也比较常见，要求：

$minmax\ f\\ s.t.\ g=0$

定义：

$F=f+\lambda g$

求解下面方程组即可得到答案：

$\begin{pmatrix}\frac{F}{\partial x}\\\frac{F}{\partial y}\\\frac{F}{\partial \lambda}\end{pmatrix}=\begin{pmatrix}0\\0\\0\end{pmatrix}$

把等式左边的偏导算出来就和上面的定义是一样的了。

3.4 多个约束条件

如果增加一个约束条件呢？比如说：

$x-y-3=0$

求：

$min\ x^2+y^2\\ s.t.\ \begin{cases} x^2y-3=0\\ x-y-3=0 \end{cases}$

从图上看约束条件是这样的：

很显然所求的距离是这样的：

那这三者的法线又有什么关系呢？ $x^2+y^2$ 的法线是 $x^2y-3$ 和 $x-y-3$ 的法线的线性组合：

假设：

$\begin{cases} f(x,y)=x^2+y^2\\ \\ g(x,y)=x^2y-3\\ \\ h(x,y)=x-y-3 \end{cases}$

那么线性组合就表示为：

$\nabla f=\lambda\nabla g+\mu\nabla h$

联立方程：

$\begin{cases} \nabla f=\lambda\nabla g+\mu\nabla h\\ \\ g(x,y)=0\\ \\ h(x,y)=0 \end{cases}$

即可求解。

往更高纬度走的话，多约束条件的情况下，问题变为了 $g_1,g_2$ 围成的曲线 $C$ 和 $f$ 相切，直观上看 $\nabla f$ 必然在 $\nabla g_1,\nabla g_2$ 张成的空间中：

这点的严格性这里就不证明了。

文章最新版本在（有可能会有后续更新）：如何通俗地理解拉格朗日乘子法？

如何理解拉格朗日乘子法？相关推荐

转机器学习系列 08：深入理解拉格朗日乘子法、KKT 条件和拉格朗日对偶性
深度理解拉格朗日乘子法.KKT条件与线性规划对偶理论的微妙关系 https://blog.csdn.net/benzhujie1245com/article/details/85270058?utm_ ...
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束时使用 ...
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件（转）
关于鞍点的定义可以参考论文 <鞍点定理在Lagrange乘数法上的应用> 下面这篇文章的重点是是提到了鞍点在学习之前,先说一些题外话,由于博主学习模式识别没多久,所以可能对许多问题还没有 ...
【数学】拉格朗日乘子法（Lagrange Multiplier) 和KKT条件理解
转载目录动机简介一. 拉格朗日乘子法(Lagrange Multiplier) 和KKT条件 (a) 拉格朗日乘子法(Lagrange Multiplier) (b) KKT条件二. 为什么 ...
【数学基础】拉格朗日乘子法
概述在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束 ...
【java机器学习】支持向量机之拉格朗日乘子法解释
什么是拉格朗日乘子法按照维基百科的定义,拉格朗日乘数法是一种寻找多元函数在其变量受到一个或多个条件的约束时的极值的方法.用数学式子表达为: 简单理解就是,我们要在满足这个等式的前提下,求函数的最 ...
非线性规划的拉格朗日乘子法python编程python包编程
非线性规划的拉格朗日乘子法&python编程&python包编程一.拉格朗日乘子法 1.1 拉格朗日乘子法定义 1.2 KKT条件定义 1.3 拉格朗日乘子法手工推导例题二.Pyt ...
求解最优化问题的方法：拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束时使用 ...
拉格朗日乘子法：写得很通俗的文章
拉格朗日乘子法最近在学习 SVM 的过程中,遇到关于优化理论中拉格朗日乘子法的知识,本文是根据几篇文章总结得来的笔记.由于是刚刚接触,难免存在错误,还望指出?.另外,本文不会聊 ...

如何理解拉格朗日乘子法？

如何理解拉格朗日乘子法？相关推荐

最新文章

热门文章