拉格朗日乘子法几何意义

为什么出现拉格朗日乘子法？

最短路径问题
从几何意义中获得灵感：
从数学公式中获得灵感
推广到高维空间

一个最短路径问题

假设你在M点，需要先到河边（上图右侧曲线）再回到C点，如何规划路线最短？

假设：
河流曲线满足方程 g(x,y) = 0 （例如如果它是一个圆： $f(x,y)=x^{2}+y^{2}-r^{2}$ )

用P表示河边上的任意P(x,y)点，
用d(M,P)表示M,P之间距离，
那么问题可以描述为： $minf(P)=d(M,P)+d(P,C)$ ,约束 $g(P)=0$ ;

如何求解问题？

1. 从几何意义中获得灵感：

首先，f(P)是一个标量（只有大小没有方向），那么在上图的二维空间中必然存在了一个标量场f(P)，即对于每一个点P都对应着一个f(P)值，它代表经过该点的路径总和是多少。
如果我们画出它的等值线（场线)，就会发现它呈椭圆向外辐射：

显然，f(P)的等值线与河边曲线的交点P即为我们想求的点。

那么问题来了: 这样的点满足何种性质？（如果没有性质也就无法列出关系式进行求解，但是这么特殊的点极有可能存在良好某种特性）

最直观的性质：等值线（椭圆）在P点的法向量n与河边曲线的法向量m平行：

$n=\lambda m$

而在多元微积分中，一个函数h在某一点P的梯度是点P所在等值线（二维）或等值面（三维）的法向量，即 $n=\Delta h(P)$ ,所以对于f,g

$n=\lambda m\Rightarrow \Delta f(P)=\lambda \Delta g(P)\Rightarrow \binom{fx}{fy}=\lambda \binom{gx}{gy}\Rightarrow fx=\lambda gx$

即： $fy=\lambda gy$

即由相交点的性质我们得到了2个关系式（因为是二维平面，对于三维则可以得到三个关系式，以此类推），

再加上我们的约束条件： $g(P)=g(x,y)=0$

一共3个关系式，由线性代数中知识可知 3个关系式，3个未知量( $x,y,\lambda$ )极有可能有唯一解，当然也不排除会出现多个解甚至无穷多解（例如下图河边是一条直线，且M,C就在河边时）。

2. 从数学公式中获得灵感

仍人是问题：

3. 推广到高维空间
以上我们一直在讨论二维的情形，下面让我们看看这个问题的高维情况：以几何观点为例：

假设约束条件变成

学习总结：

若函数 f(x,y,z) 的变量受约束 g(x,y,z)=0限制, 函数的极值可以用下面Lagrange乘子法求出.

参考地址：https://www.zhihu.com/question/38586401

http://www.slimy.com/~steuard/teaching/tutorials/Lagrange.html

拉格朗日乘子法几何意义相关推荐

[转载]拉格朗日乘子法如何理解？
@[转载]拉格朗日乘子法如何理解? 链接:https://www.zhihu.com/question/38586401/answer/105273125 拉格朗日乘数法(Lagrange multi ...
机器学习--支持向量机（二）拉格朗日乘子法详解
上节我们从线性回归模型出发详细阐述了支持向量的来源,以及为什么需要寻找支持向量,如何找到这决策函数等问题,最后问题转化为下面的求最大值问题: 先说明一下分类就是如果: 则被分为 ...
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束时使用 ...
ESL3.4 学习笔记（奇异值分解与拉格朗日乘子法下的岭回归，Lasso回归，最小角回归及三者对比分析）
3.4 收缩的方法这是一篇有关<统计学习基础>,原书名The Elements of Statistical Learning的学习笔记,该书学习难度较高,有很棒的学者将其翻译成中文并放 ...
最优化：拉格朗日乘子法
作者:桂. 时间:2017-03-27 20:26:17 链接:http://www.cnblogs.com/xingshansi/p/6628785.html 声明:欢迎被转载,不过记得注明出处哦~ ...
转机器学习系列 08：深入理解拉格朗日乘子法、KKT 条件和拉格朗日对偶性
深度理解拉格朗日乘子法.KKT条件与线性规划对偶理论的微妙关系 https://blog.csdn.net/benzhujie1245com/article/details/85270058?utm_ ...
拉格朗日乘子法学习笔记
本来是想写支持向量机的学习笔记的然后觉得内容太多了越写越不想写于是咕掉了. 把写好的拉格朗日乘子法发上来吧QwQ 拉格朗日乘子法 wiki链接拉格朗日乘子法用来求解带多个等式约束的情况下的多元函数极 ...
拉格朗日乘子法（Lagrange Multiplier）和KKT条件
拉格朗日乘子法(Lagrange Multiplier)和KKT条件一:前言如果我们现实生活中的多元值求最优化的问题,我们会遇到一下三种场景: 无条件约束的优化问题有等式约束的优化问题有不等式 ...
约束优化方法之拉格朗日乘子法与KKT条件
来源:https://www.cnblogs.com/ooon/p/5721119.html 引言本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可 ...

拉格朗日乘子法几何意义

拉格朗日乘子法几何意义相关推荐

最新文章

热门文章