1. 举例

这里举个简单的例子吧
在家里做蛋糕，假如只计算鸡蛋和牛奶的价格
其中鸡蛋的价格为4.5￥/斤，牛奶为12￥/升，而预算刚好是20￥
那么就有：

经过分析，蛋糕的总量跟两种原材料（x₁，x₂）具有如下关系：

那么最少能做多少蛋糕

2. 求偏导

在线性最小二乘法的通俗理解中提到极值点可以通过求偏导来实现
函数 fff(x₁，x₂) 对x₁，x₂分别求偏导，那么得出的结论是：x₁，x₂都为0的时候最小

单独看这个函数，这个结论对的，
但问题是它不满足预算为20的限制条件

3. 拉格朗日乘子法

拉格朗日想到既然 hhh(x₁，x₂) = 0
那函数 fff(x₁，x₂) 是否可以加上这个hhh(x₁，x₂)再乘以一个系数也应该不变
任何数乘以0当然是0，fff(x₁，x₂) 加上0当然保持不变

所以其实就可以等同于求下面这个函数的极值：

对x₁，x₂以及 λ 分别求偏导：

解上面的方程组得到 x₁=0.8889，x₂=1.3333
然后代入 fff(x₁，x₂) 即可

4. 乘子

这里为什么要多加一个乘子λ呢
试想一下，如果 λ 是个固定的数（比如1），也能通过上面的前两条方程式求解得到x₁，x₂
但是就得不到第三条方程式，其实也就是没有 约束条件 了

在求偏导（极值点）以后，还能保留原有的约束条件
把约束条件带进来，跟求其他变量的偏导结果放在一起
既能满足约束条件，又能保证是约束条件下的极值

当然这是一个约束条件的情况，如果有多个约束条件呢？
那就要用多个不同的 λ，正如最上面的那个定义那样，把这些加起来（这些0加起来也是0）

最优问题，这个思维很重要，求条件极值转化为求函数和条件的极值

谢谢！

拉格朗日乘子法的通俗理解相关推荐

[转载]拉格朗日乘子法如何理解？
@[转载]拉格朗日乘子法如何理解? 链接:https://www.zhihu.com/question/38586401/answer/105273125 拉格朗日乘数法(Lagrange multi ...
如何理解拉格朗日乘子法？
1 与原点的最短距离假如有方程: 图像是这个样子滴: 现在我们想求其上的点与原点的最短距离: 这里介绍一种解题思路.首先,与原点距离为的点全部在半径为的圆上: 那么,我们逐渐扩大圆的半径: 显然 ...
转机器学习系列 08：深入理解拉格朗日乘子法、KKT 条件和拉格朗日对偶性
深度理解拉格朗日乘子法.KKT条件与线性规划对偶理论的微妙关系 https://blog.csdn.net/benzhujie1245com/article/details/85270058?utm_ ...
【数学】拉格朗日乘子法（Lagrange Multiplier) 和KKT条件理解
转载目录动机简介一. 拉格朗日乘子法(Lagrange Multiplier) 和KKT条件 (a) 拉格朗日乘子法(Lagrange Multiplier) (b) KKT条件二. 为什么 ...
SVM-支持向量机理解（拉格朗日乘子法（Lagrange multiplier））
关于支持向量机里的拉格朗日乘子法有很多文章,作为学习笔记这里就不详细描述了,只记录一些一般文章里跳过的难以理解部分 Support Vector Machine wiki : https://en.w ...
拉格朗日乘子法：写得很通俗的文章
拉格朗日乘子法最近在学习 SVM 的过程中,遇到关于优化理论中拉格朗日乘子法的知识,本文是根据几篇文章总结得来的笔记.由于是刚刚接触,难免存在错误,还望指出?.另外,本文不会聊 ...
对拉格朗日乘子法与KKT的理解
在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束时使用 ...
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法.在有等式约束时使用拉格朗日乘子法,在有不等约束时使用 ...
拉格朗日乘子法 KKT条件
目录 1. 拉格朗日乘子法用于最优化的原因 2. 最优化问题三种情况 2.1 无约束条件 2.2 等式约束条件:拉格朗日乘子法 2.3 不等式约束条件:KKT 3. Lagrange对偶函数 3.1 ...

拉格朗日乘子法的通俗理解