拉格朗日乘数法——从单约束条件到多约束条件的空间直观解释

拉格朗日乘数法的用处

拉格朗日乘数法用于约束条件并不容易用于消元的情况。这时候，就需要用拉格朗日乘数法进行约束条件和目标函数的统一，便于计算极值和最值。

1.单约束条件

多约束条件的最优化：

目标函数的梯度是多个约束条件梯度的线性组合

G和h是约束函数，而f是目标函数

可以理解为

为什么要在其张成的向量子空间：

https://zhuanlan.zhihu.com/p/29525538。

里面说的很清楚：

核心关键点是可行方向首先在约束平面上必须与约束平面切线平行，即与梯度垂直。

可行方向同时又要与多个约束平面切线平行，即同时与多个梯度向量垂直。

在目标函数上，可行方向必须与目标函数等值面相切运动，那么就必须与等值面的梯度方向垂直。

综合上述两点，可行方向必须满足：1.与多个约束平面梯度向量垂直。2.同时与目标函数的梯度垂直。

这里可以看到，如果要求出可行方向，必须让目标函数梯度向量位于约束梯度向量所张开的向量空间中

拉格朗日乘子法——从单约束到多约束的直观翻译相关推荐

机器学习中的数学——拉格朗日乘子法（二）：不等式约束与KKT条件
分类目录:<算法设计与分析>总目录相关文章: ·拉格朗日乘子法(一):等式约束的拉格朗日乘子法 ·拉格朗日乘子法(二):不等式约束与KKT条件现在接着<拉格朗日乘子法(一):等式 ...
机器学习中的数学——拉格朗日乘子法（一）：等式约束的拉格朗日乘子法
分类目录:<机器学习中的数学>总目录相关文章: ·拉格朗日乘子法(一):等式约束的拉格朗日乘子法 ·拉格朗日乘子法(二):不等式约束与KKT条件拉格朗日乘子法是一种寻找多元函数在一组约 ...
拉格朗日乘子法解决带约束的极值问题
拉格朗日乘子法解决带约束的极值问题 1. 拉格朗日乘子法简介 2. Python实现小栗子 2.1 小栗子1:等式约束下的拉格朗日方程求解 2.2 小栗子2:给定一个椭球,求其内接长方体的最大体积 2 ...
拉格朗日乘子法学习笔记
本来是想写支持向量机的学习笔记的然后觉得内容太多了越写越不想写于是咕掉了. 把写好的拉格朗日乘子法发上来吧QwQ 拉格朗日乘子法 wiki链接拉格朗日乘子法用来求解带多个等式约束的情况下的多元函数极 ...
拉格朗日乘子法、KKT条件、拉格朗日对偶性
拉格朗日乘子法.KKT条件.拉格朗日对偶性转载于http://blog.csdn.net/sinat_17496535/article/details/52103852 笔记主要来源于维基百科和&l ...
ESL3.4 学习笔记（奇异值分解与拉格朗日乘子法下的岭回归，Lasso回归，最小角回归及三者对比分析）
3.4 收缩的方法这是一篇有关<统计学习基础>,原书名The Elements of Statistical Learning的学习笔记,该书学习难度较高,有很棒的学者将其翻译成中文并放 ...
拉格朗日乘子法（Lagrange multiplier）
问题提出已知函数z=f(x,y)z=f(x,y)(本文假设它是凸函数,三维空间想象成抛物体,局部极值就是全域唯一极值),现在要求 minf(x,y)min f(x,y)只需求解方程组: ⎧⎩⎨⎪⎪⎪ ...
最优化：拉格朗日乘子法
作者:桂. 时间:2017-03-27 20:26:17 链接:http://www.cnblogs.com/xingshansi/p/6628785.html 声明:欢迎被转载,不过记得注明出处哦~ ...
拉格朗日乘子法（Lagrange Multiplier）和KKT条件
拉格朗日乘子法(Lagrange Multiplier)和KKT条件一:前言如果我们现实生活中的多元值求最优化的问题,我们会遇到一下三种场景: 无条件约束的优化问题有等式约束的优化问题有不等式 ...

拉格朗日乘子法——从单约束到多约束的直观翻译

拉格朗日乘数法的用处

拉格朗日乘子法——从单约束到多约束的直观翻译相关推荐

最新文章

热门文章