1 中心思想

极值点处，函数和约束条件一定相切，梯度一定共线（同向or反向）

2 无约束优化问题

比如我们希望求解 min/max F(x)，那么我们可以直接对所有m个变量求偏导，令偏导等于0。

这时候联立出来的点就可能是极值点

注意这里是可能，因为偏导等于0只是极值点的必要条件，并不是它的充分条件。（所以在求出可能的极值之后，需要带入原函数，检查一下是否在原函数中比周围的点都要小）

但从另一个角度讲，不满足偏导数等于0的点，肯定不是极值点。

3 等式约束优化问题

比如我们现在的目标函数为 f(x)，约束条件为h(x)

那么问题为：

此时我们构建拉格朗日函数

我们令其关于λ以及x的偏导数为0

4 不等式约束问题（KKT）

我们将约束条件扩展成如下：

如何求解最优值？我们可以使用KKT条件进行求解：

参考资料拉格朗日乘子法详解（Lagrange multiplier）_wulimmya的博客-CSDN博客_拉格朗日乘子

数学知识笔记：拉格朗日乘子相关推荐

拉格朗日乘子法（Lagrange Multiplier）详解以及乘子lambda的意义
注:目前开通个人网站朝思录,之后的博文将在上面更新,CSDN博客会滞后一点主要介绍经典拉格朗日乘子法的原理,之后讨论该方法中出现的参数 λ \lambda λ的意义拉格朗日乘子法的数学原理经典拉 ...
ESL3.4 学习笔记（奇异值分解与拉格朗日乘子法下的岭回归，Lasso回归，最小角回归及三者对比分析）
3.4 收缩的方法这是一篇有关<统计学习基础>,原书名The Elements of Statistical Learning的学习笔记,该书学习难度较高,有很棒的学者将其翻译成中文并放 ...
拉格朗日乘子法学习笔记
本来是想写支持向量机的学习笔记的然后觉得内容太多了越写越不想写于是咕掉了. 把写好的拉格朗日乘子法发上来吧QwQ 拉格朗日乘子法 wiki链接拉格朗日乘子法用来求解带多个等式约束的情况下的多元函数极 ...
人工智能必备数学知识· 学习笔记 ·002【马尓可夫链，马尓可夫链奖励过程，马尔可夫决策过程】
注:笔记来自课程人工智能必备数学知识 Tips①:只是记录从这个课程学到的东西,不是推广.没有安利 Tips②:本笔记主要目的是为了方便自己遗忘查阅,或过于冗长.或有所缺省.或杂乱无章,见谅 Ti ...
人工智能必备数学知识· 学习笔记 ·001【线性回归，最小二乘法梯度下降法】
注:笔记来自课程人工智能必备数学知识 Tips①:只是记录从这个课程学到的东西,不是推广.没有安利 Tips②:本笔记主要目的是为了方便自己遗忘查阅,或过于冗长.或有所缺省.或杂乱无章,见谅 Ti ...
Acwing - 算法基础课 - 笔记（数学知识 · 二）
文章目录数学知识(二) 欧拉函数公式法筛法欧拉定理快速幂扩展欧几里得算法中国剩余定理数学知识(二) 这一小节主要讲解的内容是:欧拉函数,快速幂,扩展欧几里得算法,中国剩余定理. 这一节 ...
基础数学知识（一）——拉格朗日乘子法
这几天一直在看支持向量机,然后就是大量大量的数学公式,一直迷迷糊糊的,然后一直遇到拉格朗日,拉格朗日,原来数学基础也不好,没怎么学过,于是下定决心要把拉格朗日乘子法搞懂,花了几天,看了一些文章,算是对 ...
机器学习中的数学——拉格朗日乘子法（一）：等式约束的拉格朗日乘子法
分类目录:<机器学习中的数学>总目录相关文章: ·拉格朗日乘子法(一):等式约束的拉格朗日乘子法 ·拉格朗日乘子法(二):不等式约束与KKT条件拉格朗日乘子法是一种寻找多元函数在一组约 ...
Acwing数学知识——学习笔记
ACwing数学知识听课笔记文章目录质数试除法求素数分解质因数板子质数筛朴素筛法--每一个数都把自己的倍数全部筛除埃氏筛法-把所有质数的倍数全部删除(用这个就行了) 约数试除法求约数 ...

数学知识笔记：拉格朗日乘子

1 中心思想

2 无约束优化问题

3 等式约束优化问题

4 不等式约束问题（KKT）

数学知识笔记：拉格朗日乘子相关推荐

最新文章

热门文章