文章目录

  • 基本不等式及其证明
    • 证明M2‾≤M3‾\overline{M2}\leq\overline{M3}M2≤M3
    • 证明M1‾≤M2‾\overline{M1}\leq\overline{M2}M1≤M2
    • 证明M3‾≤M4‾\overline{M3}\leq\overline{M4}M3≤M4
      • 对凸函数理解为:
      • 拉格朗日乘子
      • Jensen不等式

基本不等式及其证明

调和平均值:M1‾=n1x1+1x2+...+1xn\overline{M_1}=\frac{n}{\frac{1}{x_1}+\frac{1}{x_2}+...+\frac{1}{x_n}}M1​​=x1​1​+x2​1​+...+xn​1​n​
几何平均值:M2‾=x1x2...xnn\overline{M_2}=\sqrt[n]{x_1x_2...x_n}M2​​=nx1​x2​...xn​​
算术平均值:M3‾=x1+x2+...+xnn\overline{M_3}=\frac{x_1+x_2+...+x_n}{n}M3​​=nx1​+x2​+...+xn​​
平方平均值:M4‾=x12+x22+...+xn2n\overline{M_4}=\sqrt{\frac{x_1^2+x_2^2+...+x_n^2}{n}}M4​​=nx12​+x22​+...+xn2​​​

大小关系:M1‾≤M2‾≤M3‾≤M4‾(x1=x2=x3=...=xn)\overline{M_1}\leq\overline{M_2}\leq\overline{M_3}\leq\overline{M_4}\quad(x_1=x_2=x_3=...=x_n)M1​​≤M2​​≤M3​​≤M4​​(x1​=x2​=x3​=...=xn​)

证明M2‾≤M3‾\overline{M2}\leq\overline{M3}M2≤M3

证明M1‾≤M2‾\overline{M1}\leq\overline{M2}M1≤M2

证明M3‾≤M4‾\overline{M3}\leq\overline{M4}M3≤M4
对凸函数理解为:


上图我自己比较难理解所以由数学分析中表述为:
f为I上凸函数充要条件为:对于I上任意三点x1<x2<x3x_1<x_2<x_3x1​<x2​<x3​总有f(x2)−f(x1)x2−x1≤f(x3)−f(x2)x3−x2\frac{f(x_2)-f(x_1)}{x_2-x_1}\leq\frac{f(x_3)-f(x_2)}{x_3-x_2}x2​−x1​f(x2​)−f(x1​)​≤x3​−x2​f(x3​)−f(x2​)​
此处说法可理解为函数斜率再在增加,又可等价为f可导时,函数的导函数为增函数
图像可理解为向下凸的图像例如

进一步理解凸函数中(1)式=定理6.14.=下列论断等价(前提:f为区间I上可导函数):①f为I上凸函数⟺\Longleftrightarrow⟺②f’为I上增函数⟺\Longleftrightarrow⟺③I上任意两点x1,x2,f(x2)≥f(x1)+f′(x1)(x2−x1)x_1,x_2,f(x_2)\geq f(x_1)+f'(x_1)(x_2-x_1)x1​,x2​,f(x2​)≥f(x1​)+f′(x1​)(x2​−x1​)
①推②:任意找两点做导数极限判别大小
②推③:
lagrange中值定理得到[a,b]连续,(a,b)可导时满足f′(ξ)=f(b)−f(a)b−a以x1,x2两点为端点的区间由f′的增函数条件可得:f(x2)−f(x1)=f′(ξ)(x2−x1)≥f′(x1)(x2−x1)变形可得到上式③lagrange中值定理得到[a,b]连续,(a,b)可导时满足f'(\xi)=\frac{f(b)-f(a)}{b-a}\\ 以x_1,x_2两点为端点的区间由f'的增函数条件可得:\\ f(x_2)-f(x_1)=f'(\xi)(x_2-x_1)\geq f'(x_1)(x_2-x_1)变形可得到上式③ lagrange中值定理得到[a,b]连续,(a,b)可导时满足f′(ξ)=b−af(b)−f(a)​以x1​,x2​两点为端点的区间由f′的增函数条件可得:f(x2​)−f(x1​)=f′(ξ)(x2​−x1​)≥f′(x1​)(x2​−x1​)变形可得到上式③
③推①:

拉格朗日乘子

一般解决条件极值问题比较方便

  • 条件极值问题:
    条件组限制下:ϕk(x1,x2,...,xn)=0k=1,2,...,m(m<n)条件组限制下:\phi_k(x_1,x_2,...,x_n)=0 \quad k=1,2,...,m\quad(m<n)条件组限制下:ϕk​(x1​,x2​,...,xn​)=0k=1,2,...,m(m<n)
    求目标函数:y=f(x1,x2,...,xn)求目标函数:y=f(x_1,x_2,...,x_n)求目标函数:y=f(x1​,x2​,...,xn​)
    lagrange乘数法就是一种不依赖消元而求解条件极值问题的有效方法lagrange乘数法就是一种不依赖消元而求解条件极值问题的有效方法lagrange乘数法就是一种不依赖消元而求解条件极值问题的有效方法
Jensen不等式


这里还不太明白所以先挖坑
稍后要总结一下隐函数和拉格朗日乘子的其他内容

上述内容参考:
献给高中生——均值不等式与Jensen不等式
均值不等式的四大证明方法合辑…
Jensen不等式初步理解及证明
凸函数与凹函数
[数学分析华东师大版第四版上下册](这个有需要大家可以私信pdf或者自己买哈)

基本不等式凸函数拉格朗日乘子相关推荐

  1. 最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件

    最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理 对于任意两个向量a⃗,b⃗\vec{a ...

  2. 机器学习中的数学——拉格朗日乘子法(二):不等式约束与KKT条件

    分类目录:<算法设计与分析>总目录 相关文章: ·拉格朗日乘子法(一):等式约束的拉格朗日乘子法 ·拉格朗日乘子法(二):不等式约束与KKT条件 现在接着<拉格朗日乘子法(一):等式 ...

  3. 最优化:拉格朗日乘子法

    作者:桂. 时间:2017-03-27 20:26:17 链接:http://www.cnblogs.com/xingshansi/p/6628785.html 声明:欢迎被转载,不过记得注明出处哦~ ...

  4. 拉格朗日乘子法(Lagrange Multiplier)和KKT条件

    拉格朗日乘子法(Lagrange Multiplier)和KKT条件 一:前言 如果我们现实生活中的多元值求最优化的问题,我们会遇到一下三种场景: 无条件约束的优化问题 有等式约束的优化问题 有不等式 ...

  5. 机器学习之拉格朗日乘子法和 KKT

    有约束的最优化问题 最优化问题一般是指对于某一个函数而言,求解在其指定作用域上的全局最小值问题,一般分为以下三种情况(备注:以下几种方式求出来的解都有可能是局部极小值,只有当函数是凸函数的时候,才可以 ...

  6. 机器学习之常用优化方法(GD、牛顿、拟牛顿、拉格朗日乘子)

    写在前面,本文只记录了个人认为的关键点,仅供参考.更多细节请参考链接中文章 参考1:机器学习之常用优化方法 参考2:拉格朗日乘数法 梯度下降法 梯度下降法是最早最简单,也是最为常用的最优化方法.梯度下 ...

  7. 机器学习--支持向量机(二)拉格朗日乘子法详解

    上节我们从线性回归模型出发详细阐述了支持向量的来源,以及为什么需要寻找支持向量,如何找到这决策函数等问题,最后问题转化为下面的求最大值问题: 先说明一下分类就是如果:          则被分为    ...

  8. 拉格朗日乘子法、对偶、KTT

    拉格朗日乘子法.对偶.KTT 一般情况下,最优化问题分为三类 一. 无约束条件下的最优化问题 这种最优化问题比较简单,直接求导为0就可以得到. 二. 等式约束下的最优化问题 即除了目标函数之外,还有一 ...

  9. 拉格朗日乘子法和KTT条件

        这篇博文中直观上讲解了拉格朗日乘子法和 KKT 条件,对偶问题等内容.     首先从无约束的优化问题讲起,一般就是要使一个表达式取到最小值: minf(x)minf(x)     如果问题是 ...

最新文章

  1. 洛谷 P1218 [USACO1.5]特殊的质数肋骨 Superprime Rib
  2. 把握每天的第一个钟头
  3. Linux drm显示系统的两种方案
  4. Insufficient parameters supplied to the command
  5. python stm32-python学习(一)
  6. Python tips(
  7. JSON.stringify()还可以这么用
  8. 给定一个年份,判断这一年是不是闰年。
  9. EntityFramework Core表名原理解析,让我来,揭开你神秘的面纱
  10. 上传 jar 包到 nexus3、上传本地 jar 包到 maven 私服
  11. mysql+concat函数问题_Mysql5.7中使用group concat函数数据被截断的问题完美解决方法...
  12. ROS 教程之 navigation : 用 move_base 控制自己的机器人(1)
  13. 【后空翻机器人代码】斯坦福后空翻机器人设计、代码全开源,成本降至3000美元,人人皆可DIY|湾区人工智能...
  14. DSSM核心思想是把查询文本(query)和内容文本(doc)映射到同维度的语义空间中, 以最优化查询文本和内容文本的语义向量之间的余弦相似度为目的
  15. java菜鸟教程100_JAVA/JSP学习系列之一
  16. IIR滤波器和FIR滤波器
  17. 北京迎来首场降雪 正逢国内观赏雪景好去处
  18. 谷粒学院day9关于章节小节修改后无法添加的bug记录
  19. 拼多多分类ID搜索商品数据分析接口(商品列表数据,商品销量数据,商品详情数据)代码对接教程
  20. antd的联级选择器异步调用编辑回显_react-uplod-img 是一个基于 React antd组件的图片上传组件...

热门文章

  1. 几款常用压测工具介绍与使用
  2. 设计模式(一):接口隔离原则
  3. 高可用架构的设计方法
  4. 0 嵌入式-ARM简介
  5. python 字符串删除首尾空格
  6. 详谈气象站的功能区别
  7. python3.7,显卡CUDA版本11.1,安装pytorch-CUDA
  8. 阿里云个人域名备案流程
  9. jquery $.each(data, function (index, value) { }
  10. ANSYS Workbench远端位移边界条件的解析