Jensen不等式及其扩展
最初的Jensen不等式:
f(x+y2)≤f(x)+f(y)2f(\frac{x+y}{2})\leq\frac{f(x)+f(y)}{2} f(2x+y)≤2f(x)+f(y)
也可表示为:
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x+(1-\theta)y)\leq \theta f(x)+(1-\theta)f(y) f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
Jensen不等式扩展:
1、线性组合:f(θ1x1+...+θkxk)≤θ1f(x1)+...θkf(xk)f(\theta_1x_1+...+\theta_k x_k)\leq \theta_1f(x_1)+...\theta_k f(x_k)f(θ1x1+...+θkxk)≤θ1f(x1)+...θkf(xk)
2、积分:f(∫Sp(x)xdx)≤∫Sf(x)p(x)dxf(\int_S p(x)xdx)\leq\int_S f(x)p(x)dxf(∫Sp(x)xdx)≤∫Sf(x)p(x)dx
3、期望:f(Ex)≤Ef(x)f(\mathrm{E}x)\leq\mathrm{E}f(x)f(Ex)≤Ef(x)
Holder不等式
对于p>1,1p+1q=1p>1,\frac{1}{p}+\frac{1}{q}=1p>1,p1+q1=1,以及x,y∈Rnx,y\in \mathbb{R^{n}}x,y∈Rn,有
∑i=1nxiyi≤(∑i=1n∣xi∣p)1p(∑i=1n∣yi∣q)1q\sum^{n}_{i=1}x_iy_i\leq(\sum^{n}_{i=1}|x_i|^{p})^{\frac{1}{p}} (\sum^{n}_{i=1}|y_i|^{q})^{\frac{1}{q}} i=1∑nxiyi≤(i=1∑n∣xi∣p)p1(i=1∑n∣yi∣q)q1
Jensen不等式及其扩展相关推荐
- 最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件
最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理 对于任意两个向量a⃗,b⃗\vec{a ...
- 深度学习/机器学习入门基础数学知识整理(五):Jensen不等式简单理解,共轭函数
Jensen不等式及其延伸 凸函数最基本的不等式性质,又称Jensen不等式[1] f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) ...
- 微积分中几个重要的不等式:Jensen不等式、平均值不等式、Holder不等式、Schwarz不等式、Minkovski不等式 及其证明
目录 一:几个重要不等式的形式 1,Jensen不等式 2,平均值不等式 3,一个重要的不等式 4,Holder不等式 5,Schwarz不等式 和 Minkovski不等式 二:不等式的证明 1 ...
- 2022刘仲文程聪孙迎迎--用Jensen不等式证明相对熵的非负性
学习内容:利用Jensen不等式证明相对熵的非负性,即: 相对熵的定义 Jensen不等式的内容 第一次证明: 第一次证明是无效的,首先是因为Jensen不等式的公式构造有误,不等号右边应为,其次使用 ...
- EM算法-Jensen不等式
凸函数定义: 设是定义在区间 = [a, b]上的实值函数.如果对于任意的和,下列式子成立,则称是上的凸函数. 如果上述不等式为小于,则为严格凸. 图示: [定理]Jensen不等式 设是定义在区间 ...
- Jensen不等式(琴生不等式)
每次用的时候都得查,所以索性之际记录一下 注意凸函数的定义,上凸.下凸.凹.凸的含义是不同的 1.定义 Jensen不等式,又名琴森不等式或詹森不等式(均为音译).它是一个在描述积分的凸函数值和凸函数 ...
- Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用 1 Lyapunov-Krasovskii泛函举例 2 Jensen不等式 3 倒凸组合引理 3.1 倒数凸组合定义 ...
- Jensen不等式、数值积分的变分界、KL散度
Jensen不等式: Jensen's inequality 变分界:Variational bounding KL散度:KL-divergence Jesen不等式 如果fff是凸函数,则对于随机变 ...
- 数学基础-Jensen不等式
杰森不等式(Jensen不等式) 函数fff为凸函数,那么存在下列不等式: f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x+(1-\theta)y)\le\theta f ...
- Jensen不等式及其详细证明——Emmm...?Emmm...! EM算法(1)
Emmm...?Emmm...?Emmm...? Emmm...!Emmm...!Emmm...! 接下来的几篇博客,我们来聊聊传说中的EM算法接下来的几篇博客,我们来聊聊传说中的EM算法接下来的几篇 ...
最新文章
- python获取当前窗口句柄_人生苦短,我学python之python+selenium 多窗口、句柄(handle)...
- python代码测试工具模块_详解Python中的测试工具
- 面向对象编程起步——神来之笔
- CUDA 多GPU调用实现
- python剔除异常值的方法_二维d异常值的剔除方法
- python 上传文件到服务器(模拟网页前端上传)
- 2020计算机应用模拟题,2020年函授本科计算机应用基础课后作业、模拟题及答案...
- qt drawline 线类型
- Word怎么在空白处添加下划线
- linux内核空间和用户空间认识和区别
- 拦截召唤神龙云文件,运行本地文件(侵删)
- vuepress引入外部组件后build报错window is not defined
- win10计算机图标怎么放桌面壁纸,图解win7、win10创意电脑桌面图标摆放的方法
- 键盘与电脑识别问题?
- 先验概率、后验概率、似然估计三者的区别与联系
- 用Kali破解WiFi密码——以攻为守,发现自己网络的破绽,提升安全性
- 【尊享版】如何从零到一掌控习惯?
- 英飞凌单片机--GTM(Generic Timer Module)
- 小米盒子投屏+android,小米盒子投屏神器
- Antd RangePicker 时间日期选择器 禁用当前时间往后的日期及现在时间往后的时分秒禁选