杰森不等式（Jensen不等式）

函数fff为凸函数，那么存在下列不等式：
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x+(1-\theta)y)\le\theta f(x)+(1-\theta)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)

如果θ1,θ2,…,θk≥0\theta_1,\theta_2,\dots,\theta_k\ge0θ1,θ2,…,θk≥0，θ1+θ2+,…,+θk=1\theta_1+\theta_2+,\dots,+\theta_k=1θ1+θ2+,…,+θk=1，则：
f(θ1x1+θ2x2+⋯+θkxk)≤θ1f(x1)+θ2f(x2)+⋯+θkf(xk)f(\theta_1x_1+\theta_2x_2+\dots+\theta_kx_k)\le\theta_1f(x_1)+\theta_2f(x_2)+\dots+\theta_kf(x_k)f(θ1x1+θ2x2+⋯+θkxk)≤θ1f(x1)+θ2f(x2)+⋯+θkf(xk)

f(E(x))≤E(f(x))f(E(x))\le E(f(x))f(E(x))≤E(f(x))

数学基础-Jensen不等式相关推荐

深度学习/机器学习入门基础数学知识整理（五）：Jensen不等式简单理解，共轭函数
Jensen不等式及其延伸凸函数最基本的不等式性质,又称Jensen不等式[1] f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) ...
最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件
最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理对于任意两个向量a⃗,b⃗\vec{a ...
微积分中几个重要的不等式：Jensen不等式、平均值不等式、Holder不等式、Schwarz不等式、Minkovski不等式及其证明
目录一:几个重要不等式的形式 1,Jensen不等式 2,平均值不等式 3,一个重要的不等式 4,Holder不等式 5,Schwarz不等式和 Minkovski不等式二:不等式的证明 1 ...
2022刘仲文程聪孙迎迎--用Jensen不等式证明相对熵的非负性
学习内容:利用Jensen不等式证明相对熵的非负性,即: 相对熵的定义 Jensen不等式的内容第一次证明: 第一次证明是无效的,首先是因为Jensen不等式的公式构造有误,不等号右边应为,其次使用 ...
EM算法-Jensen不等式
凸函数定义: 设是定义在区间 = [a, b]上的实值函数.如果对于任意的和,下列式子成立,则称是上的凸函数. 如果上述不等式为小于,则为严格凸. 图示: [定理]Jensen不等式设是定义在区间 ...
Jensen不等式(琴生不等式)
每次用的时候都得查,所以索性之际记录一下注意凸函数的定义,上凸.下凸.凹.凸的含义是不同的 1.定义 Jensen不等式,又名琴森不等式或詹森不等式(均为音译).它是一个在描述积分的凸函数值和凸函数 ...
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用 1 Lyapunov-Krasovskii泛函举例 2 Jensen不等式 3 倒凸组合引理 3.1 倒数凸组合定义 ...
Jensen不等式、数值积分的变分界、KL散度
Jensen不等式: Jensen's inequality 变分界:Variational bounding KL散度:KL-divergence Jesen不等式如果fff是凸函数,则对于随机变 ...
Jensen不等式及其详细证明——Emmm...?Emmm...! EM算法(1)
Emmm...?Emmm...?Emmm...? Emmm...!Emmm...!Emmm...! 接下来的几篇博客,我们来聊聊传说中的EM算法接下来的几篇博客,我们来聊聊传说中的EM算法接下来的几篇 ...

数学基础-Jensen不等式

杰森不等式（Jensen不等式）

数学基础-Jensen不等式相关推荐

最新文章

热门文章