最大似然函数，琴生不等式

2024-04-04 02:18:50

1.最大似然函数定义

Y={y1,y2,…yn}
p(y1,y2,…yn)=p(y1)p(y2)…p(yn)
即y1,y2,…yn为独立同分布

似然函数：
likelihood=∏j=1Np(yi)\prod_{j=1}^{N}p(y_i)∏j=1Np(yi)
Lδ=∏j=1Npδ(yi)L_\delta=\prod_{j=1}^{N}p_\delta(y_i)Lδ=∏j=1Npδ(yi)
Lδ=∏pδ(yj)=∏j=1N∑zpδ(yj∣z)pδ(z)L_\delta=\prod p_{\delta}(y_j)=\prod_{j=1}^{N}\sum_zp_{\delta}(y_j|z)p_{\delta}(z)Lδ=∏pδ(yj)=∏j=1N∑zpδ(yj∣z)pδ(z)
lnL=∑j=1Nln∑zpδ(yi∣z)pδ(z)lnL=\sum_{j=1}^{N}ln\sum_zp_{\delta}(y_i|z)p_{\delta}(z)lnL=∑j=1Nln∑zpδ(yi∣z)pδ(z)
对数中有加和项时难以求到解析解，只能求得近似最优解。

2.琴生不等式

凹函数：
f(12(x1+x2))≥12(f(x1)+f(x2))f(\frac{1}{2}(x_1+x_2))\geq \frac{1}{2}(f(x_1)+f(x_2))f(21(x1+x2))≥21(f(x1)+f(x2))
f(∑wixi)≥wif(xi)f(\sum w_ix_i)\geq w_if(x_i)f(∑wixi)≥wif(xi)
f(Ex)≥E(f(x))f(Ex)\geq E(f(x))f(Ex)≥E(f(x))

凸函数：
f(12(x1+x2))≤12(f(x1)+f(x2))f(\frac{1}{2}(x_1+x_2))\leq \frac{1}{2}(f(x_1)+f(x_2))f(21(x1+x2))≤21(f(x1)+f(x2))
KaTeX parse error: Expected 'EOF', got '\l' at position 15: f(\sum w_ix_i)\̲l̲ ̲eq w_if(x_i)
f(Ex)≤E(f(x))f(Ex)\leq E(f(x))f(Ex)≤E(f(x))

3.根据琴生不等式可以求解最大似然函数。

最大似然函数，琴生不等式相关推荐

琴生不等式一般形式_[学习笔记]常用不等式
1. 命题左边等号成立当且仅当 ,右边等号成立当且仅当 . 2. 命题等号成立当且仅当 . 3.命题两边等号成立均当且仅当 . 4.命题两边等号成立均当且仅当 . 推论 5. 命题 6. 不等 ...
琴生不等式（Jensen Inequality）
目录不同表述形式有限形式测度与概率形式在概率论中的广义形式不等式证明有限形式测度和概率形式概率论中的广义形式不等式应用在概率密度函数中的形式随机变量的偶次矩其他有限形式统计物 ...
【数学】凸函数与詹森不等式（琴生不等式）解析
[数学]凸函数与詹森不等式(琴生不等式) 文章目录 [数学]凸函数与詹森不等式(琴生不等式) 1 凸函数和凹函数 2 琴生不等式(詹森不等式) 1 凸函数和凹函数下凸函数(凸函数),从几何意义上看, ...
琴生不等式一般形式_001.二次函数、方程和不等式知识点
学法指导:本专题讲授不等式内容,这部分内容是学生的难点,为此有几点说明: 1.把握好学习的难度.按教材内不等式部分展现的内容看,它很简单,但学过的知道,这部分内容很难,直白的讲,它要多难就有多难,当然 ...
Jensen不等式(琴生不等式)
每次用的时候都得查,所以索性之际记录一下注意凸函数的定义,上凸.下凸.凹.凸的含义是不同的 1.定义 Jensen不等式,又名琴森不等式或詹森不等式(均为音译).它是一个在描述积分的凸函数值和凸函数 ...
不等号属于不等式吗_什么是不等式
不等式() 用不等号将2个剖析式连结起來所成的式子.比如2x+2y≥2xy,sinx≤1,ex> 0 ,2x<3等 . 依据剖析式的归类也可对不等式归类,不等号两侧的剖析式都是代数式的不等 ...
【考研数学】一文搞定不等式
1.不等式的基本性质 2.几个重要不等式基本不等式是解决函数值域.最值.不等式证明.参数范围问题的有效工具,在高考中经常考查,有时也会对其单独考查．题目难度为中等偏上．应用时,要注意"拆. ...
EM算法讲推导原理讲的懂了的，表达清晰易懂的, 收藏cnblog上的大牛的
博客1长于理论推导 https://zhuanlan.zhihu.com/p/149810914 EM算法的十重境界 https://www.zhihu.com/question/40797593/a ...
西瓜书——EM算法（一）
1. EM算法的引入 1.1 为什么需要EM算法概率模型有时既含有观测变量,又含有隐变量或者潜在变量.如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或者贝叶斯估计法估计模型 ...
统计学习方法9—EM算法
EM算法是一种迭代算法,是一种用于计算包含隐变量概率模型的最大似然估计方法,或极大后验概率.EM即expectation maximization,期望最大化算法. 1. 极大似然估计在概率 ...

最新文章

热门文章