极大似然估计求解多项式分布参数

本文作者：合肥工业大学管理学院钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。

未经本人允许禁止转载。
#原因
今天晚上，老师在看LDA数学八卦的时候，问我一个问题，如下图所示：

这个多项式分布的参数，采用极大估计是怎么求的呢?当时想了想还真不知道，于是在网上找了资料，学习了一下，特此记录。

#公式推导
很多情况下，假定一个变量XXX有kkk个状态，其中k>2k>2k>2,每个状态假定的可能性为p1,p2,⋯ ,pkp_{1},p_{2},\cdots ,p_{k}p1,p2,⋯,pk，且∑i=1kpi=1\sum _{i=1}^{k}p_{i}=1∑i=1kpi=1,独立进行nnn次实验，用n1,n2,⋯ ,nkn_{1},n_{2},\cdots ,n_{k}n1,n2,⋯,nk表示每个状态发生的次数，发生的次数服从多项式分布：
p(n1,n2,⋯ ,nk∣p1,p2,⋯ ,pk)=n!∏i=1kni!∏i=1kpinip\left ( n_{1},n_{2},\cdots ,n_{k}|p_{1},p_{2},\cdots ,p_{k} \right )=\frac{n!}{\prod _{i=1}^{k}n_{i}!}\prod _{i=1}^{k}p_{i}^{n_{i}}p(n1,n2,⋯,nk∣p1,p2,⋯,pk)=∏i=1kni!n!i=1∏kpini

下面采用极大似然求解：

L(p1,p2,⋯ ,pk)=log(n!∏i=1kni!∏i=1kpini)L\left ( p_{1},p_{2},\cdots ,p_{k} \right )=log\left (\frac{n!}{\prod _{i=1}^{k}n_{i}!}\prod _{i=1}^{k}p_{i}^{n_{i}} \right )L(p1,p2,⋯,pk)=log(∏i=1kni!n!i=1∏kpini)
=log(n!)−∑i=1klognk!+∑i=1klogpk=log\left ( n! \right )-\sum _{i=1}^{k}logn_{k}!+\sum _{i=1}^{k}logp_{k}=log(n!)−i=1∑klognk!+i=1∑klogpk

对于有约束条件的极值求解问题可使用拉格朗日乘法：
Lagrange(p1,p2,⋯ ,pk,λ)=L(p1,p2,⋯ ,pk)−λ(∑i=1kpi−1)Lagrange\left ( p_{1},p_{2},\cdots ,p_{k},\lambda \right )=L\left ( p_{1},p_{2},\cdots ,p_{k} \right )-\lambda\left ( \sum _{i=1}^{k}p_{i}-1 \right ) Lagrange(p1,p2,⋯,pk,λ)=L(p1,p2,⋯,pk)−λ(i=1∑kpi−1)

求导(计算梯度)：
∂Lagrange(p1,p2,⋯ ,pk,λ)∂pi=nipi−λ\frac{\partial Lagrange\left ( p_{1},p_{2},\cdots ,p_{k},\lambda \right )}{\partial p_{i}}=\frac{n_{i}}{p_{i} }-\lambda∂pi∂Lagrange(p1,p2,⋯,pk,λ)=pini−λ

进而有：
pi=niλp_{i}=\frac{n_{i}}{\lambda }pi=λni

由于
∑i=1kniλ=1\sum _{i=1}^{k}\frac{n_{i}}{\lambda }=1i=1∑kλni=1

得到：
λ=n\lambda=nλ=n

进而有：
pi^=nin\hat{p_{i}}=\frac{n_{i}}{n}pi^=nni

极大似然估计求解多项式分布参数相关推荐

python机器学习案例系列教程——极大似然估计、EM算法
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程极大似然极大似然(Maximum Likelihood)估计为用于已知模型的参数估计的统计学方法. 也就是求使得似然函数最大的代估参 ...
极大似然函数求解_关于极大似然估计的学习（附Matlab中mle函数的求解）
冒泡~是新的一周辣~温故而知新一下极大似然估计(真是很不容易了) 极大似然估计的基本思想什么是极大似然?官方上的较清楚的解释是:利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果 ...
极大似然函数求解_概率与数理统计--极大似然估计详细讲解及例题.ppt
概率与数理统计--极大似然估计详细讲解及例题极大似然估计二.寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 -- 这里我们主要介绍第二两种方法 . 2. 极 ...
极大似然函数求解_概率论中极大似然估计中的似然函数怎么确定就是L（X;θ）...
展开全部离散型场合的似然函数就是样本取给定的那组观测值的概率(可以由总636f707962616964757a686964616f31333431353330体的分布列直接写出). 连续型场合的似 ...
极大似然估计用计算机求解,极值分布的极大似然估计及计算机实现 - read.pdf
极值分布的极大似然估计及计算机实现 - read 维普资讯第3()卷第 6期河北师范大学学报 (自然科学版) V(l3()N0．6 21)1)6年 11月 JournalofHel,elNorm ...
3.2 参数估计：极大似然估计方法 ML
3.2 极大似然估计方法 ML 极大似然估计方法是高斯提出,并利用该技术获得测量误差满足高斯分布的结论.假设随机变量满足概率密度函数 p(x∣θ)p(x|\mathbf{\theta})p(x∣θ), ...
机器学习算法（1）——贝叶斯估计与极大似然估计与EM算法之间的联系
极大似然估计在讲解极大似然估计前,需要先介绍贝叶斯分类: 贝叶斯决策: 首先来看贝叶斯分类,经典的贝叶斯公式: 其中:p(w)为先验概率,表示每种类别分布的概率:是条件概率,表示在某种类别前提下,某 ...
浅议极大似然估计（MLE）背后的思想原理
1. 概率思想与归纳思想 0x1:归纳推理思想所谓归纳推理思想,即是由某类事物的部分对象具有某些特征,推出该类事物的全部对象都具有这些特征的推理.抽象地来说,由个别事实概括出一般结论的推理称为归纳推 ...
相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) CNN:RCNN.SPPNet.Fast RCNN.Faste ...

极大似然估计求解多项式分布参数

极大似然估计求解多项式分布参数相关推荐

最新文章

热门文章