最大似然参数估计的求解

前导知识：【最大似然参数估计的基本原理】

回顾一下似然函数公式：
l(θ)=ρ(X∣θ)=ρ(x1,x2,...,xN∣θ)=∏i=1Nρ(xi∣θ)(1)l(\theta)=\rho(X|\theta)=\rho(x_1,x_2,...,x_N|\theta)=\prod_{i=1}^{N} \rho(x_i|\theta) \tag 1 l(θ)=ρ(X∣θ)=ρ(x1,x2,...,xN∣θ)=i=1∏Nρ(xi∣θ)(1)
其中的函数形式ρ(⋅)\rho(·)ρ(⋅)是已知的，其中的xix_ixi也都是已知的，未知量只有θ\thetaθ。在似然函数满足连续、可微的条件下，如果θ\thetaθ是一维变量，即只有一个待估计参数，其最大似然估计量就是如下微分方程的解：
dl(θ)dθ=0(2)\frac{dl(\theta)}{d\theta} =0 \tag 2 dθdl(θ)=0(2)
或
dH(θ)dθ=0(3)\frac{dH(\theta)}{d\theta}=0 \tag 3 dθdH(θ)=0(3)
更一般地，当θ=[θ1,...,θs]T\theta=[\theta_1,...,\theta_s]^Tθ=[θ1,...,θs]T是由多个未知参数组成的向量时，求解似然函数的最大值就需要对θ\thetaθ的每一维分别求偏导，即用下面的梯度算子：
▽θ=[∂∂θ1,...,∂∂θn]T(4)\bigtriangledown_{\theta} = [\frac{\partial}{\partial \theta_1},...,\frac{\partial}{\partial \theta_n}]^T \tag 4 ▽θ=[∂θ1∂,...,∂θn∂]T(4)
来对似然函数或者对数似然函数求梯度并令其等于零：
▽θl(θ)=0(5)\bigtriangledown_{\theta} l(\theta) = 0 \tag 5 ▽θl(θ)=0(5)
或
▽θH(θ)=∑i=1N▽θln⁡ρ(xi∣θ)=0(6)\bigtriangledown_{\theta} H(\theta) = \sum_{i=1}^{N} \bigtriangledown_{\theta} \ln \rho(x_i|\theta) = 0 \tag 6 ▽θH(θ)=i=1∑N▽θlnρ(xi∣θ)=0(6)
得到sss个方程，方程组的解就是对数似然函数的极值点。

在某些情况下，似然函数可能有多个极值，此时上述方程组可能有多个解，其中使得似然函数最大的那个解才是最大似然估计量。

注意：
并不是所有的概率密度形式都可以用上面的方法求得最大似然估计。比如，一维随机变量xxx服从均匀分布：
ρ(x∣θ)={1θ2−θ1θ1<x<θ20其他(7)\rho(x|\theta) = \left\{ \begin{array}{cc} \frac{1}{\theta_2-\theta_1} & \theta_1 < x < \theta_2 \\ 0 & 其他 \end{array} \right . \tag 7 ρ(x∣θ)={θ2−θ110θ1<x<θ2其他(7)
其中分布的参数θ1\theta_1θ1、θ2\theta_2θ2未知。从总体分布中独立抽取了NNN个样本x1,x2,...,xNx_1,x_2,...,x_Nx1,x2,...,xN，则似然函数为：
l(θ)=ρ(X∣θ)={ρ(x1,x2,...,xN∣θ1,θ2)=1(θ2−θ1)Nθ1<x<θ20其他(8)l(\theta)=\rho(X|\theta)= \left\{ \begin{array}{cc} \rho(x_1,x_2,...,x_N|\theta_1,\theta_2)=\frac{1}{(\theta_2-\theta_1)^N} & \theta_1 < x < \theta_2 \\ 0 & 其他 \end{array} \right . \tag 8 l(θ)=ρ(X∣θ)={ρ(x1,x2,...,xN∣θ1,θ2)=(θ2−θ1)N10θ1<x<θ2其他(8)
对数似然函数为：
H(θ)=−Nln⁡(θ2−θ1)(9)H(\theta)=-N \ln (\theta_2-\theta_1) \tag 9 H(θ)=−Nln(θ2−θ1)(9)
通过式(6)(6)(6)求：
∂H∂θ1=N⋅1θ2−θ1∂H∂θ2=−N⋅1θ2−θ1(10)\frac{\partial H}{\partial \theta_1} = N · \frac{1}{\theta_2-\theta_1} \\ \frac{\partial H}{\partial \theta_2} = -N · \frac{1}{\theta_2-\theta_1} \tag {10} ∂θ1∂H=N⋅θ2−θ11∂θ2∂H=−N⋅θ2−θ11(10)
从上式解出的参数θ1\theta_1θ1和θ2\theta_2θ2至少有一个无穷大，这是无意义的结果。
造成这种情况的原因是似然函数在最大值的地方没有零斜率，所以必须换一种方法来求最大值。从(7)(7)(7)中可以看到，当θ2−θ1\theta_2-\theta_1θ2−θ1越小时，则似然函数越大。而在给定一个有观测值x1,x2,...,xNx_1,x_2,...,x_Nx1,x2,...,xN的样本集中，如果用xminx_{min}xmin表示观察值中最小的一个，用xmaxx_{max}xmax表示观察值中最大的一个，显然θ1≤xmin\theta_1 \leq x_{min}θ1≤xmin，θ2≥xmax\theta_2 \geq x_{max}θ2≥xmax，因此θ2−θ1\theta_2-\theta_1θ2−θ1的最小可能值是xmax−xminx_{max}-x_{min}xmax−xmin，这时θ\thetaθ的最大似然估计量是：
θ1^=xminθ2^=xmax(11)\hat{\theta_1} = x_{min} \\ \hat{\theta_2} = x_{max} \tag {11} θ1^=xminθ2^=xmax(11)

最大似然参数估计的求解相关推荐

相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) CNN:RCNN.SPPNet.Fast RCNN.Faste ...
四、极大似然参数估计
四.极大似然参数估计此篇博文,玉米将和大家分享一下"张氏标定"除几何推导外的另外一大精髓:参数估计. 张教授在大作"A Flexible New Technique f ...
python参数估计_最小二乘与最大似然参数估计及Python实现
最小二乘法曲线拟合参数估计: 简单起见,这里以一元线性回归为例进行介绍: 假设我们获取了一组样本点数据: 利用最小二乘法用多项式曲线拟合这组样本点: 1.设拟合多项式为: 2.样本点到该曲线的距离平方 ...
MATLAB中太赫兹时域光谱的最大似然参数估计
目录一.引言二.最大似然估计的基本原理三.MATLAB中的最大似然估计实现
正态分布下的最大似然估计
正态分布下的最大似然估计前导知识:[最大似然参数估计的求解] 本文仅以单变量正态分布情况下估计其均值和方差为例来说明最大似然估计的用法. 单变量正态分布的形式为: ρ(x∣θ)=12πσe−12(x ...
matlab求解helmholtz,MATLAB与科学计算（第2版）
第1章安装及使用前的准备1.1 MATLAB 6.x简介1.1.1 21世纪的科学计算语言1.1.2 MATLAB的发展历史1.1.3 MATLAB 6.x的新特点1.1.4 MATLA ...
机器学习（一）：模型的参数估计方法
机器学习(一):模型的参数估计方法前言: 之前在看李航的<统计学习方法>,思考的同时打算对于其中一些问题做一些总结和记录,希望以后再看的时候能够有更深入的理解. 文章目录机器学习( ...
基础：常见的参数估计方法——MLE和MAP
抽样.样本数据 -->观察数据趋势 -->选择模型 -->模型参数估计 -->假设检验类别名称核心函数求解目标点估计最小二乘法模型参数的误差平方和函数求偏导数, ...
数学知识——概率统计（8）统计推断之参数估计：极大似然估计和最大后验概率
目录 1. 统计推断概念问题表述小结参数估计抽样分布假设检验 2. 两大估计方法后面的学派概率的定义本质区别 3. 参数估计的思想 3.1 最大似然估计(MLE) 3.2 贝叶斯估计: ...
最大似然估计MLE与贝叶斯估计
项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步大学期间学习数理统计这门课程的时候,没 ...

最大似然参数估计的求解

最大似然参数估计的求解

最大似然参数估计的求解相关推荐

最新文章

热门文章