均匀分布（uniform distribution）期望的最大似然估计（maximum likelihood estimation）

maximum estimator method more known as MLE of a uniform distribution

[0,θ][0, \theta] 区间上的均匀分布为例，独立同分布地采样样本 x1,x2,…,xnx_1, x_2, \ldots, x_n，我们知均匀分布的期望为：θ2\frac\theta2。

首先我们来看，如何通过最大似然估计的形式估计均匀分布的期望。均匀分布的概率密度函数为：f(x|θ)=1θ,0≤x≤θf(x|\theta)=\frac1{\theta}, 0\le x\le \theta。不失一般性地，将 x1,x2,…,xnx_1, x_2,\ldots,x_n 排序为顺序统计量：x(1)≤x(2)≤⋯≤x(n)x_{(1)}\leq x_{(2)}\leq \cdots \leq x_{(n)}。则根据似然函数定义，在此样本集合上的似然函数为：

L(θ|x)=∏i=1n1θ=θ−n(∗)

L\left(\theta|{\bf x}\right) = \prod^n_{i=1}\frac{1}{\theta}=\theta^{-n}\,\,\,\,\,(*)

对 x(1)≥0,x(n)≤θx_{(1)}\geq 0, x_{(n)}\leq \theta，否则为 0。然后求其对数形式关于 θ\theta 的导数：

dlnL(θ|x)dθ=−nθ<0.

\frac{\text{d}\ln L\left(\theta|{\bf x}\right)}{\text{d}\theta}=-\frac{n}{\theta}

导数小于 0，因此可以说 L(x|θ)L(x|\theta) 是单调减函数 θ≥x(n)\theta\geq x_{(n)}，因此当 θ=x(n)\theta=x_{(n)}（θ\theta 能取到的最小值），也即 θ=max{x1,x2,…,xn}\theta=\max\{x_1, x_2, \ldots, x_n\} 时，L(x|θ)L(x|\theta) 值最大，则关于 θ\theta 的最大似然估计为：

θ^=x(n)=max{x1,x2,…,xn}

\hat \theta=x_{(n)}=\max\{x_1, x_2, \ldots, x_n\}

均匀分布（uniform distribution）期望的最大似然估计（maximum likelihood estimation）相关推荐

最大似然估计(Maximum likelihood estimation)(通过例子理解)
之前看书上的一直不理解到底什么是似然,最后还是查了好几篇文章后才明白,现在我来总结一下吧,要想看懂最大似然估计,首先我们要理解什么是似然,不然对我来说不理解似然,我就一直在困惑最大似然估计到底要求的是 ...
最大似然估计(Maximum likelihood estimation）
最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:"模型已定,参数未知",利用已知样本结果(统计概率)反推最有可能导致这样结果的参数值.简单而言,假设我们要统计全国人口的 ...
极大似然估计 —— Maximum Likelihood Estimation
1 引入机器学习中,经常会遇到极大似然估计 (Maximum Likelihood Estimation, MLE) 这个名词,它的含义是什么?它能够解决什么问题?我们该如何理解并使用它?本篇就对此 ...
【机器学习算法-python实现】最大似然估计(Maximum Likelihood)
1.背景最大似然估计是概率论中常常涉及到的一种统计方法.大体的思想是,在知道概率密度f的前提下,我们进行一次采样,就可以根据f来计算这个采样实现的可能性.当然最大似然可以有很多变化,这里实现一种简单 ...
最大似然估计(Maximum Likehood Estimation，MLE)和最大后验估计(Maximum A Posteriori estimation， MAP)
概率与统计的区别概率研究的问题是一个模型和它的参数已知的情况下,怎么去预测这个模型产生的结果的特性(如均值,方差,协方差等) 统计研究的问题是在已有的大量的数据的情况下,推断产生这堆数据的模型及其参 ...
机器学习概念：最大后验概率估计与最大似然估计（Maximum posterior probability and maximum likelihood estimation)
joey 周琦假设有参数θ\theta, 观测x\mathbf{x}, 设f(x|θ)f(x|\theta)是变量xx的采样分布,θ\theta是其中的参数.那么θ\theta的最大似然估计可以表示 ...
极大似然估计(Maximum Likelihood)与无监督
1. 极大似然与最大概率因为不是科班出身,所以最初接触极大似然的时候,总是很奇怪为什么叫极大似然,而不直接叫做最大概率? 后来才知道极大似然是用来估计未知参数的,而最大概率的表述更适合于已知参数的情 ...
极大似然估计Maximum Likelihood Estimation
极大似然估计是概率论在统计学的应用,是一种参数估计.说的是已知随机样本满足某种具体参数未知的概率分布,参数估计就是通过若干次试验,利用结果推出参数的大概值.极大似然估计的一种直观想法是已知某个事件发生 ...
极大似然估计（Maximum likelihood estimation，MLE）：用样本估计总体参数
1 基本概念回顾边缘概率.联合概率和条件概率的基本概念. 1.1 定义边缘概率(Marginal Probability):可以简单理解为单一事件发生的概率.如果A是一个事件,且事件A发生的概率为 ...

均匀分布（uniform distribution）期望的最大似然估计（maximum likelihood estimation）

均匀分布（uniform distribution）期望的最大似然估计（maximum likelihood estimation）相关推荐

最新文章

热门文章