极大似然估计与贝叶斯估计的比较

极大似然估计

已知某个随机样本 $(x_{1},x_{2},...,x_{n})$ 符合某种概率分布，但是其中某个具体参数 $\theta$ 不清楚，通过极大似然估计得到 $\widehat{\theta }$ ，该 $\widehat{\theta }$ 使这个随机样本出现的概率最大。

一般步骤

1.写出似然函数： $L(\theta _{i})=\prod_{i=1}^{N}f(x_{i},\theta _{1},\theta _{2},...,\theta _{n})$

2.对似然函数取对数： $lnL(\theta _{i})$

3.对 $\theta _{i}$ 求偏导数： $\frac{\partial }{\partial \theta _{i}}lnL(\theta )$

4.解似然方程组： $\frac{\partial }{\partial \theta _{i}}lnL(\theta )=0$

例题

推导下述正态分布均值 $\mu$ 的极大似然估计，数据 $x_{1},...,x_{n}$ 来自正态分布 $N(\mu ,\sigma ^{2})$ ，其中 $\sigma ^{2}$ 已知。根据样本 $x_{1},...,x_{n}$ 写出 $\mu$ 的极大似然估计。

正态分布概率密度函数： $f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu )^{2}}{2\sigma ^{2}})$

第一步，写出似然函数：

$L(\mu )=\prod_{i=1}^{n}f(x_{i},\mu )=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_{i}-\mu )^{2}}{2\sigma ^{2}})$

第二步，对似然函数取对数：

$lnL(\mu )=-nln(\sqrt{2\pi }\sigma )-\frac{1}{2\sigma ^{2}}\sum_{i=1}^{n}(x_{i}-\mu )^{2}$

第三步，对 $\mu$ 求偏导数：

$\frac{\partial }{\partial \mu }lnL(\mu )=-\frac{1}{\sigma ^{2}}\sum_{i=1}^{n}(x_{i}-\mu )$

第四步，解似然方程组：

$\frac{\partial }{\partial \mu }lnL(\mu )=0\Rightarrow \widehat{\mu }=\frac{1}{n}\sum_{i=1}^{n}x_{i}=\overline{x}$

极大似然估计与贝叶斯估计的区别

问题：已知数据集D服从概率分布P，P中 $\theta$ 参数未知。

极大似然估计：

未知参数 $\theta$ 是一个定值。
目标：未知参数 $\theta$ 使得数据集 $D(x_{1},x_{2},...,x_{n})$ 发生的概率最大。 $maxP(D|\theta )$

贝叶斯估计：

未知参数 $\theta$ 本身服从一定的概率分布。
目标：数据集 $D(x_{1},x_{2},...,x_{n})$ 发生的情况下，哪一个 $\theta$ 发生的概率最大。 $maxP(\theta|D )$

贝叶斯估计

一般步骤

1.写出 $L(\theta )=P(\theta |D)$ ： $P(\theta |D)=\frac{P(D|\theta )P(\theta )}{P(D)}$

2.取对数： $lnL(\theta _{i})$

3.对 $\theta _{i}$ 求偏导数： $\frac{\partial }{\partial \theta _{i}}lnL(\theta )$

4.解方程组： $\frac{\partial }{\partial \theta _{i}}lnL(\theta )=0$

例题

推导下述正态分布均值 $\mu$ 的贝叶斯估计，数据 $x_{1},...,x_{n}$ 来自正态分布 $N(\mu ,\sigma ^{2})$ ，其中 $\sigma ^{2}$ 已知。假设 $\mu$ 的先验分布是正态分布 $N(0,\tau ^{2})$ ，根据样本 $x_{1},...,x_{n}$ 写出 $\mu$ 的极大似然估计。

正态分布概率密度函数： $f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu )^{2}}{2\sigma ^{2}})$

第一步，写出 $L(\mu )=P(\mu |D)$ :

$P(\mu |x_{1},x_{2},...,x_{n})=\frac{P(\mu ,x_{1},x_{2},...,x_{n})}{P(x_{1},x_{2},...,x_{n})}=\frac{P(\mu )P(x_{1},x_{2},...,x_{n}|\mu )}{P(x_{1},x_{2},...,x_{n})}=\frac{P(\mu )P(x_{1}|\mu )...P(x_{n }|\mu )}{\int P(\mu ,x_{1},x_{2},...,x_{n})d\mu }$

$=k\frac{1}{\sqrt{2\pi }\tau }exp(-\frac{\mu ^{2}}{2\tau ^{2}})\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_{i}-\mu ) ^{2}}{2\sigma ^{2}})$ （分母与 $\mu$ 无关，可不考虑）

第二步，取对数：

$lnP(\mu |x_{1},x_{2},...,x_{n})=k-\frac{\mu ^{2}}{2\tau ^{2}}+\sum_{i=1}^{n}(-\frac{(x_{i}-\mu ) ^{2}}{2\sigma ^{2}})$

第三步，求导：

$\frac{\partial }{\partial \mu }lnP(\mu |x_{1},x_{2},...,x_{n})=-\frac{\mu }{\tau ^{2}}+\sum_{i=1}^{n}\frac{x_{i}-\mu }{\sigma ^{2}}$

第四步，解方程组

$-\frac{\mu }{\tau ^{2}}+\sum_{i=1}^{n}\frac{x_{i}-\mu }{\sigma ^{2}}=0\Rightarrow \widehat{\mu }=\frac{\sum_{i=1}^{n}x_{i}}{n+\frac{\sigma ^{2}}{\tau ^{2}}}$

极大似然估计与贝叶斯估计的比较相关推荐

极大似然估计和贝叶斯估计
极大似然估计和贝叶斯估计在掷硬币实验中估计出现正面向上的概率为θ\thetaθ,通过一系列的实验就可以得到n个观测结果,把每个观测结果都用一个随机变量xix_ixi进行表示,如果抛掷的硬币正面向上 ...
极大似然估计_一文读懂矩估计，极大似然估计和贝叶斯估计
概率论和数理统计是机器学习重要的数学基础. 概率论的核心是已知分布求概率,数理统计则是已知样本估整体. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 数理统计最常见的 ...
一文读懂矩估计、极大似然估计和贝叶斯估计
概率论和数理统计是机器学习重要的数学基础. 概率论的核心是已知分布求概率,数理统计则是已知样本估整体. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 数理统计最常见的 ...
参数估计——极大似然估计与贝叶斯估计
极大似然估计与贝叶斯估计的理解 1 参数估计 2 极大似然估计(MLE) 3 贝叶斯估计 4 极大验后估计(MAP) 参考 1 参数估计参数估计(Parameter Estimation)是根据从总 ...
机器学习: 简单讲极大似然估计和贝叶斯估计、最大后验估计
一.前言我在概率论:参数估计里面提到了极大似然估计,不熟悉的可以看一下,本文重点介绍后两者估计方法. 在这里两种估计方法估计的是什么?我们使用一个较为泛化的问题表示: 考虑这样一个问题:总体X的概率 ...
正态分布均值μ的极大似然估计推导
推导下述正态分布均值的极大似然估计和贝叶斯估计. 数据x1,x2,-,xn来自正态分布N(μ,σ2),其中σ2已和. (1)根据样本x1,-,xn写出μ的极大似然估计. (2)假设μ的先验分布是正态分 ...
参数估计—最大似然估计与贝叶斯估计
文章目录一参数估计二最大似然估计 2.1 参数分量 2.2 基本原理 2.3 高斯情况 2.3.1 协方差矩阵Σ\SigmaΣ已知,而均值μ\muμ未知 2.3.2 协方差矩阵Σ\SigmaΣ ...
机器学习算法（1）——贝叶斯估计与极大似然估计与EM算法之间的联系
极大似然估计在讲解极大似然估计前,需要先介绍贝叶斯分类: 贝叶斯决策: 首先来看贝叶斯分类,经典的贝叶斯公式: 其中:p(w)为先验概率,表示每种类别分布的概率:是条件概率,表示在某种类别前提下,某 ...
贝叶斯估计和极大似然估计到底有何区别
前言:原创不易,转载请告知并注明出处!微信搜索[机器学习与自然语言处理]公众号,定期发布知识图谱,自然语言处理.机器学习等知识,添加微信号[17865190919]进讨论群,加好友时备注来自CSDN. ...
人工智能科普｜极大似然估计——机器学习重要知识点
https://www.toutiao.com/a6649579620909711879/ 2019-01-23 14:45:03 经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我" ...

极大似然估计与贝叶斯估计的比较

极大似然估计

极大似然估计与贝叶斯估计的区别

贝叶斯估计

极大似然估计与贝叶斯估计的比较相关推荐

最新文章

热门文章