正态分布均值μ的极大似然估计推导

推导下述正态分布均值的极大似然估计和贝叶斯估计。
数据x1,x2,…,xn来自正态分布N(μ,σ2)，其中σ2已和。
(1)根据样本x1,…,xn写出μ的极大似然估计。
(2)假设μ的先验分布是正态分布N(0,τ2)，根据样本x1,…,xn写出μ的Bayes估计。
先求极大似然估计Maximum Likelyhood Estimation
贝叶斯Bayes估计推导见这我的这一篇博客。
正态分布的概率密度函数是

目标函数为

关于这个公式有必要解释一下。
（1）为什么是连乘？因为样本独立，所以联合概率为各样本单独的概率的乘积。
（2）为什么N个样本的概率是概率密度函数的连乘而不是概率的连乘？其实严格来说应该是概率（而不是密度）的乘积。这里做了一个简化。对于连续随机变量来说，某一点的概率都是0。我们讨论的随机变量等于某个值的概率其实是指取值在这个值的小领域ε的某个概率，当ε很小时，可近似认为：

由于2和ε都是常量，当在讨论联合分布概率的大小时，可忽略这2个值，可用密度函数代替概率。

可以看到极大似然估计就是n个样本的均值。

正态分布均值μ的极大似然估计推导相关推荐

西瓜书——极大似然估计和朴素贝叶斯
1.贝叶斯判定准则贝叶斯判定准则:为最小化风险,只需要在每个样本上选择那个能使条件风险R(c∣x)R(c|x)R(c∣x)最小的类别标记,即h∗(x)=argminc∈yR(c∣x)h^*(x) = ...
第一课.极大似然估计与有偏性无偏性
目录极大似然估计问题背景极大似然估计的计算方法参数估计的有偏性和无偏性极大似然估计问题背景以高斯分布引出问题,高斯分布的重要性体现于: 1.根据中心极限定理,当样本量足够大的时候,任意分 ...
正态分布均值μ的贝叶斯Bayes估计推导
前面一篇介绍了正态分布均值μ的极大似然估计MLE推导,这篇来介绍正态分布均值μ的贝叶斯Bayes估计推导. 数据x1,x2,-,xn来自正态分布N(μ,σ2),其中σ2已和. 假设μ的先验分布是正态分 ...
【南瓜书ML】(task2)线性模型的数学推导（最小二乘估计、广义瑞利商、极大似然估计等）
学习总结学习线性模型(线性回归,对数几率回归进行分类,线性判别分析LDA进行降维,多分类学习,类别不平衡问题中的采样or处理方法等). 对数几率回归里的联合概率最大等价于线性回归里的均方误差最小,最 ...
R语言作业一：矩估计、极大似然估计、拟合、对数正态分布、泊松分布、负二项分布
一.矩估计.极大似然估计.拟合.对数正态分布 ##导入数据 setwd("C:/Users/chang/Documents/SRM-PA/R简介/上课练习数据集") healthe ...
极大似然估计伯努利分布高斯分布正态分布
#极大似然估计伯努利分布高斯分布正态分布概率分布的参数能以最高的概率产生这些样本. 如果观察到的数据是 D1,D2,D3,...,DND_1, D_2, D_3, ... , D_ND1,D ...
机器学习算法（1）——贝叶斯估计与极大似然估计与EM算法之间的联系
极大似然估计在讲解极大似然估计前,需要先介绍贝叶斯分类: 贝叶斯决策: 首先来看贝叶斯分类,经典的贝叶斯公式: 其中:p(w)为先验概率,表示每种类别分布的概率:是条件概率,表示在某种类别前提下,某 ...
浅议极大似然估计（MLE）背后的思想原理
1. 概率思想与归纳思想 0x1:归纳推理思想所谓归纳推理思想,即是由某类事物的部分对象具有某些特征,推出该类事物的全部对象都具有这些特征的推理.抽象地来说,由个别事实概括出一般结论的推理称为归纳推 ...
一文看懂 “极大似然估计” 与 “最大后验估计” —— 极大似然估计篇
参考: 唐宇迪<人工智能数学基础>第8章 Richard O. Duda <模式分类>第三章白板机器学习 P2 - 频率派 vs 贝叶斯派频率学派还是贝叶斯学派?聊一聊机器 ...

正态分布均值μ的极大似然估计推导

正态分布均值μ的极大似然估计推导相关推荐

最新文章

热门文章