最大似然估计 高斯分布 正态分布
极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在1912年的文章中重新提出，并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。
最大似然估计法的基本思想
最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个 
作为真 
的估计。
我们分两种情进行分析：
1．离散型总体
设 
为离散型随机变量，其概率分布的形式为 
，则样本 
的概率分布为 
，在 
固定时，上式表示 
取值 
的概率；当 
固定时，它是 
的函数，我们把它记为 
并称
为似然函数。似然函数 
的值的大小意味着该样本值出现的可能性的大小。既然已经得到了样本值 
，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使 
达到最大值的那个 
作为真 
的估计。
2．连续型总体
设 
为连续型随机变量，其概率密度函数为 
则 
为从该总体抽出的样本。因为 
相互独立且同分布，于是，样本的联合概率密度函数为
，在 
是固定时，它是 
在
处的 密度，它的大小与 
落在 
附近的概率的大小成正比，而当样本值 
固定时，它是
的函数。我们仍把它记为 
并称
为似然函数。类似于刚才的讨论，我们选择使 
最大的那个 
作为真 
的估计。
总之，在有了试验结果即样本值 
时，似然函数 
反映了 
的各个不同值导出这个结果的可能性的大小。 我们选择使 
达到最大值的那个
作为真 
的估计。这种求点估计的方法就叫作最大似然法。
7.2.2 最大似然估计的求法
假定现在我们已经观测到一组样本 
要去估计未知参数 
。一种直观的想法是，哪一组能数值使现在的样本 
出现的可能性最大，哪一组参数可能就是真正的参数，我们就要用它作为参数的估计值。这里，假定我们有一组样本 
.如果对参数的两组不同的值 
和
，似然函数有如下关系
,
那么，从 
又是概率密度函数的角度来看，上式的意义就是参数 
使
出现的可能性比参数 
使 
出现的可能性大，当然参数 
比
更像是真正的参数.这样的分析就导致了参数估计的一种方法，即用使似然函数达到最大值的点
,作为未知参数的估计，这就是所谓的最大似然估计。 现在我们讨论求最大似然估计的具体方法.为简单起见，以下记 
,求θ的极大似然估计就归结为求 
的最大值点.由于对数函数是单调增函数，所以
(7.2.1)
与 
有相同的最大值点。而在许多情况下，求 
的最大值点比较简单，于是，我们就将求 
的最大值点改为求 
的最大值点.对 
关于 
求导数，并命其等于零，得到方程组
, 
(7.2.2)
称为似然方程组。解这个方程组，又能验证它是一个极大值点，则它必是 
，也就是 
的最大值点，即为所求的最大似然估计。大多常用的重要例子多属于这种情况。然而在一些情况下，问题比较复杂，似然方程组的解可能不唯一，这时就需要进一步判定哪一个是最大值点。
还需要指出，若函数 
关于 
的导数不存在时，我们就无法得到似然方程组 (7.2.2)，这时就必须根据最大似然估计的定义直接去 
的最大值点。
在一些情况下，我们需要估计 
。如果 
分别是 
的最大似然估计，则称 
为 
的最大似然估计。
下面我们举一些例子来说明求最大似然估计的方法。
例 7.2.1 设从正态总体 
抽出样本 
，这里未知参数为mm 
和 
（注意我们把 
看作一个参数）。似然函数为
= 
它的对数为
，
似然方程组为
由第一式解得
， (7.2.3)
代入第二式得
. (7.2.4)
似然方程组有唯一解( 
， 
)，而且它一定是最大值点，这是因为当 
或
或∞时，非负函数 
。于是 
和 
的最大似然估计为
， 
. (7.2.5)
这里，我们用大写字母表示所有涉及的样本，因为最大似然估计 
和 
都是统计量，离开了具体的一次试验或观测，它们都是随机的。
例7.2.2 设总体 
服从参数为的泊松分布，它的分布律为
，
有了样本 
之后，参数λ的似然函数为
，
似然方程为
，
解得
.
因为 
的二阶导数总是负值，可见，似然函数在 
处达到最大值。所以， 
是λ的最大似然估计。
例7.2.3 设总体 
为 
上的均匀分布，求 
的最大似然估计。
的概率密度函数为
对样本 
，
很显然，L(a，b)作为a和b的二元函数是不连续的。这时我们不能用似然方程组(7.2.2)来求最大似然估计，而必须从最大似然估计的定义出发，求L(a，b)的最大值。为使L(a，b)达到最大，b－a应该尽量地小，但b又不能小于 
，否则，L(a，b)=0。
类似地，a不能大过 
。因此，a和b的最大似然估计为
，
.
现在为止，我们以正态分布，泊松分布，均匀分布的参数以及事件发生的概率的估计为例子讨论了矩估计和最大似然估计。在我们所举的例子中，除了均匀分布外，两种估计都是一致的。矩估计的优点是简单，只需知道总体的矩，总体的分布形式不必知道。而最大似然估计则必须知道总体分布形式，并且在一般情况下，似然方程组的求解较复杂，往往需要在计算机上通过迭代运算才能计算出其近似解。
本文出处:http://bbs.sciencenet.cn/home.php?mod=space&uid=491809&do=blog&id=400893
最大似然估计 高斯分布 正态分布相关推荐
- 二维正态分布的最大似然估计_最大似然估计-高斯分布
前言:介绍了最简单的 问题 (这里都是玩具数据,为了方便理解才列出) 0123456789101112 X 1 2 3 4 4.2 4.4 4.6 4.8 5 6 7 8 y 0 0 0 0 1 1 ...
- 最大似然估计 高斯分布
极大似然估计法是求估计的另一种方法.它最早由高斯提出.后来为费歇在1912年的文章中重新提出,并且证明了这个方法的一些性质.极大似然估计这一名称也是费歇给的.这是一种上前仍然得到广泛应用的方法.它是建 ...
- 极大似然估计 伯努利分布 高斯分布 正态分布
#极大似然估计 伯努利分布 高斯分布 正态分布 概率分布的参数能以最高的概率产生这些样本. 如果观察到的数据是 D1,D2,D3,...,DND_1, D_2, D_3, ... , D_ND1,D ...
- 《机器学习笔记（三）：多元线性回归与正态分布最大似然估计》
回归问题普遍讨论的是多元线性回归,考虑多个特征可以得到更精确的模型,这其中涉及中心极限定理,正态分布,概率密度函数和最大似然估计. (一)背景--多元线性回归 1.概念 本质上就是算法(公式)变换为了 ...
- 回归算法 - 线性回归求解 θ（最大似然估计求解）
回顾线性回归的公式:θ是系数,X是特征,h(x) 是预测值. h(x) = θ0 + θ1x1 + θ2x2 + - + θnxn h(x) = Σ θixi( i=0~n ) h(x) = θTX ...
- 最大似然估计（MLE：样本观测总体参数）是如何工作的？
1. MLE的意义:样本估计总体分布参数 假定一个事件的观测样本服从如下分布,我们如何确定总体数据的分布模型? 首先应该想到是建立线性回归模型,然而由于该变量不是正态分布的,而且是不对称的,因此不符合 ...
- 最大似然估计和最大后验概率估计的理解与求解
1. 最大似然估计的理解 最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, ...
- 最大似然估计（MLE）和最大后验概率（MAP）
最近在研究概率估计,最大似然估计(MLE)和最大后验概率(MAP)都可以用于估计生成样本数据的概率分布. 但二者略有区别,进行一下分析: 最大似然估计(MLE,Maximum Likelihood E ...
- 从最大似然估计开始，你需要打下的机器学习基石
选自Medium 作者:Jonny Brooks-Bartlett 机器之心编译 概率论是机器学习与深度学习的基础知识,很多形式化的分析都是以概率的形式进行讨论.而这些讨论或多或少都离不开最大似然估计 ...
- 最大似然估计及估计量的无偏性
最大似然估计及估计量的无偏性 1 数理统计基本概念 1.1 总体 XXX 1.2 简单随机样本 1.3 统计量 1.4 样本均值与总体均值.样本方差与总体方差 2 最大似然估计 2.1 分布率与概率密 ...
最新文章
- 超级实用的linux 下shell快捷键汇总
- 《c语言从入门到精通》看书笔记——第5章 常用的数据输入输出函数
- Face Alignment by 3000 FPS系列学习总结（一）
- java double精确比较,Java float比double更精确？
- win32 ipv6 bind 10014问题
- the railway problem(the example of stack)
- String源码分析，中高级Java开发面试题
- oracle sqlldr原理,oracle sqlldr 参数说明
- JAVA定义矩形类 方法一
- oracle周数计算方法
- axure RP文件如何找回_Axure教程：显示隐藏-灯箱效果-下拉菜单的弹出效果
- Android JSON：Gson,FastJson解析库的使用和对比分析
- 数据库：MySQL Workbench如何连接远程数据库
- [转]RFC1867协议客户端实现
- SSD_Resnet 飞机与油桶数据集实战
- CSS的display:flex说明
- Ubuntu 20.04 Desktop 设置桌面图标大小、间距
- java面向对象知识点整理--用前人智慧，为后人铺路
- 如何“管理”自己的上级
- 【基础算法训练】—— 线性动态规划+位运算