极大似然估计方法（Maximum Likelihood Estimate Method）
定义
极大似然估计方法（Maximum Likelihood Estimate，MLE）也称最大概似估计或最大似然估计： 利用已知的样本结果，反推最有可能（最大概率）导致这样的结果的参数值。
思想：已经拿到很多个样本，这些样本值已实现，最大似然估计就是找参数估计值，使得前面已经实现的样本值发生概率最大。
本质：其是一种概率论在统计学的应用，是参数估计的方法之一；其是一种粗略的数学期望，要知道它的误差大小还要做区间估计。
#针对情况
针对一些情况：样本太多，无法得出分布的参数值，可以通过采样小样本后，利用极大似然估计方法获取假设中分布的参数值。
步骤
（1）写出似然函数：
总体为离散型时：
总体为连续型时：
（2）对似然函数两边取对数
总体为离散型时：
总体为连续型时：
(3)对lnL(θ)求导数并令之为0，求出未知参数的最大似然估计值（极值）:
 此方程为对数似然方程。解对数似然方程所得，即为未知参数 的最大似然估计值。
注：一阶的微分和可导可近似；取ln是因为对数比较方便求导。
#例子
例一
一个麻袋里面有白球和黑球，不知道它们之间的数量比例，有放回的抽取10次，结果为：8次黑球和2次白球，我需求最有可能的黑白球之间的比例，这时候可采取最大似然估计法。
很多人马上有了答案：80%，其背后的理论支撑是什么？
设：抽到黑球的概率为p，则白球的概率为1-p。因为每次抽出求的颜色都服从独立分布。
我们把每次抽出来球的颜色为一次抽样，则黑球事件的概率为P（样本结果|Model）。
记第一次抽样的结果为x1,则第n次为xn.
得出8次黑球和2次白球的结果概率：
P(样本结果|Model ) = P（x1,x2,...x10 | Model）= P(x1 | 黑) * P(x2 | 白)*... =p^8 * （1-p）^2.
以上就为概率表达式，而我们要求的模型的参数，就是求p。
有无数的p供我们选择，极大似然估计采取的选择原则是让这个样本结果出现的可能性最大，就是使上述概率表达式最大。将p看成方程求极值即可，即求导的过程就是求极值的过程.
最后求得P=80%.
例二
假如噪声服从正态分布，但该分布的均值与方差未知。选取大量的噪声作为我们观察样本结果，然后通过最大似然估计来获取上述假设的正太分布的参数，即可知道正态分布的期望和方差。
也就是说通过小样本的采样就知道一系列重要的数学指标量。
极大似然估计方法（Maximum Likelihood Estimate Method）相关推荐
- 极大似然估计（Maximum Likelihood Estimattion Theory）是什么？极大似然估计的本质思想是什么？为什么极大似然可以作为损失函数使用？负对数似然损失函数（Negative
极大似然估计(Maximum Likelihood Estimattion Theory)是什么?极大似然估计的本质思想是什么?为什么极大似然可以作为损失函数使用?负对数似然损失函数(Negative ...
- 极大似然估计（Maximum likelihood estimation，MLE）：用样本估计总体参数
1 基本概念回顾 边缘概率.联合概率和条件概率的基本概念. 1.1 定义 边缘概率(Marginal Probability):可以简单理解为单一事件发生的概率.如果A是一个事件,且事件A发生的概率为 ...
- 3.2 参数估计：极大似然估计方法 ML
3.2 极大似然估计方法 ML 极大似然估计方法是高斯提出,并利用该技术获得测量误差满足高斯分布的结论.假设随机变量满足概率密度函数 p(x∣θ)p(x|\mathbf{\theta})p(x∣θ), ...
- 均匀分布（uniform distribution）期望的最大似然估计（maximum likelihood estimation）
maximum estimator method more known as MLE of a uniform distribution [0,θ][0, \theta] 区间上的均匀分布为例,独立同 ...
- 最大似然估计（Maximum Likelihood，ML）
最大似然估计是一种统计方法,它用来求一个样本集的相关概率密度函数的参数.这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的."似然"是对like ...
- Lesson 4.2 逻辑回归参数估计：极大似然估计、相对熵与交叉熵损失函数
文章目录 一.逻辑回归参数估计基本思路 1. 构建损失函数 2. 损失函数求解 二.利用极大似然估计进行参数估计 三.熵.相对熵与交叉熵 1. 熵(entropy)的基本概念与计算公式 2. 熵的基本 ...
- 机器学习番外篇（1）：极大似然估计和最小二乘法
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的 个人博客,以及我的github. 番外篇的内容主要是讲解一些在机器学习中经常会用到但是比较边缘化的知识,或者是某几个知识 ...
- 极大似然估计的理解与应用
http://www.cnblogs.com/xing901022/p/8418894.html 极大似然估计是概率论中一个很常用的估计方法,在机器学习中的逻辑回归中就是基于它计算的损失函数,因此还是 ...
- 数理统计仿真实验：大数定律、中心极限定理、矩估计与极大似然估计（含MATLAB代码）
目录 数理统计仿真实验(Computational Practice) 大数定律(the Law of Large Numbers) 二项分布(Binomial Distribution) 泊松分布( ...
- 参数估计——极大似然估计与贝叶斯估计
极大似然估计与贝叶斯估计的理解 1 参数估计 2 极大似然估计(MLE) 3 贝叶斯估计 4 极大验后估计(MAP) 参考 1 参数估计 参数估计(Parameter Estimation)是根据从总 ...
最新文章
- 综述：如何给模型加入先验知识
- 2013cvpr的总结
- 玩游戏计算机配置,玩游戏的电脑需要什么配置？
- C和C++中struct和typedef struct的异同
- 可网管交换机的三种管理方式介绍
- java单例模式 uml_Java设计模式系列之单例模式
- ICCV 2019 Oral | 解读北大提出的期望最大化注意力网络EMANet
- 单片机的内存分配(变量的存储位置)详解
- （转）Openlayers 2.X加载高德地图
- 样条曲线_Apollo规划算法基于样条曲线的平滑分析（一）
- 胡学纲数据结构c语言PDF,数据结构精品课程参考书目
- php中curl、fsockopen的应用
- [推荐]一款非常方便好用的输入法--拼音加加
- android ios_如何在android中模拟ios preferredsbigtitles
- 【清晖诗社】“立秋” 诗意浓，佳作有奖征集ing！
- Rootkit Hacking Technology Defence Strategy Research
- 支付宝「银行卡绑定流程」设计资源分享
- debian linux 关闭防火墙,debian怎么样关闭防火墙
- CorelDRAW VBA - 读取XML文件，根据内容批量创建图形
- 数据可视化ECharts:饼形图2 地区分布模块制作（南丁格尔玫瑰图）