极大似然估计(MLE)相关总结
一、极大似然估计概述
极大似然估计是频率学派的进行参数估计的法宝,基于以下两种假设前提:
①某一事件发生是因为该事件发生概率最大。
②事件发生与模型参数θ有关,模型参数θ是一个定值。
极大似然估计是通过已知样本数据,来推导出最大概率出现这个事实的模型参数值,并将这一参数值作为估计的真实值。
举例:抛硬币10次,若出现一次结果为5次正面朝上,5次反面朝上。设出现这一结果与P有关,则似然函数为L(P)=p^5*(1-p)^5,对其取对数求导,令导数为零,求得p为0.5。则我们有理由认为当p等于0.5时,最有可能出现抛硬币10次,其中5次正面朝上,5次反面朝上这样的结果。
二、极大似然原理及思想
极大似然原理的直观想法是:一个随机试验如有若干个可能的结果A,B,C,…。若在一次试验中,结果A出现,则一般认为试验条件对A出现有利,也即A出现的概率很大。
极大似然原理:若事件A发生的概率与参数 θ有关,θ取值不同则 P(A)也不同。记事件A发生的概率为 P(A|θ). 若一次试验事件中,A发生了,可认为此时的 θ值是在其定义域内,使得P(A|θ) 达到最大的那一个。
极大似然估计是建立在极大似然原理基础上的一个统计方法。它是一种参数估计,在样本满足独立同分布情况下,通过已知的样本数据,来推导最大概率出现这个事实的模型参数值,若已知某个参数能使得这个样本出现的概率最大,就将这一参数值作为估计的真实值。即模型已知,参数未知,通过已知模型推导出参数最可能的值。
三、似然函数与概率密度函数:L(θ|x)= f(x|θ)
似然函数:L(θ|x) |
概率密度函数: f(x|θ) |
在给定一个样本X后,在不同θ下,推测这个样本出现的可能性多大 |
在给定参数θ情况下,样本X出现的可能性多大 |
似然函数与概率密度函数在概念上不等,但在数值上相等。等式核心意思是:在给定一个θ和一个样本X时,整个事件发生的可能性多大。
四、极大似然估计的求解
假设总体分布族为{p(x;θ):θ ∈ 参数空间},其中p(x;θ)为概率分布列或密度函数为f(x;θ)。x1,x2,…,xn是简单样本,则样本的联合概率分布为:
① 离散型随机变量:
② 连续型随机变量:
当样本x1,x2,…,xn给定时,p(x1,x2,…,xn;θ)是参数θ的函数,称这个函数为似然函数,记为L(θ;x1,x2,…,xn),或L(θ;x),或L(θ),即
具体求解步骤:
(1)构造似然函数 L(θ) :
总体X为离散型;
总体X为连续型: ;
(2)取对数: lnL(θ) :
总体X为离散型:;
总体X为连续型: ;
(3)对Ln L(θ)求偏导等于0;
(4)解似然方程得到 θ 的极大似然估计值 θ^ 。
五、极大似然估计的优点与缺点
优点 | 缺点 |
①不变性 |
①前提是分布已知,要求较高 |
六、其他参数估计方法
矩估计:
以样本矩估计总体中相应的参数,以样本矩的函数估计总体矩的函数。
最小二乘估计(LSE):
通过最小化误差的平方和寻找数据的最佳函数匹配。具体为:找一个(组)估计值,使 得实际值与估计值之差的平方加总之后的值最小。这时,将这个差的平方的和式对参数求导 数,并取一阶导数为零,就是LSE。
贝叶斯估计:
贝叶斯估计是包含先验假设的极大似然估计,是对极大似然估计的一种改进。认为待估 参数θ也是随机的,我们可以根据先验信息建立一个θ服从的分布,合理利用先验信息进行统 计判断。
七、极大似然估计(MLE)与最大后验估计(MAP)
MLE | MAP |
极大似然估计是频率学派常用参数估计方法,认为事件本身就具有客观的不确定性,直接为事件本身建模,也就是说事件在多次重复实验中趋于一个稳定的值p,那么这个值就是该事件的概率。 |
贝叶斯学派不去试图解释 事件本身的随机性,而是从观察者角度出发,认为不确定性来源于观察者的知识不完备,在这种情况下,通过已经观察到的信息来描述最有可能推导的过程。 |
模型参数是个定值 |
模型参数源于某种潜在分布 |
MLE是求参数θ的值,使得似然函数P(x|θ)最大。 |
MAP希望θ不仅使似然函数最大,同时也希望θ本身出现的先验概率也最大。 |
极大似然估计与最大后验概率估计的区别在于对先验信息的了解程度,如果忽略模型参 数本身的概率的分布,或者认为参数服从0-1均匀分布,那么最大后验概率估计将弱化为最大 似然估计。
八、关于极大似然估计的总结
极大似然估计是生产生活中一种常用的参数估计方法,它是根据已出现的样本结果,来推测导致该结果出现概率最大的模型参数θ。例如:在二分类机器学习模型logistic回归中,可以通过MLE估计模型参数,再使用其他方法进行参数优化。MLE是一种较为简单的估计,当样本数目增加时,收敛性很好,如果在假设的概率模型正确,通常能获得较好的结果。
参考
- https://zhuanlan.zhihu.com/p/428356533
- https://blog.csdn.net/weixin_43999327/article/details/99706044
- https://www.cnblogs.com/LittleHann/p/7823421.html#_lab2_3_0
极大似然估计(MLE)相关总结相关推荐
- 【机器学习基础】深入理解极大似然估计(MLE) 1: 引入问题
导读:极大似然估计(MLE) 是统计机器学习中最基本的概念,但是能真正全面深入地理解它的性质和背后和其他基本理论的关系不是件容易的事情.极大似然估计和以下概念都有着紧密的联系:随机变量,无偏性质(un ...
- 【For非数学专业】通俗理解似然函数、概率、极大似然估计和对数似然
文章目录 1. 似然函数与概率 1.1 似然函数与概率的初步认识 1.2 似然的定义 1.3 结合具体实例来深入理解似然与概率 2. 极大似然估计 3. 对数似然函数 4. 总结 1. 似然函数与概率 ...
- 极大似然估计、极大似然函数
一.要解决什么问题或事件 极大似然估计是一种针对一种现象(或事件),提取的一种解决方法 这种现象是:其总体的分布类型已知,但是里面的参数未知. 二.解决问题的思路,几何意义 极大似然原理:概率大的事件 ...
- 极大似然估计与EM算法
极大似然估计与EM算法理解 什么是极大似然估计(MLE)? 极大似然估计是建立在极大似然原理上的一种参数估计方法.其目的是利用已知的样本结果,反推最有可能导致这样结果的参数值. 通俗地说,就是通过 ...
- envi最大似然分类_闲谈最大后验概率估计(MAP estimate)amp;极大似然估计(MLE)和机器学习中的误差分类...
上一篇文章中提到了一个有趣的实验,简单来说就是1-100中有若干个数字是"正确的",只告诉其中一部分"正确的"数字,去猜全部"正确的"数字. ...
- 浅议极大似然估计(MLE)背后的思想原理
1. 概率思想与归纳思想 0x1:归纳推理思想 所谓归纳推理思想,即是由某类事物的部分对象具有某些特征,推出该类事物的全部对象都具有这些特征的推理.抽象地来说,由个别事实概括出一般结论的推理称为归纳推 ...
- 极大似然函数求解_关于极大似然估计的学习(附Matlab中mle函数的求解)
冒泡~是新的一周辣~温故而知新一下极大似然估计(真是很不容易了) 极大似然估计的基本思想 什么是极大似然?官方上的较清楚的解释是:利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果 ...
- 极大似然估计(Maximum likelihood estimation,MLE):用样本估计总体参数
1 基本概念回顾 边缘概率.联合概率和条件概率的基本概念. 1.1 定义 边缘概率(Marginal Probability):可以简单理解为单一事件发生的概率.如果A是一个事件,且事件A发生的概率为 ...
- 极大似然估计 —— Maximum Likelihood Estimation
1 引入 机器学习中,经常会遇到极大似然估计 (Maximum Likelihood Estimation, MLE) 这个名词,它的含义是什么?它能够解决什么问题?我们该如何理解并使用它?本篇就对此 ...
最新文章
- python图像边缘检测
- TP3.2之WHERE组合条件处理
- 数据结构专题(一):1.1顺序表初始化
- 视频格式转换库--libyuv的简介与编译
- Mac OS小技巧:MAC电脑如何设置一键切换输入法
- 软件原型设计工具Axure
- foxmail邮件服务器端口,Foxmail IMAP设置
- 一些好听的纯音乐及下载
- 项目管理中的技术风险
- 计算机学硕考公更好还是专硕,专硕 VS 学硕 你适合读哪种?
- pom文件配置阿里云仓库 转
- hog特征与fhog特征
- 剖析抖音快速涨粉的文案号,了解大佬运营技巧,学以致用
- 项目经验之:针对昨日FDO连接SDF文件报错,国个GIS论坛给出了一个思路.帮助我过关.
- WORD中的多级列表详解
- Python变量的理解与内存管理
- 支持增删查改的简单Java Web通讯录详细教程【基于Mac OS+IDEA+Servlet+JDBC+Tomcat】
- park和unpark方法详解
- css filter blur 白边,CSS3的blur白边怎么去除
- matinee和matin区别_matin(matin法语是什么意思)
热门文章
- uni-app中使用扩展组件失效并指导使用示例
- 2023年1月23日--2023年1月29日(osg+glsl+socket+ue,本周20小时,合计1899小时,剩余8101小时)
- pve 导入 ova
- 在线设计协作工具Pixso支持Axure,Sketch,XD和Figma文件导入
- 35岁亿万富翁:程序员之神 游戏玩家的领袖
- bash脚本编程之算术运算:加减乘除
- hdu 3591 多重背包+完全背包练习题
- matlab读取地理栅格数据,基于MATLAB的时间序列和地理栅格数据分析
- android g sensor,android gsensor 休眠震动唤醒功能怎么实现
- 动画:这一次用动画搞懂递归!