极大似然估计的理解与应用
http://www.cnblogs.com/xing901022/p/8418894.html
极大似然估计是概率论中一个很常用的估计方法,在机器学习中的逻辑回归中就是基于它计算的损失函数,因此还是很有必要复习一下它的相关概念的。
背景
先来看看几个小例子:
- 猎人师傅和徒弟一同去打猎,遇到一只兔子,师傅和徒弟同时放枪,兔子被击中一枪,那么是师傅打中的,还是徒弟打中的?
- 一个袋子中总共有黑白两种颜色100个球,其中一种颜色90个,随机取出一个球,发现是黑球。那么是黑色球90个?还是白色球90个?
看着两个小故事,不知道有没有发现什么规律...由于师傅的枪法一般都高于徒弟,因此我们猜测兔子是被师傅打中的。随机抽取一个球,是黑色的,说明黑色抽中的概率最大,因此猜测90个的是黑色球。
他们有一个共同点,就是我们的猜测(估计),都是基于一个理论:概率最大的事件,最可能发生
其实我们生活中无时无刻不在使用这种方法,只是不知道它在数学中是如何确定或者推导的。而在数理统计中,它有一个专业的名词:
极大似然估计(maximum likelihood estimation, MLE),通俗的说就是 —— 最像估计法(最可能估计法)
数学过程
极大似然原理与数学表示
官方一点描述上面的过程,即:有n个实验结果,A i Ai 到A n An ,如果A j Aj 发生了,则意味着A j Aj 发生的概率最大。
即,一次试验就发生的事件,这个事件本身发生概率最大
PS
举个例子,我们在学校衡量学习成绩的标准就是考试成绩,高考更是一考定终身的感觉。高考成绩的好坏,则可以当做一个学生能力的体现,虽然有的人考试紧张考砸了,有的人超常发挥了,但是从概率上来说,高考的成绩基本可以判断这个人的(学习)能力。基于极大似然的解释就是,我们高考的成绩很大程度上反应了平时的学习能力,因此考得好的(当前发生的事件),可以认为是学习好的(所有事件发生概率最大的)。
再抽象一点,如果事件发生是关于 θ θ 参数的,那么一次事件放生时,样本为x 1 ,...x k x1,...xk ,那么θ ^ (x 1 ,...x k ) θ^(x1,...xk) 就是θ θ 的估计值。当θ=θ ^ (x 1 ,...x k ) θ=θ^(x1,...xk) 时,当前样本发生的概率最大。
PS
再举个射箭的例子,在《权力的游戏》中有个场景,老徒利死的时候,尸体放在穿上,需要弓箭手在岸边发射火箭引燃。但是当时的艾德慕·徒利公爵射了三箭都没中,布林登·徒利实在看不下去了,通过旗帜判断风向,一箭命中!
因此箭能否射中靶心,不仅跟弓箭手的瞄准能力有关,还跟外界的风向有关系。假设不考虑人的因素,但看风向...同样的瞄准和力度,风太大不行、太小也不行....那我们给风的大小设置一个值为θ θ 。假设一名弓箭手射出了三只箭,分别是8环、6环、7环(即x 1 =8 x1=8 ,x 2 =6 x2=6 ,x 3 =7 x3=7 ),当天风的大小为88。那么我们认为只有θ=88 θ=88 ,发生上面事件的概率最大。
极大似然估计法
如果总体X为离散型
假设分布率为P=p(x;θ) P=p(x;θ) ,x是发生的样本,θ θ 是代估计的参数,p(x;θ) p(x;θ) 表示估计参数为θ θ 时,发生x的的概率。
那么当我们的样本值为:x 1 ,x 2 ,...,x n x1,x2,...,xn 时,
L(θ)=L(x 1 ,x 2 ,...,x n ;θ)=∏ i=1 n p(x i ;θ) L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)
其中L(θ) L(θ) 成为样本的似然函数。
假设
L(x 1 ,x 2 ,...,x n ;θ ^ )=max θ∈Θ L(x 1 ,x 2 ,...,x n ;θ) L(x1,x2,...,xn;θ^)=maxθ∈ΘL(x1,x2,...,xn;θ)
有 θ ^ θ^ 使得 L(θ) L(θ) 的取值最大,那么 θ ^ θ^ 就叫做参数 θ θ 的极大似然估计值。
如果总体X为连续型
基本和上面类似,只是概率密度为f(x;θ) f(x;θ) ,替代p。
解法
- 构造似然函数L(θ) L(θ)
- 取对数:lnL(θ) lnL(θ)
- 求导,计算极值
- 解方程,得到θ θ
解释一下,其他的步骤很好理解,第二步取对数是为什么呢?
因为根据前面你的似然函数公式,是一堆的数字相乘,这种算法求导会非常麻烦,而取对数是一种很方便的手段:
- 由于ln对数属于单调递增函数,因此不会改变极值点
- 由于对数的计算法则:lna b =blna lnab=blna 、lnab=lna+lnb lnab=lna+lnb ,求导就很方便了
例子这里就不举了,感兴趣的话,可以看看参考的第二篇里面有好几个求解极大似然估计的例子。
参考
- 深入浅出最大似然估计(Maximum Likelihood Estimation)
- 极大似然估计的原理和方法——强烈推荐,PPT其实讲的已经很清楚了
- 极大似然估计详解
极大似然估计的理解与应用相关推荐
- 极大似然估计的理解 为什么要取似然函数最大值 似然函数的意义是什么?
对极大似然估计的理解 极大似然估计的形式: 1.离散型统计模型 表示观测值. 2.连续型统计模型 问题:问什么要取似然函数最大值来估算参数θ? 自己的理解: 似然函数的形式是理论上各事件(这个事件表示 ...
- 极大似然估计的朴素理解
极大似然估计的朴素理解 2010年04月20日 ⁄ 科研, 读书 ⁄ 共 2356字 ⁄ 评论数 28 ⁄ 被围观 12,437+ <a href="http://www.zhizhi ...
- 【机器学习基础】深入理解极大似然估计(MLE) 1: 引入问题
导读:极大似然估计(MLE) 是统计机器学习中最基本的概念,但是能真正全面深入地理解它的性质和背后和其他基本理论的关系不是件容易的事情.极大似然估计和以下概念都有着紧密的联系:随机变量,无偏性质(un ...
- 机器学习强基计划4-2:通俗理解极大似然估计和极大后验估计+实例分析
目录 0 写在前面 1 从一个例子出发 2 极大似然估计 3 极大后验估计 4 Python实现 0 写在前面 机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用."深" ...
- 【For非数学专业】通俗理解似然函数、概率、极大似然估计和对数似然
文章目录 1. 似然函数与概率 1.1 似然函数与概率的初步认识 1.2 似然的定义 1.3 结合具体实例来深入理解似然与概率 2. 极大似然估计 3. 对数似然函数 4. 总结 1. 似然函数与概率 ...
- 对极大似然估计和极大验后估计的理解
文章目录 Part.I 概念理解 Part.II 例子 Part.III 总结 Reference Part.I 概念理解 概率与统计:概率(probabilty)和统计(statistics)看似两 ...
- 极大似然估计_干货|一文理解极大似然估计
一.什么是极大似然估计 极大似然估计是一种参数估计的方法.它要解决这样一个问题:给定一组数据和一个参数待定的模型,如何确定模型的参数,使得这个确定参数后的模型在所有模型中产生已知数据的概率最大. 通俗 ...
- 理解极大似然估计与最大后验概率估计
文章目录 概率和统计 贝叶斯公式 似然函数 最大似然估计 最大后验概率估计 最大似然估计和最大后验概率估计的区别 最大似然估计的一个例子 参考链接 概率和统计 概率(probabilty)和统计(st ...
- 人工智能科普|极大似然估计——机器学习重要知识点
https://www.toutiao.com/a6649579620909711879/ 2019-01-23 14:45:03 经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我" ...
最新文章
- 【深度学习】移动翻转瓶颈卷积的实现(mobile inverted bottleneck convolution)
- 跨Hadoop平台Hive表export和import迁移
- C语言头文件深入理解
- esxi虚机启动慢的问题
- Java 算法 单词接龙
- 浅谈c++中结构体和共用体的区别
- F1-VmwareCentOS7.x
- laravel 核心类Kernel
- ZOJ 3494 BCD Code(AC自动机 + 数位DP)题解
- Linux安装Nginx1.7.4、php5.5.15和配置
- 通过《Java核心编程》探索程序设计
- 分子动力学模拟算法框架
- 算法分析与设计实验报告四——回溯法实验
- JavaScript学习手册五:JS数组
- 美国防部应改进人工智能战略和加强协作指导
- 观测云产品更新|新增阿里云账户结算方式;新增 DQL 查询查看器;新增基础设施网络模块等
- 基因测序的云计算平台可能带来的变革与进步
- 前端面试宝典 html css js ajax es6
- Android Studio + Esp32Cam 实现手机APP实时传输监控视频
- PAT1087 有多少不同的值 (20 分)(C语言)
热门文章
- 腾讯林衍凯:图神经网络,考虑「拓扑信息」会怎样?
- 智源杯天文数据算法挑战赛开赛,前沿AI技术助力天文科学研究
- 这些 Python 不为人知的「坑」,躲都躲不开
- [解决方案记录]No module named fused(stylegan2的bug,已更新)
- 《Redis官方文档》用Redis构建分布式锁
- 96根电极每秒测量3万次,大脑植入物首次帮助瘫患者控制肌肉!
- 独家 | 一文带你熟悉贝叶斯统计
- 外卖平台涉嫌大数据杀熟,处理不能“自说自话”
- 贾扬清、Alex Smola、Julia创始人等大咖齐聚,WAIC开发者日共话AI未来
- 手把手带你复现AI+区块链写码全过程!(附代码视频)