最大后验概率估计算法
原作者未知
最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似,但是最大的不同时,最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。
首先,假设x为独立同分布的采样,θ为模型参数,f为我们所使用的模型。那么最大似然估计可以表示为:
现在,假设θ的先验分布为g。通过贝叶斯理论,对于θ的后验分布如下式所示:
最后验分布的目标为:
注:最大后验估计可以看做贝叶斯估计的一种特定形式。
举例来说:
假设有五个袋子,各袋中都有无限量的饼干(樱桃口味或柠檬口味),已知五个袋子中两种口味的比例分别是
樱桃 100%
樱桃 75% + 柠檬 25%
樱桃 50% + 柠檬 50%
樱桃 25% + 柠檬 75%
柠檬 100%
如果只有如上所述条件,那问从同一个袋子中连续拿到2个柠檬饼干,那么这个袋子最有可能是上述五个的哪一个?
我们首先采用最大似然估计来解这个问题,写出似然函数。假设从袋子中能拿出柠檬饼干的概率为p(我们通过这个概率p来确定是从哪个袋子中拿出来的),则似然函数可以写作
由于p的取值是一个离散值,即上面描述中的0,25%,50%,75%,1。我们只需要评估一下这五个值哪个值使得似然函数最大即可,得到为袋子5。这里便是最大似然估计的结果。
上述最大似然估计有一个问题,就是没有考虑到模型本身的概率分布,下面我们扩展这个饼干的问题。
假设拿到袋子1或5的机率都是0.1,拿到2或4的机率都是0.2,拿到3的机率是0.4,那同样上述问题的答案呢?这个时候就变MAP了。我们根据公式
写出我们的MAP函数。
根据题意的描述可知,p的取值分别为0,25%,50%,75%,1,g的取值分别为0.1,0.2,0.4,0.2,0.1.分别计算出MAP函数的结果为:0,0.0125,0.125,0.28125,0.1.由上可知,通过MAP估计可得结果是从第四个袋子中取得的最高。
上述都是离散的变量,那么连续的变量呢?假设为独立同分布的,μ有一个先验的概率分布为。那么我们想根据来找到μ的最大后验概率。根据前面的描述,写出MAP函数为:
此时我们在两边取对数可知。所求上式的最大值可以等同于求
的最小值。求导可得所求的μ为
以上便是对于连续变量的MAP求解的过程。
在MAP中我们应注意的是:
MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布,或者说。MLE中认为模型参数本身的概率的是均匀的,即该概率为一个固定值。
最大后验概率估计算法相关推荐
- 最大后验概率估计算法(简单,通俗易懂)
最大后验估计是根据经验数据获得对难以观察的量的点估计.与最大似然估计类似,但是最大的不同时,最大后验估计的融入了要估计量的先验分布在其中.故最大后验估计可以看做规则化的最大似然估计. 首先,假设x为独 ...
- envi最大似然分类_闲谈最大后验概率估计(MAP estimate)amp;极大似然估计(MLE)和机器学习中的误差分类...
上一篇文章中提到了一个有趣的实验,简单来说就是1-100中有若干个数字是"正确的",只告诉其中一部分"正确的"数字,去猜全部"正确的"数字. ...
- 机器学习之最大似然估计(MLE)和最大后验概率估计(MAP)
最大似然估计MLE MLE(Maximum Likelihood Estimation)就是利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值的计算过程.直白来讲,就是给定了一定的数据, ...
- 贝叶斯分类、极大似然估计和最大后验概率估计的一些概念
朴素贝叶斯分类算法:https://zhuanlan.zhihu.com/p/26262151 极大似然估计:https://blog.csdn.net/zengxiantao1994/article ...
- 【数据挖掘】十大算法之EM最大期望估计算法
目录 1 简介 2 投硬币问题 3 EM算法过程 4 EM收敛性定理 1 简介 EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计.EM算法的迭代由两步组成:E步, ...
- 详解最大似然估计、最大后验概率估计及贝叶斯公式
最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, 简称MAP)是很常用的两种 ...
- CVPR2019|微软、中科大开源基于深度高分辨表示学习的姿态估计算法
作者 | 周强(CV君) 来源 | 我爱计算机视觉(公众号id:aicvml) 如何挑战百万年薪的人工智能! https://edu.csdn.net/topic/ai30?utm_source=cs ...
- 视频+课件|单目6D姿态估计算法详解
写在前面 感谢「3D视觉从入门到精通」知识星球嘉宾王谷博士为我们带来的主题为单目6D物体姿态估计算法视频讲解,星球成员可免费观看学习.备注:王谷博士,清华大学自动化系BBNC Lab在读博士生,导师为 ...
- 姿态估计算法汇总|基于RGB、RGB-D以及点云数据
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨Tom Hardy@知乎 来源丨https://zhuanlan.zhihu.com/p/305 ...
最新文章
- 关于行号输出的简单命令
- XFCE字体发虚的解决方法
- ffmpeg的map参数
- 由浅入深:自己动手开发模板引擎——解释型模板引擎(二)
- UVALive - 7511 Multiplication Table(暴力+模拟)
- 电路常识性概念(5)-上拉电阻、下拉电阻 / 拉电流、灌电流 / 扇出系数
- 7-2 地下迷宫探索 (30 分)(C语言实现)
- 轻松理解UML用例图时序图类图的教程
- struts2显示列表序号的办法
- FreeEIM 与飞鸽传书的区别
- 大家马致远是哪个朝代的,马致远作品赏析
- queue,stack中的库函数
- protobuf使用错误总结
- 区块链基础语言(二十)——Go语言结构体
- 个人站长 你必须注意的域名细节
- 查看linux Mac地址
- 关于RFID电感耦合方式的射频前端工作原理,你了解吗?
- 山水印|竹林野茶:你喝过的茶,都写在了脸上
- http请求判断网络状态
- (干货)微信小程序项目——泡泡云音乐day2
热门文章
- android项目编译时提示找不到*.apk(could not find the *.apk)
- ubuntu KDE桌面
- 云服务器如何导入文件,如何将文件导入云服务器中
- Spire.Doc系列教程:C# 根据 Word 的标题样式获取文字
- Google 团队效能研究 | 为什么雇用最聪明的人是远远不够的?
- 阿里Druid数据库连接池配置解释
- RocketMQ架构模块解析
- 基于docker部署的微服务架构(四): 配置中心
- 多线程断点续传及下载
- Canvas的save和restore方法