深入理解先验分布、后验分布、似然估计

这几个概念可以用“原因的可能性”和“结果的可能性”的

“先后顺序”及“条件关系”来理解。

下面举例：

隔壁老王要去10公里外的一个地方办事，他可以选择走路，骑自行车或者开车，并花费了一定时间到达目的地。在这个事件中，可以把交通方式（走路、骑车或开车）认为是原因，花费的时间认为是结果。

若老王花了一个小时的时间完成了10公里的距离，那么很大可能是骑车过去的，当然也有较小可能老王是个健身达人跑步过去的，或者开车过去但是堵车很严重。若老王一共用了两个小时的时间完成了10公里的距离，那么很有可能他是走路过去的。若老王只用了二十分钟，那么很有可能是开车。这种先知道结果，然后由结果估计原因的概率分布，p(交通方式|时间)，就是后验概率。

老王早上起床的时候觉得精神不错，想锻炼下身体，决定跑步过去；也可能老王想做个文艺青年试试最近流行的共享单车，决定骑车过去；也可能老王想炫个富，决定开车过去。老王的选择与到达目的地的时间无关。先于结果，确定原因的概率分布，p(交通方式)，就是先验概率。

老王决定步行过去，那么很大可能10公里的距离大约需要两个小时；较小可能是老王平时坚持锻炼，跑步过去用了一个小时；更小可能是老王是个猛人，40分钟就到了。老王决定骑车过去，很可能一个小时就能到；较小可能是老王那天精神不错加上单双号限行交通很通畅，40分钟就到了；还有一种较小可能是老王运气很差，连着坏了好几辆共享单车，花了一个半小时才到。老王决定开车过去，很大可能是20分钟就到了，较小可能是那天堵车很严重，磨磨唧唧花了一个小时才到。这种先确定原因，根据原因来估计结果的概率分布，p(时间|交通方式)，就是似然估计。

老王去那个地方好几趟，不管是什么交通方式，得到了一组关于时间的概率分布。这种不考虑原因，只看结果的概率分布，p(时间)，也有一个名词：evidence（不清楚合适的中文名是什么）。

最后，甩出著名的贝叶斯公式：

$p(\theta|x)={p(x|\theta)p(\theta)\over p(x)}$

For example：

给大家编一个具体数字的例子。“因”为交通方式w，“果”为所用时间x：

1. 先验 P(w)：要去10公里外的某地，老王开车的可能性最大，P(开车)=0.6，而骑车和走路可能性为P(骑车)=0.3，P(步行)=0.1。

2. 似然 P(x|w):

开车时，花20分钟比较多，也可能堵到2小时。大家想象一个分布——横轴为时间，从0到120分钟；纵轴为概率，0到1；分布是一条曲线，线下面积为1（总概率为1），20分钟时值为0.5，120分钟时值为0.05。
相同的，有两条骑车和步行时的条件概率图，骑车时时间为60分钟的概率最大，为0.4，其他时间概率相应地较小；步行时120分钟的概率最大，为0.5。

3. 迹象/证据 P(x):

老王去过这个地方20次了，所花分钟数分别为：20，30，20，60，90，120，20，60，120，110，40，50，60，70，90，120，110，20，70，90. 则可做出时间分布的直方图，不做也行。
“20分钟”这个值出现了4次，所以P(20)=4/20=0.2，同样的，P(120)=3/20=0.15.

4. 后验 P(w|x):

老王告诉妻子，这次去某地花了120分钟。
妻子知道老王选交通方式的概率（先验），知道3种交通方式对应的概率分布（似然），知道老王去的20次的时间分布（迹象/证据）。于是妻子用贝叶斯公式，就能知道花了120分钟的老王，采用的交通方式应该是什么。

由P(w|x) = P(x|w)*P(w)/P(x)，有
P(步行｜时间=120分钟) = P(120分钟｜步行) * P(步行) / P(120分钟)。
由数据知，P(步行)=0.1，P(120分钟｜步行)=0.5，P(120分钟) = 0.15。代入三个数字，求出值为0.333.

类似的，可求出P(骑车｜时间=120分钟) =0.002，P(开车｜时间=120分钟) =0.02。其中步行的概率最大，所以妻子觉得老王最有可能是走着去的。这就是后验啦。

哎不知道有没有理解的不对的，初学者理解比较浅，这个例子里先验和似然也是经验值提供的，不来自样本，分类属性值也只有“交通方式”一个，没有“路况”、“身体条件”什么的。大家有不同意见还请指出。

Reference：

https://www.zhihu.com/question/24261751

深入理解先验分布、后验分布、似然估计相关推荐

一个例子搞清楚（先验分布/后验分布/似然估计）
一个例子搞清楚(先验分布/后验分布/似然估计) preface: 无论是<通信原理>.<信息论>.<信道编码>还是<概率与统计理论>,或者在现在流行的& ...
先验分布/后验分布/似然估计/贝叶斯公式
转载于:https://blog.csdn.net/qq_23947237/article/details/78265026 博主用一个例子生动形象的介绍了(先验分布/后验分布/似然估计/贝叶斯公式) ...
ML-朴素贝叶斯-先验分布/后验分布/似然估计
文章目录引言问题朴素贝叶斯介绍(最新更新2018.02.22) 朴素在哪里? 1. 数据样本独立同分布 2. 特征条件独立性假设参考1(最新更新2019-02-26) 联合概率分布面试朴 ...
先验分布后验分布似然估计
关键字:evidence ,贝叶斯公式一.先验分布对未知参数x的先验信息用一个分布形式p(x)来表示,此分布p(x)称为未知参数x的先验分布.(即在实验前通过已知信息知道的分布)可以理解为对某个原 ...
2020-4-5 深度学习笔记17 - 蒙特卡罗方法 3 ( 马尔可夫链蒙特卡罗方法MCMC-先验分布/后验分布/似然估计，马尔可夫性质)
第十七章蒙特卡罗方法中文英文 2020-4-4 深度学习笔记17 - 蒙特卡罗方法 1 (采样和蒙特卡罗方法-必要性和合理性) 2020-4-4 深度学习笔记17 - 蒙特卡罗方法 2 ( 重要 ...
机器学习基础——先验概率、后验概率和似然估计的讲解；频率派和贝叶斯派之分；以及MLE和MAP方法的解析
1.先验概率假定 B 1 , B 2 , - , B n B_1,B_2,\ldots ,B_n B1,B2,-,Bn是某个过程所有可能的前提条件,也就是 B 1 , B 2 , - , B ...
深度模型从研者眼里的似然估计 Hessain 海森矩阵 Fisher Information （费雪信息）...
2019独角兽企业重金招聘Python工程师标准>>> 深度模型的训练的基本依据是最小化模型拟合数据的误差.旨在不仅知其然(如何构建和训练一个深度模型),还应知其所以然(为什么这样训 ...
似然估计 Hessain Fisher Information
深度模型的训练的基本依据是最小化模型拟合数据的误差.旨在不仅知其然(如何构建和训练一个深度模型),还应知其所以然(为什么这样训练,可以做哪些优化).我们就会发现,有很多研究者,在面向一些特定问题下,深 ...
概率中的先验分布，后验分布，似然估计的通俗理解
这几个概念可以用"原因的可能性"和"结果的可能性"的"先后顺序"及"条件关系"来理解.下面举例: 隔壁老王要去10公里外 ...

深入理解先验分布、后验分布、似然估计

这几个概念可以用“原因的可能性”和“结果的可能性”的

“先后顺序”及“条件关系”来理解。

For example：

深入理解先验分布、后验分布、似然估计相关推荐

最新文章

热门文章