【机器学习】先验概率与后验概率

从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。

先验概率是指根据以往经验和分析得到的概率，如全概率公式中的，它往往作为“由因求果”问题中的“因”出现。

后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。（个人理解：就是不断训练后得到的预测值）

后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。

先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式。

贝叶斯公式：

先验概率 ( Prior probability)：先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率 p, 在进行民意调查之前，可以先验概率来表达这个不确定性。

后验概率 ( posterior probability)：Def: Probability of outcomes of an experiment after it has been performed and a certain event has occured. 后验概率可以根据通过Bayes定理，用先验概率和似然函数计算出来。

补充一些概率公式：

举例子?

验前概率就是通常说的概率，验后概率是一种条件概率，但条件概率不一定是验后概率。贝叶斯公式是由验前概率求验后概率的公式。
举一个简单的例子：一口袋里有3只红球、2只白球，采用不放回方式摸取，求：
⑴ 第一次摸到红球（记作A）的概率；
⑵ 第二次摸到红球（记作B）的概率；
⑶ 已知第二次摸到了红球，求第一次摸到的是红球的概率。
解：⑴ P(A)=3/5，这就是验前概率；
⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5；
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2，这就是验后概率。

备注：（2）的求解

全概率公式为概率论中的重要公式，它将对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。

内容：如果事件B1、B2、B3…Bn 构成一个完备事件组，即它们两两互不相容，其和为全集；并且P（Bi)大于0，则对任一事件A有 P(A)=P(A|B1)P(B1) + P(A|B2)P(B2) + ... + P(A|Bn)P(Bn)。

特别地，对于任意两随机事件A和B，有如下成立：

其中A和A逆为对立事件。

全概率可概括为：

1）选小偷，谁去偷
2）选定的小偷作为条件，那么他去偷的条件概率是什么

贝叶斯概率可概括为：

前面是问总体看来被偷的概率是多少，现在是知道了总体被偷了这件事，概率并不知道，问你个更有意思的问题，像是侦探断案：是哪个小偷的偷的，计算每个小偷偷的概率。

参考：

先验概率与后验概率的区别（老迷惑了）

全概率公式和贝叶斯公式的理解（这个！）

【机器学习】先验概率与后验概率相关推荐

机器学习——先验概率、后验概率、全概率公式、贝叶斯公式
一.先验概率 1.定义先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现的 ...
机器学习：浅谈先验概率，后验概率
机器学习:浅谈先验概率,后验概率在学习贝叶斯网络模型的时候,接触到好多比较麻烦的概念,今天又复习了一下,就写一下笔记,用来巩固一下. 主题模型LDA算法是自PLSA之后一个重大提升.PLSA的mod ...
【机器学习】先验概率、后验概率、贝叶斯公式、似然函数
一.先验概率.后验概率.贝叶斯公式. 似然函数在机器学习中,这些概念总会涉及到,但从来没有真正理解透彻他们之间的联系.下面打算好好从头捋一下这些概念,备忘. 1.先验概率先验概率仅仅依赖于主观上的 ...
贝叶斯法则与先验概率，后验概率
1.贝叶斯法则机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设. 最佳假设:一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设.贝叶斯理论提供了一种计算 ...
先验概率、后验概率、似然函数概念的区分
博文二的链接:原文链接:https://blog.csdn.net/u011092188/article/details/60468246 本文中的很多➗没有打印出来,还是看原文吧博文一: 先 ...
先验概率与后验概率是什么
一.先验概率与后验概率事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 先验概率是指根据以往经验和分析得 ...
先验概率、后验概率以及共轭先验
在贝叶斯学派的观点中,先验概率.后验概率以及共轭分布的概念非常重要.而在机器学习中,我们阅读很多资料时也要频繁地跟他们打交道.所以理清这些概念很有必要. 欢迎关注白马负金羁的博客 http://blo ...
先验概率、后验概率、似然估计三者的区别与联系
在机器学习日渐风靡于全世界的今天,概率论与数理统计作为机器学习的关键理论越来越体现出它的重要地位.本文模仿<机器学习>中周志华老师的举例,以西瓜的品质好坏为例,对三个概念:先验概率.后验概 ...
一文读懂先验概率和后验概率
一文读懂先验概率和后验概率(超简单) 先简单看看公式的定义: 先验概率: P ( c ) 后验概率: P ( c | x) 条件概率: P ( x | ...

【机器学习】先验概率与后验概率

【机器学习】先验概率与后验概率相关推荐

最新文章

热门文章