基本概率模型和贝叶斯定理

基本概率模型
这里简单介绍三个概念，古典概型，频率学派，贝叶斯学派。

古典概型
这个模型下，随机实验所有可能的结果是有限的，并且每个基本结果发生的概率是相同的
比如：投掷一枚均匀硬币，结果只有两种（假设硬币没有立起来），正面朝上和反面朝上，那么正面朝上的的概率就是0.5。这是基于古典概率模型的计算。

频率学派
认为待估计参数是某个未知的常量，通过多次试验，统计事件发生的次数占总试验的比值，得到待估计参数的值。
比如：估算投掷一枚均匀硬币获得正面的概率。我们进行1000次试验，有498次朝上，所以获得正面的概率是0.498。

贝叶斯学派
认为待估计参数不是某个固定的常量，而是一种随机变量（服从某种分布）。关于这个随机变量，我们可以根据常识或其他客观事实对其有一个先验的分布估计（信念），之后根据试验来调整这个分布，最后求得该随机变量的后验分布。
这种思想解决了频率学派试验中当试验次数过少而导致的试验偏差的问题，比如，投掷一枚匀质硬币5次，这5次都是正面朝上，根据频率学派观点，认为硬币投掷正面朝上的概率是P(正面朝上)=55=1P(正面朝上)=55=1，这显然是不符合常理的。
现在定义事件A=(投掷一次硬币正面朝上)，B=(投掷5次硬币，5次朝上)。在贝叶斯的框架下，我们根据常识认为投掷硬币正面朝上的概率是0.5，所以我们可以假设这个先验服从参数为Beta(10,10)Beta(10,10)的分布，然后根据贝叶斯定理P(A|B)=P(A)P(B|A)P(B)P(A|B)=P(A)P(B|A)P(B)可计算出在事件B发生的条件下的A的概率分布为分布Beta(15,10)Beta(15,10)，这个分布的期望值是0.6。通过贝叶斯框架，我们计算出硬币正面朝上的概率仍然是一个接近0.5的值，更加符合我们的常识。（关于Beta分布和后验概率的具体计算会在以后的章节介绍）
这个图是分别绘制的先验分布Beta(10,10)Beta(10,10)（蓝色）和后验分布Beta(15,10)Beta(15,10)（绿色）

条件概率和相互独立
条件概率，若P(B)>0P(B)>0,则P(A|B)=P(AB)P(B)P(A|B)=P(AB)P(B)记为事件B发生的情况下,A发生的概率。
如果P(A|B)=P(A)P(A|B)=P(A)，则A与B相互独立且，P(A∩B)=P(A)P(B)P(A∩B)=P(A)P(B)
贝叶斯定理
离散形式
P(Bi|A)=P(Bi)P(A|Bi)∑nj=1P(Bj)P(A|Bj)=P(A∩B)p(A)P(Bi|A)=P(Bi)P(A|Bi)∑j=1nP(Bj)P(A|Bj)=P(A∩B)p(A)
连续形式
f(θ|y)=f(y|θ)f(θ)f(y)=f(y|θ)f(θ)∫f(y|θ)f(θ)dθ=likelihood×priornormalizingconstant∝likelihood×priorf(θ|y)=f(y|θ)f(θ)f(y)=f(y|θ)f(θ)∫f(y|θ)f(θ)dθ=likelihood×priornormalizingconstant∝likelihood×prior
单元随机变量的常用分布
伯努利分布（0-1分布） Bernoulli
概率分布为
pn={1−ppn=0n=1
pn={1−pn=0pn=1

期望E(x)=pE(x)=p,
方差Var(X)=p(1−p)Var(X)=p(1−p)
二项分布binomial
充分n次的独立的伯努利试验。N次独立试验中，事件发生K次的概率分布
P(X=k)=Cknpk(1−p)n−kP(X=k)=Cnkpk(1−p)n−k
期望E(X)=npE(X)=np
方差Var(X)=np(1−p)Var(X)=np(1−p)
均匀分布Uniform
去间a,b之间的均匀分布的概率密度函数
f(x)={1/(b−a)0a<x<b其他
f(x)={1/(b−a)a<x<b0其他

期望E(X)=a+b2E(X)=a+b2
方差Var(X)=(b−a)212Var(X)=(b−a)212
指数分布
参数为λλ的指数函数的概率密度
f(x)={λe−λxx>00x≤0f(x)={λe−λxx>00x≤0
期望E(X)=1λE(X)=1λ
方差Var(X)=1λ2Var(X)=1λ2
正态分本
均值为μμ,标准差为σσ的正态分布的概率密度
f(x)=12π√σe(x−μ)22σ2f(x)=12πσe(x−μ)22σ2
期望E(X)=μE(X)=μ
方差Var(X)=σ2
---------------------
作者：浅梦s
来源：CSDN
原文：https://blog.csdn.net/u012151283/article/details/77430782
版权声明：本文为博主原创文章，转载请附上博文链接！

基本概率模型和贝叶斯定理相关推荐

超参数调整的方法介绍
文章目录超参数调整的方法介绍常用的超参数调整方法网格搜索(Grid Search) 如何进行网格搜索小结随机搜索(Random Search) 贝叶斯优化(Bayesian Optimiza ...
极大似然估计与贝叶斯定理
文章转载自:https://blog.csdn.net/zengxiantao1994/article/details/72787849 极大似然估计-形象解释看这篇文章:https://www.zh ...
从MIXMAX概率模型理解Bayesian建模方法
从MIXMAX概率模型理解Bayesian建模方法储备知识 HMM-隐马尔可夫模型(Hidden Markov Model) GMM-混合高斯模型多元高斯分布(The Multivariate n ...
贝叶斯定理_贝叶斯定理：批判性思维框架
贝叶斯定理 Have you ever noticed how you can be fuming with anger one second and absolutely calm the nex ...
机器学习之贝叶斯定理
贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理.其中P(A|B)是在B发生的情况下A发生的可能性. 贝叶斯定理也称贝叶斯推理,早在18世纪,英国学者贝叶斯(170 ...
贝叶斯定理——数学之美
1.贝叶斯定理 1.1 定义:描述在已知一些条件下,某事件的发生概率贝叶斯定理是关于随机事件A和B的条件概率的一则定理. 1.2 公式理解 P(x∣y)=P(x)P(y∣x)P(y)P(x|y) = ...
贝叶斯思想概述：从贝叶斯定理到贝叶斯网络
翻译 | AI科技大本营(ID:rgznai100) 参与 | 刘畅假设世界上存在一种非常罕见的疾病,你患有这种疾病的几率只有千分之一.你想知道你是否被感染了,所以你做了一个99%准确的测试...且 ...
简要介绍一下贝叶斯定理（ Bayes‘ theorem）
简要介绍一下贝叶斯定理( Bayes' theorem) 在引出贝叶斯定理之前,先学习几个定义: 条件概率(又称后验概率)就是事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为P(A|B) ...
贝叶斯定理核心在后验概率是对先验概率的修正，即后验概率是描述来自先验概率的概率
后验概率的本质:是根据先验概率所描述的现象反推该现象来自先验概率的概率,即用修正一词来表达比较合适注意P(+|S) 的为诊断准确率的写法阳性确诊的概率计算为: 为什么与新冠状病毒检测呈阳性基本意味 ...

基本概率模型和贝叶斯定理

基本概率模型和贝叶斯定理相关推荐

最新文章

热门文章