先验分布:(二)选取先验概率分布
一、结合实际应用
之前讲到,当不知道原因的概率的时候,可以选取一种相对灵活的概率分布表示先验概率的分布。
而选取哪种分布往往取决于实际应用或问题是什么。
在继续介绍该如何选取分布类型之前,我们先以一个简单的例子描述一下我们需要解决的问题:
假设有两枚硬币C1和C2,C1硬币抛出正面的概率是0.6,C2硬币抛出正面的概率是0.3。现在,我们做一个实验:
每次取两枚硬币中的一枚,抛出这枚硬币,连抛10次,记录正面和反面出现的次数。此为1次试验。我们做5次。实验结果如下:
试验编号 | 所用硬币 | 试验结果 |
1 | ? | 5+:5- |
2 | ? | 6+:4- |
3 | ? | 3+:7- |
4 | ? | 4+:6- |
5 | ? | 6+:4- |
先不管所用硬币是哪枚,单单就试验结果而言,试验结果是服从二项分布的,即每一次抛硬币的结果非正即反。
然而,实际的情况是,试验中所用硬币对试验结果是有影响的,因为两枚硬币抛出正面的概率是不一样的。因此,试验结果可以看作是先选取硬币,再抛选到的硬币。也就是说,选硬币是原因,试验结果是这个原因所导致的结果。
现在,我们要根据这5次试验结果推断每次试验用的是哪枚硬币。
现在的情况是,我们不知道选到哪枚硬币的概率是多少,即选取硬币的概率未知。
为了推断每次试验用的是哪枚硬币,我们需要根据试验结果倒推,寻找能让这5次试验结果——这一组合出现概率最大的那个选硬币的概率。如此,我们就有充分的信心相信,要使这5次试验结果的组合的出现概率最大,每次试验之前应该选哪枚硬币。
既然是倒推,就需要设定一个初始的选硬币的概率(先验概率),然后再根据倒推的结果(后验概率)调整选硬币的概率,这个过程可表示为:
设选到硬币的事件为θ,每次试验硬币朝上的次数为X。
先假定选硬币的概率(如选到C1的概率为0.7,即p(θ=C1) = 0.7)
→ 计算在已经选到硬币的基础上,在一次试验中出现X = 5的概率p(X=5|θ=C1),此即为似然函数的值
→ 根据公式:后验概率 = 似然函数 × 先验概率,计算在X = 5的情况下,选到的硬币是C1的概率,
表示为p(θ=C1|X=5),即后验概率
→ 根据这个后验概率调整(或替代)之前的先验概率
事实上,在很多情况下,通过上述步骤得到的后验概率并不是最理想的结果,也就是说,如果用这个后验概率作为先验概率,再一次通过上述步骤计算出第二个后验概率,如果通过某些度量,发现第二个后验概率比第一个后验概率更好,则应该用第二个后验概率调整(或替代)第一个后验概率。这个过程一直要持续到新得到的后验概率不再变化(即收敛)。
那么,问题就来了:凭什么后验概率可以调整(或替代)先验概率?事实上,只要后验概率的范围仍然在(0, 1)之间,它就可以作为新的先验概率继续参与新的后验概率的计算。
不过,要注意的是,先验概率和后验概率不一定都在同一个(即分布的参数都相同)分布上。更多的情况是,后验概率在不同的分布上。理想的情况是,先验概率和后验概率有同样形式的分布,只是参数不同(即形状不同)。
很激动的是,就有这么一个分布,定义了(0, 1)之间的连续分布,有两个参数控制分布的形状,它就是Beta分布。
Beta分布根据其参数α和β的不同,有各种各样的形状(如下图所示),但符合该分布的变量取值总是在(0, 1)之间。
(概率密度函数)
(累积函数)
二、从一维到多维
上面说到的Beta分布定义的是1个事件的先验概率的分布,比如抛硬币正面向上的事件概率。
在实际应用中,我们有时候会不清楚多个事件中各个事件的概率,比如掷一枚不均匀6面骰子,分别出现数字1-6的概率。这时候,因为实验结果服从多项分布,就不能用Beta分布了,而需要改用定义多个均位于(0, 1)区间变量的概率分布。
数学上已经证明,可用狄利克雷分布(Dirichlet Distribution)——Beta分布在多维上的扩展来表示多个未知概率事件的概率分布。
转载于:https://www.cnblogs.com/tspeaking/p/10858187.html
先验分布:(二)选取先验概率分布相关推荐
- R语言 先验概率分布与后验概率分布的计算
先验概率分布与后验概率分布的计算 例题:某填空区域中的流星数量可用泊松分布Poisson(μ)来描述,现在根据历史资料指导参数μ只有四个可能取值,分别为(1.2,3.1,2.0,4.2),其对应的先验 ...
- 概率论(二)随机变量及其概率分布——离散和连续型随机变量及其分布函数
本节知识点 1.随机变量及其分布函数的定义 2.离散型随机变量 定义:随机变量可能取得的值是有限个或者可列无限个 概率分布列 分布函数 常见的离散性随机变量:0-1分布.二项分布和泊松分布 3.连续型 ...
- 深度学习必懂的13种概率分布
作为机器学习从业者,你需要知道概率分布相关的知识.这里有一份最常见的基本概率分布教程,大多数和使用 python 库进行深度学习有关. 概率分布概述 共轭意味着它有共轭分布的关系. 在贝叶斯概率论中, ...
- 深度学习必懂的 13 种概率分布(附链接)
来源:AI开发者 本文约为1400字,建议阅读5分钟 本文为你介绍基本概率分布教程,大多数和使用 python 库进行深度学习有关. 概率分布概述 共轭意味着它有共轭分布的关系. 在贝叶斯概率论中,如 ...
- 深度学习必须掌握的 13 种概率分布
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 作为机器学习从业者,你需要知道概率分布相关的知识.这里有一份最常见的基本概率分布教 ...
- python统计字数分布可视化展示_数据的概率分布并用python实现概率分布可视化图...
一.基础概念 先来看下数据的类型,常见的数据分类方式有三种:第一种是按照数据的结构属性分类,根据数据的存储形式分为结构化数据和非结构化数据,例如数据库的存储对象基本上都是结构化数据,结构化数据是进行数 ...
- 二维 均值方差高斯分布图 python_PRML笔记 第二章 (多维)高斯分布
2.3 高斯分布 高斯分布,也叫正态分布,是广泛应用在连续性变量中的分布.它的形式是 而高维(多变量)正态分布的形式是 其中Σ表示协方差矩阵 不论是单变量还是多变量的情况,正态分布均为使熵最大的分布 ...
- 贝叶斯、概率分布与机器学习
转载自:http://blog.csdn.net/solemnizeljf/article/details/8496351 一. 简单的说贝叶斯定理: 贝叶斯定理用数学的方法来解释生活中大家都知道的常 ...
- 一个例子搞清楚(先验分布/后验分布/似然估计)
一个例子搞清楚(先验分布/后验分布/似然估计) preface: 无论是<通信原理>.<信息论>.<信道编码>还是<概率与统计理论>,或者在现在流行的& ...
最新文章
- 基于OpenCV的气体泵扫描仪数字识别系统
- plc以太网端口号虚拟服务器,plc能像pc那样,一个端口号处理多个连接吗?
- 云炬随笔20171205
- JAVA面试题集收藏大放送
- asp.net中两款文本编辑器NicEdit和Kindeditor
- MapReduce算法形式四:mapjoin
- JobTracker和TaskTracker
- 波士顿动力有对手了:不怕摔倒的机器狗,怎么踹都能站起来
- css之左边div固定宽度右边div自适应布局
- python小白从哪来开始-写给小白的工程师入门 - 从 Python 开始
- 我用VS2015 开发webapp (1) 需求、目的、配置
- MySQL主从同步(三)——M-S-S架构配置实战
- C++ 内存分配(new,operator new)详解
- scrapy -selector
- 【15】 数学建模 | 典型相关分析 | 内附具体实现流程(清风课程,有版权问题,私聊删除)
- OpenCV入门知识[转载]
- 回归 ----一元线性回归
- 伍斯特理工学院计算机专业,伍斯特理工学院计算机科学专业
- wangEditor光标乱跳问题
- 单片机入门——流水灯介绍
热门文章
- mysql 和 =_MySQL 基本语法
- 民法典诉讼时效是3年,离婚3年后发现财产,怎么办
- NetCDF(c++接口)读取NC文件信息
- unity与Gaea互导(介于高度图)在制作好的unity地形之上用gaea添加自动化地型细节
- mysql 命令行启动服务_mysql在windows下命令行启动与关闭服务
- CSS拾遗+技巧集合
- Mac环境配置好ant后提示Permission denied
- binary_function 函数用法
- 伪随机序列调相位C语言,伪随机序列发生器仿真研究.doc
- 使用 Java 实现指定概率的抽奖