前面介绍了贝叶斯学派的思想和先验分布、后验分布的相关知识,古典频率学派认为抛硬币的概率是常数,本文从贝叶斯学派的角度看待抛硬币的概率问题。本文详细介绍了  分布,重述贝叶斯思想,对于抛硬币的概率问题作各种情况的分析,最后总结全文。

目录

  1. 为什么选择  分布作为先验分布
  2. 重述贝叶斯思想
  3. 抛硬币问题的多情况分析
  4. 总结

1.为什么选择  分布作为先验分布

本节详细介绍  分布的定义及解释选择  分布作为先验分布的原因。

1.  分布

 函数的定义:

其中  ,对于等式两边各除以  ,以字母p代替x,得:

选择积分项作为  的分布函数,由积分项可知  分布已完成标准化(总积分等于1)。

因此,  分布:

 分布的期望和方差:

如果不清楚上面的公式怎么来的,可参考下面两篇博客:

如何理解beta分布? 
Beta 分布归一化的证明(系数是怎么来的),期望和方差的计算

2.  分布作为先验分布的原因
由  分布的定义可知,  分布是概率分布的分布,  分布常作为先验分布的原因:

(1) 贝叶斯对参数的估计与先验分布的选择有很重要的关系,先验分布不同,贝叶斯对参数的估计也不同。先验分布往往是人们根据以往经验去设计,  分布是概率分布的分布,涵盖了所有参数空间出现的概率大小,并通过设置参数  ,可以使先验分布与你的先验经验基本符合。

i) 

由上图可知,  分布符合均匀分布,即参数空间所有取值的概率相等。
因此,当你对参数没有任何的先验知识时,建议你假设先验参数符合均匀分布,参数的后验分布由你的实际观测数据决定。

ii) 

由上图可知,  ,  分布符合高斯分布,且在概率为0.5时取得最大值,由  分布期望和方差的公式可知期望和方差分别等于0.5和0.01。
假设参数的先验分布是高斯分布,设置参数  相等  使  分布成为高斯分布,  越大,方差越小。
因此,设置  使参数的先验分布符合你对参数的先验认知。

(2) 上节已经提到,参数的先验分布是  分布时,则先验分布和后验分布形式一样,且可以形成先验链,方便分析问题。

重述贝叶斯思想

关于频率学派和贝叶斯学派对频率的理解可以参考频率学派和贝叶斯学派

贝叶斯思想是量化事件发生的不确定性,是主观评价。不同人评价同一事件发生的概率不同,因为不同人的生活经历不同,对某一事件的先验知识很可能不同,比如一个博士生和一个小学生对某一事件的看法不同;同一个人对同一事件发生的概率也随着自身阅历的增加而不同,例如某个人做了九件好事,你评估他是好人的概率为0.9,当他做了一件大逆不道的事情后,你评估他是好人的概率降到了0.1。贝叶斯评价事件发生的概率带有主观性,因人而异,因阅历而不同。

凡事要讲数据
我们根据自己的阅历对某一事件作一个先验假设,先验假设是否正确需要经过时间的检验,即是否有足够多的观测数据符合先验假设。先验假设和观测数据是影响后验假设的两个因素,若观测数据不符合先验假设,则后验假设在先验假设的基础上开始向观测数据偏斜,若观测的数据为无穷大时,则先验假设可以忽略不计,直接通过观测数据来估计后验假设。因此,贝叶斯思想评价事件发生概率的准则是凡是要讲数据。

抛硬币问题的多情况分析

抛硬币问题的公式说明
在频率学派和贝叶斯学派一文中已经通过例子推导了抛硬币正面向上的后验概率,因此,这里不再推导,只引用一些结论性的公式。 
假设硬币正面向上的概率为u,正面向上记为1,反面向上记为0。则硬币正面向上的先验分布如下:

硬币正面向上的期望:

其中a,b表示虚拟的硬币正面向上的次数和反面向上的次数,根据自己的先验知识来设置a,b值。

若后续的观测结果为m次正面向上,l次反面向上,共N次。

则硬币正面向上的后验分布如下:

硬币为正面向上的概率:

多情况的抛硬币问题
(1) 第1次抛硬币为正面向上的概率;
(2) 9次硬币正面向上,1次反面向上,第十一次硬币正面向上的概率;
(3) 90次硬币正面向上,10次硬币反面向上,求101次正面向上的概率;
(4) 900次硬币正面向上,100次硬币反面向上,求1001次正面向上的概率;

解:
贝叶斯的后验分布受先验分布的影响,不同的先验分布会有不同的后验分布。假设硬币正面向上的分布符合高斯分布(a=10,b=10),高斯分布符合大部分人的思想,认为硬币为正面向上的概率在0.5达到最大,方差表示先验分布的确定程度,若你坚信硬币向上的概率肯定是0.5,那么可以调大a和b的值。

本文就先验分布为高斯分布来解答抛硬币的四个问题。其他先验分布可通过调节a,b的值来实现,后面的计算过程一致。

正面向上的后验概率:

a,b,m,l分别表示先验分布的正面向上次数,反面向上次数,已观测数据的正面向上次数,反面向上次数。

先验分布为高斯分布:
(1) 由于没有任何观测数据,因此第一次正面向上的分布为先验分布,先验分布在参数为0.5时,概率最大,记正面向上的概率为0.5。
(2) 正面向上的概率为:

(3) 计算过程与(2)一样,正面向上的概率:0.83

(4) 正面向上的概率为:0.89

讨论:
频率学派认为硬币向上的概率是0.5,与观测数据无关。贝叶斯学派是通过数据来主观评价硬币向上的概率,由例子可知,即使先验分布符合高斯分布且正面向上的概率在0.5达到最大,但是如果观测数据倾向与正面向上,则最终的判断结果会倾向于正面向上,贝叶斯思想有点像是风往哪边吹树就往哪边倒的意思。当观测结果的正面向上次数远远大于正面向下次数,也远远大于先验分布的正面向下次数,则判断下次为正面向上的概率无限接近1。

总结

本文详细介绍了  分布,通过调节参数a和b使  分布符合假设的先验分布,  分布使后验分布和先验分布为共轭分布,形成先验链,便于分析问题。后面讲的内容是贝叶斯思想,贝叶斯是主观评价事件发生的概率,根据先验知识来假设先验分布,若观测的数据符合先验分布,则后验分布与先验分布类似;若观测数据不符合先验分布,则后验分布开始向观测数据倾斜,若观测数据为无穷大时,那么先验分布可以忽略不计,最大似然函数估计参数与后验分布估计参数相同,直接可以用最大似然函数来估计参数。

用贝叶斯来看看抛硬币的概率相关推荐

  1. 贝叶斯分析:抛硬币的概率真的是1/2吗

    前言 前面两文介绍了贝叶斯学派的思想和先验分布.后验分布的相关知识,古典频率学派认为抛硬币的概率是常数,本文从贝叶斯学派的角度看待抛硬币的概率问题.本文详细介绍了 β分布,重述贝叶斯思想,对于抛硬币的 ...

  2. 什么是贝叶斯定理?朴素贝叶斯有多“朴素”?终于有人讲明白了

    导读:如果有一天,我们知道的统计规律和现实生活发生了冲突,又或者前人的经验不符合亲身经历,那么该怎么办?面对经验与现实的矛盾,我们需要一种应对方案. 作者:徐晟 来源:大数据DT(ID:hzdashu ...

  3. 机器学习(八):CS229ML课程笔记(4)——生成学习,高斯判别分析,朴素贝叶斯

    到目前为止,我们主要学习了学习算法模型:,在给定以θ为参数的x时y的分布.比如说逻辑回归模型:,g是sigmoid function.今天我们学的是一种不同的学习算法--生成学习算法. Part4 生 ...

  4. 人工智能知识全面讲解:垃圾邮件克星——朴素贝叶斯算法

    6.1 什么是朴素贝叶斯 6.1.1 一个流量预测的场景 某广告平台接到小明和小李两家服装店的需求,准备在A.B两个线上渠道 投放广告.因为小明和小李两家店都卖女装,属于同一行业相同品类的广告, 所以 ...

  5. 清晰明了,什么是贝叶斯定理?朴素贝叶斯又是什么?

    什么是贝叶斯定理?朴素贝叶斯又是什么? 一.提出问题? 二.什么是贝叶斯定理 1. 贝叶斯派和频率派 2. 贝叶斯推断与应用 三.朴素贝叶斯有多"朴素" 四.每个人都懂贝叶斯 来源 ...

  6. 参数估计:贝叶斯思想和贝叶斯参数估计

    http://blog.csdn.net/pipisorry/article/details/51471222 贝叶斯与频率派思想 频率派思想 长久以来,人们对一件事情发生或不发生,只有固定的0和1, ...

  7. sklearn学习-朴素贝叶斯(二)

    文章目录 一.概率类模型的评估指标 1.布里尔分数Brier Score 对数似然函数Log Loss 二. calibration_curve: 校准可靠性曲线 三.多项式朴素贝叶斯以及其变化 四. ...

  8. sklearn中的朴素贝叶斯

    1 概述 1.1 真正的概率分类器 在许多分类算法应用中,特征和标签之间的关系并非是决定性的.如想预测一个人究竟是否能在泰坦尼克号海难中生存下来,可以建一棵决策树来学习训练集.在训练中,其中一个人的特 ...

  9. (10) 朴素贝叶斯

    文章目录 1 概述 2 不同分布下的贝叶斯 2.1 高斯朴素贝叶斯GaussianNB 2.1.1 认识高斯朴素贝叶斯 2.1.2 探索贝叶斯:高斯朴素贝叶斯擅长的数据集 2.1.3 探索贝叶斯:高斯 ...

最新文章

  1. python潜力开源项目_比较了1000多个Python开源项目,精选出这34个
  2. 优秀的 Java 项目是如何分层的?
  3. 【c语言】蓝桥杯算法提高 勾股数
  4. Brian Kelly:比特币现金发展基金是大利好,现在正是买入时机
  5. oracle数据提交不上去,oracle数据库命令窗口执行了语句但是没有提交会有什么影响吗...
  6. 初学web开发需要掌握哪些方面?
  7. 字符串之括号的有效性
  8. ideal2018提示内存不足_基于IDEA2018卡死不动的解决方式(好用)
  9. ubuntu16.04升级 vim 8.0
  10. kafka java消费者消息拉取
  11. 使用autoit实现自动加域
  12. Android 系统(61)---LCD 屏幕分辨率
  13. JVM 运行机制及基本原理
  14. Exchange Server 2016 独立部署/共存部署 (七)—— DAG功能测试
  15. 进入多个页签_俄罗斯学生落地签如何办理?
  16. 无需Docker, 5分钟徒手DIY 一个Linux容器
  17. jdbc 连接oracle 数据库格式
  18. 爬虫---高性能爬虫
  19. stc12c5a60s ds1302时钟
  20. 第一章 语言处理与python

热门文章

  1. python登陆界面代码_python编辑用户登入界面的实现代码
  2. c语言两个变量相乘出现乱码,C语言,矩阵的乘法运算程序,输出一堆乱码,求大神看看哪里错了。。...
  3. java上传文件至nas_使用JCIFS上传文件至NAS设备(Logon failure: unknown user name or bad password)解决...
  4. 简介Linux磁盘管理与文件系统
  5. python笔记之序列(str的基本使用和常用操作)
  6. linux删除目录是显示非空,Linux删除非空目录
  7. css如何让滚轮滚动时 不让页面滚动_中国第五届 CSS 大会参会总结
  8. @scheduled只执行一次_SpringBoot第四篇:定时任务@Scheduled
  9. c 语言 double 除法_这是我的C语言入门笔记
  10. tensorflow gpu利用率低_「动手学习Tensorflow」- Tensorflow综述I