贝叶斯学派与频率学派有何不同?
本文为最近读有关贝叶斯统计学书籍的备忘录,写成于因大雪长时间停滞在济南的高铁上。
伟大的先知总是被自己的时代遗弃,比如遗传学之父孟德尔,比如统计学家贝叶斯牧师。
学《概率论》的时候,只是为了把这门课对付过去,过了1年重新读这方面的书籍又能重新感到其中的奥妙。统计学与其说是数学的一个分支,不如说更像是一种看待世界的方式和思想。其推理的核心方式是归纳式的,而非演绎式的,既然非演绎,那便很难建立起一套大家都认可的公理系统(如欧式几何),于是分歧便再所难免。
统计推断的基本模式大致如下:
样本X的分布或概率密度函数依赖于未知参数 ,但是只知道 属于某一集合 ,但不知它取 中的何值?
统计推断的任务就是对 值做某种论断,或者判断 是否落在 的某个指定子集之内?
如何做这个判断与推论大致有以下两种方法:
参数 固定,样本X为随机,概率计算针对X的分布进行,着眼点是样本空间。该类学派被称为频率学派,是统计学中较为经典直至现在还算比较老牌主流的学说。
参数 为随机变量,而样本X为固定,概率计算着重是参数 的分布,着眼点是参数空间。该学派被称为贝叶斯学派。
了解任何一个学派的精髓在于知道其最基本的假设。
课本中对贝叶斯学派的介绍较少,好像仅限于条件概率的公式,但是条件概率这个问题究竟意味着什么?求条件概率的等价语言为把参数 看成随机变量。在这里基本的假设就要出现了:要知道 的条件分布就必须知道 的无条件分布,即没有观察到任何样本值前 的分布。
贝叶斯首先定义了“概率”这个概念:概率即为某种未知情况做出可能性大小的一种测度。贝叶斯对“无条件分布”的定义方法是:构建了一个台球模型,并将“对 值一无所知”情况下的“无条件分布”数学化成了区间 的均匀分布。当然这个假设受到频率学派的猛烈抨击。当然,这件事情的复杂在于既然是“无条件分布”,那么对 值应该绝对一无所知,应该避免可能的倾向性,在假设中包含的关于 的信息应该越少越好,在极端情况下,信息为0,那么就是“无条件分布”了。
但要命的是如何量化信息,至今没法找到行之有效的办法(香农信息熵是一种重要的尝试)。我曾经尝试着和朋友做过讨论,结果是“谁爱信什么信什么。” @朱宽(346469765)
如此看来假设无条件分布为均匀分布是最能符合“无条件”这三个字传递出来意义的一种方式。
由两种基本假设我们就可以看出两种学派在统计推断思路上的差异了,以最简单的二项分布概率为例:
频率学派:用X在N中观察到的次数去估计 ,即用 衡量。
贝叶斯学派:先验分布(无条件分布)+样本信息=后验分布,在二项分布问题中先验分布为R(0,1)。后验分布可能是任何分布,依据实验和观察结果而定,我们假设其为 分布。余下的统计推断全部根据后验分布决定。比如以一个值估计 ,就可以算后验分布的期望。
下面讲一下表扬和批评。
对贝叶斯学派的批评:
统计推断的结果严重依赖于“不靠谱”的先验分布。
贝叶斯方法缺乏客观性。
表扬:
在某些参数模型且样本量不大的情况下,贝叶斯统计避免了寻求抽样分布的麻烦,应用上比频率统计更方便,这也是为什么国外心理学研究这几年的推论统计开始使用贝叶斯方法。
更符合人类的认知习惯和认识世界的方式,这也是为什么这种方法能广泛应用于机器学习和人工智能等领域,举个生活中的例子。
一个男的追一个女的。男的很清楚结果只有两种:喜剧或者悲剧!但是贝叶斯是以 为研究对象的,所以说你在追女孩的过程中总会根据她对你的一颦一笑、举手投足估计最后悲剧的概率有多大
本文为最近读有关贝叶斯统计学书籍的备忘录,写成于因大雪长时间停滞在济南的高铁上。
伟大的先知总是被自己的时代遗弃,比如遗传学之父孟德尔,比如统计学家贝叶斯牧师。
学《概率论》的时候,只是为了把这门课对付过去,过了1年重新读这方面的书籍又能重新感到其中的奥妙。统计学与其说是数学的一个分支,不如说更像是一种看待世界的方式和思想。其推理的核心方式是归纳式的,而非演绎式的,既然非演绎,那便很难建立起一套大家都认可的公理系统(如欧式几何),于是分歧便再所难免。
统计推断的基本模式大致如下:
样本X的分布或概率密度函数依赖于未知参数 ,但是只知道 属于某一集合 ,但不知它取 中的何值?
统计推断的任务就是对 值做某种论断,或者判断 是否落在 的某个指定子集之内?
如何做这个判断与推论大致有以下两种方法:
参数 固定,样本X为随机,概率计算针对X的分布进行,着眼点是样本空间。该类学派被称为频率学派,是统计学中较为经典直至现在还算比较老牌主流的学说。
参数 为随机变量,而样本X为固定,概率计算着重是参数 的分布,着眼点是参数空间。该学派被称为贝叶斯学派。
了解任何一个学派的精髓在于知道其最基本的假设。
课本中对贝叶斯学派的介绍较少,好像仅限于条件概率的公式,但是条件概率这个问题究竟意味着什么?求条件概率的等价语言为把参数 看成随机变量。在这里基本的假设就要出现了:要知道 的条件分布就必须知道 的无条件分布,即没有观察到任何样本值前 的分布。
贝叶斯首先定义了“概率”这个概念:概率即为某种未知情况做出可能性大小的一种测度。贝叶斯对“无条件分布”的定义方法是:构建了一个台球模型,并将“对 值一无所知”情况下的“无条件分布”数学化成了区间 的均匀分布。当然这个假设受到频率学派的猛烈抨击。当然,这件事情的复杂在于既然是“无条件分布”,那么对 值应该绝对一无所知,应该避免可能的倾向性,在假设中包含的关于 的信息应该越少越好,在极端情况下,信息为0,那么就是“无条件分布”了。
但要命的是如何量化信息,至今没法找到行之有效的办法(香农信息熵是一种重要的尝试)。我曾经尝试着和朋友做过讨论,结果是“谁爱信什么信什么。” @朱宽(346469765)
如此看来假设无条件分布为均匀分布是最能符合“无条件”这三个字传递出来意义的一种方式。
由两种基本假设我们就可以看出两种学派在统计推断思路上的差异了,以最简单的二项分布概率为例:
频率学派:用X在N中观察到的次数去估计 ,即用 衡量。
贝叶斯学派:先验分布(无条件分布)+样本信息=后验分布,在二项分布问题中先验分布为R(0,1)。后验分布可能是任何分布,依据实验和观察结果而定,我们假设其为 分布。余下的统计推断全部根据后验分布决定。比如以一个值估计 ,就可以算后验分布的期望。
下面讲一下表扬和批评。
对贝叶斯学派的批评:
统计推断的结果严重依赖于“不靠谱”的先验分布。
贝叶斯方法缺乏客观性。
表扬:
在某些参数模型且样本量不大的情况下,贝叶斯统计避免了寻求抽样分布的麻烦,应用上比频率统计更方便,这也是为什么国外心理学研究这几年的推论统计开始使用贝叶斯方法。
更符合人类的认知习惯和认识世界的方式,这也是为什么这种方法能广泛应用于机器学习和人工智能等领域,举个生活中的例子。
一个男的追一个女的。男的很清楚结果只有两种:喜剧或者悲剧!但是贝叶斯是以 为研究对象的,所以说你在追女孩的过程中总会根据她对你的一颦一笑、举手投足估计最后悲剧的概率有多大
贝叶斯学派与频率学派有何不同?相关推荐
- 【机器学习】贝叶斯学派与频率学派有何不同?
要说贝叶斯和频率学派,那简直太有意思了.为什么这么说呢?因为两个学派的理解对于我来说真的是一场持久战.我是在学习机器学习的时候接触到的这两个学派,此前并不知道,当时就被深深吸引了,于是找了各种资料学习 ...
- 详解贝叶斯学派与频率学派的区别和联系
大家好,我是东哥. 要说贝叶斯和频率学派,那简直太有意思了.为什么这么说呢?因为两个学派的理解对于我来说真的是一场持久战.我是在学习机器学习的时候接触到的这两个学派,此前并不知道,当时就被深深吸引了, ...
- 再谈贝叶斯学派与频率学派的区别
频率主义(Frequentism)与贝叶斯主义(Bayesianism)的哲学辨异与实践(Python仿真) 从 Beta_Binomial共轭分布开始说起: Beta(p|α,β)+BinomCou ...
- 关于概率中的贝叶斯学派和频率学派的各种解释
通过举例进行解释 频率学派需要做大量实验才能给出结论,比如为了得到抛硬币正面朝上的概率,通过抛100次硬币,用硬币正面向上的次数除以100. 贝叶斯概率论假设观察者对某事件处于某个知识状态中(刚开始先 ...
- 频率学派(似然估计)与贝叶斯学派(后验估计)
"若是心怀旧梦,就别再无疾而终!" 频率学派与贝叶斯学派 作为统计学的两大学派,由于对统计推断的观点不一致,相应的方法也不一样.本文主要小结两派思想的区别,并结合实例对两种思想对应 ...
- 贝叶斯学派和贝叶斯公式
先来看看高教版<概率论与数理统计>中关于"大数定律"的几个定理. (一)贝叶斯学派 贝叶斯学派和频率学派是统计学的两大学派. 频率学派认为,一个事件出现的概率是可以由大 ...
- 浅析概率中的频率学派观点和贝叶斯学派观点
使用随机事件的发生的频率描写叙述概率的方法,就是通常说的古典概型.或者称为频率学派. 另外有一个更加综合的观点就是贝叶斯学派.在贝叶斯学派的观点下概率表示的是事件的不确定性大小. 使用 ...
- 频率学派与贝叶斯学派(先验分布与后验分布,MLE和MAP)
频率学派(古典学派)和贝叶斯学派是数理统计领域的两大流派. 这两大流派对世界的认知有本质的不同:频率学派认为世界是确定的,有一个本体,这个本体的真值是不变的,我们的目标就是要找到这个真值或真值所在的范 ...
- 频率学派和贝叶斯学派的参数估计
一 频率学派与贝叶斯学派的区别 二 频率学派的参数估计 极大似然估计 1 离散随机变量的似然函数 2 连续随机变量的似然函数 3 最大似然估计一般求解过程 三 贝叶斯学派的参数估计 最大后验估计 贝叶 ...
- 频率学派和贝叶斯学派的一些区别
很多人能讲出一大堆哲学理论来阐明这一对区别. 但我觉得,从工程师角度来讲,这样理解就够了: 频率 vs 贝叶斯 = P(X;w) vs P(X|w) 或 P(X,w) 你是把参数当作一个待确认系数 还 ...
最新文章
- NCBI-SRA数据下载
- Matlab语音信号频谱分析代码实现
- SpringMvc多视图整合(jsp、velocity、freemarker)
- get your subscription available at the moments on bilibili
- 三十一、深入Python中的正则表达式
- Java——集合的概述
- 转向Kotlin——数据类和封闭类
- 字符串转换到double数组
- 如何配置CentOS或者RedHat5.X、6.X、7.X的网络yum源
- linux shell之case用法
- 好朋友,记得要经常联系
- mac 设置php时区,mac环境下PHP系统时区设置
- UVA10014 Simple calculations【数列】
- 广域网协议之PPP,HDLC
- CANape |Option Driver Assistance功能详解
- 中兴f477v2超级管理员_中兴f677v2联通光猫超级密码及登录地址
- 利用java统计每天用户升级手机App信息
- iOS获取局域网的IP
- 雨林木风(Ylmf OS)操作系统 点评
- Qt删除文件和文件夹
热门文章
- PAT (Basic Level) Practice 1006 换个格式输出整数
- Unicode字符集和编码方式
- HDU4681 String(dp)
- Silverlight DataGrid 在显示数据, 如果遇到全角的符号, 好像会出错. 待测试.
- Python 序列化模块(json,pickle,shelve)
- 项目过程的几点经验总结
- 使用nvDXT.exe把图片转换成dds图片【转】
- [No00005A]word多文档合一
- IOS开发之----四舍五入问题
- [英语]工作邮件中超实用的100句英文