频率学派与贝叶斯学派的区别

有人学了多年统计说不清楚频率学派与贝叶斯学派的区别，什么主观对客观啦，什么似然
函数对后验概率啦，那些都是现象，不是本质。两者本质上的区别是：频率学派把未知参
数看作普通变量，把样本看作随机变量；而贝叶斯学派把一切变量看作随机变量。
数学与统计学最大的区别在于数学研究的是变量，而统计学研究的是随机变量。对统计学
家来说，把一切变量看作随机变量是更自然的事。
如果说贝叶斯学派是纯粹的统计学家，那么频率学派就是数学统计学家，尚处在从数学向
统计学过渡的中间阶段，好比蝌蚪。既然你已经从鱼变成了青蛙，为什么还要保留尾巴呢
？
如果一切变量都是随机变量的话，那么频率学派的很多概念就失去了意义。比如无偏估计
。
若E(T)=t则说统计量T是未知参数t的unbiased estimator。如果参数t是随机变量，那个
等号就毫无意义，因为统计量T的期望E(T)是一个数量，它不可能等于一个随机变量，除
了trivial的情况下。
另外，在对置信区间的含义作解释时，也不用像频率学派那样费劲。什么未知参数是未知
而固定的值，而区间是随机区间，因为区间的端点是统计量，因而也是随机变量，每次随
着观测样本的不同，我们所得到的区间估计也不一样，当试验次数足够大时，大约有95%
的区间包含那个固定的未知参数。多么麻烦！为了能够自圆其说而绕来绕去。
历史上贝叶斯学派一直沉寂主要原因是贝叶斯学派要计算的后验概率非常烦琐，推导来推
导去，最后很多结果没有显式表示。在计算机高度发展的今天以及各种蒙特卡罗数值算法
的引入与普及，贝叶斯学派终将占据统治地位，那时的统计学将是纯粹的统计学。

发信人: yeren (野人), 信区: Statistics
标题: Re: Frequentist and Bayesian
发信站: Unknown Space - 未名空间 (Fri Nov 14 22:32:55 2003) WWW-POST

呵呵，我不同意你的观点。
先申明我也是Bayesian(or Empirical Bayesian).

频率学派与贝叶斯学派的区别主要是是否允许先验概率分布的使用。
频率学派并不把所有参数看作普通变量（我想应该是known or unknown fixed
variable,姑且用你的名词），比如hierarchical model和random effect model。
而贝叶斯学派在先验分布中也有普通变量,比如hyperprior parameter。

你对无偏估计的论断我也不同意，因为你的定义本身不合理。如果t是随机变量，
你可以用E[T|t]=t,或者在由边际分布得到E[T]=m，一个独立于t的量。

贝叶斯的好处在于贝叶斯的推断问题相对简单，点估计，区间估计和假设检验
全部可以由后验分布得到，尤其是计算机技术的发展和MCMC方法的出现使得
非共轭后验分布的使用和计算成为可能。而且它的理论架构天然符合人渐进
的认识规律。我今天早上刚好还想到可以用“时时勤拂拭，莫使惹尘埃”来
形容贝叶斯学派，恰不恰当大家看看。

但是贝叶斯(Full Bayesian)的问题在于，无信息先验已经被证明是不存在的。所有的先
验
在参数变换后都不可避免的带有主观性。而频率学派用最大似然估计(MLE)则没有这个
问题。频率学派的困难在于如何利用前人已有经验和枢轴统计量的构造。

几十年来两个学派争论不休，都曾经相互断言对方的必将灭亡，但目前都还看不到
迹象。而这期间两者的折衷经验贝叶斯倒发展起来了。经验贝叶斯与传统贝叶斯的
不同是，它用数据来估计(marginal maximum likelihood estimator,MMLE)先验
分布中的参数。因此它为一些频率学派学者所接受。

除了贝叶斯学派和频率学派，还有似然学派。似然学派主张用MLE和LR(likelihood
ratio)
作为推断基础，废除广为使用的p-value。但是似然学派方法应用太难，好象目前看不到
什么曙光（对似然学派我也太清楚，欢迎批驳）。

总之，我觉得贝叶斯学派和频率学派的争论就好象光学波动论和粒子论的争论，也许
最后会有一个更好的框架来统一它（似然学派自认为能担此重任),希望我有生之年
能看到。

频率学派与贝叶斯学派的区别相关推荐

频率学派与贝叶斯学派（先验分布与后验分布，MLE和MAP）
频率学派(古典学派)和贝叶斯学派是数理统计领域的两大流派. 这两大流派对世界的认知有本质的不同:频率学派认为世界是确定的,有一个本体,这个本体的真值是不变的,我们的目标就是要找到这个真值或真值所在的范 ...
频率学派和贝叶斯学派的参数估计
一频率学派与贝叶斯学派的区别二频率学派的参数估计极大似然估计 1 离散随机变量的似然函数 2 连续随机变量的似然函数 3 最大似然估计一般求解过程三贝叶斯学派的参数估计最大后验估计贝叶 ...
概率学派和贝叶斯学派的区别
前言对于一个数学模型来说,最主要的莫过于根据观察到的数据进行模型的参数估计了,而概率学派和贝叶斯学派对于这个参数估计有着不同的做法,接下来我们讨论下.如有谬误,请联系指正.转载请注明出处. ∇ \n ...
频率学派和贝叶斯学派的一些区别
很多人能讲出一大堆哲学理论来阐明这一对区别. 但我觉得,从工程师角度来讲,这样理解就够了: 频率 vs 贝叶斯 = P(X;w) vs P(X|w) 或 P(X,w) 你是把参数当作一个待确认系数还 ...
频率学派和贝叶斯学派区别浅谈
区别往大里说,世界观就不同,频率派认为参数是客观存在,不会改变,虽然未知,但却是固定值:贝叶斯派则认为参数是随机值,因为没有观察到,那么和是一个随机数也没有什么区别,因此参数也可以有分布,个人认为这 ...
从一个例子看频率学派与贝叶斯学派的不同（Python）
考虑如下的一个游戏场景: setup: Alice and Bob enter a room. Behind a curtain there is a billiard table, which th ...
再谈贝叶斯学派与频率学派的区别
频率主义(Frequentism)与贝叶斯主义(Bayesianism)的哲学辨异与实践(Python仿真) 从 Beta_Binomial共轭分布开始说起: Beta(p|α,β)+BinomCou ...
频率学派（似然估计）与贝叶斯学派（后验估计）
"若是心怀旧梦,就别再无疾而终!" 频率学派与贝叶斯学派作为统计学的两大学派,由于对统计推断的观点不一致,相应的方法也不一样.本文主要小结两派思想的区别,并结合实例对两种思想对应 ...
关于概率中的贝叶斯学派和频率学派的各种解释
通过举例进行解释频率学派需要做大量实验才能给出结论,比如为了得到抛硬币正面朝上的概率,通过抛100次硬币,用硬币正面向上的次数除以100. 贝叶斯概率论假设观察者对某事件处于某个知识状态中(刚开始先 ...
浅析概率中的频率学派观点和贝叶斯学派观点
使用随机事件的发生的频率描写叙述概率的方法,就是通常说的古典概型.或者称为频率学派. 另外有一个更加综合的观点就是贝叶斯学派.在贝叶斯学派的观点下概率表示的是事件的不确定性大小. 使用 ...

频率学派与贝叶斯学派的区别

频率学派与贝叶斯学派的区别相关推荐

最新文章

热门文章