Beta-Binomial 共轭

接上文认识 Beta 分布.

上文通过一个简单的小游戏，我们最终得到Beta分布的概率密度：

B(x|α,β)=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1

B(x|\alpha, \beta)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}
Beta分布对应的一个现实中的例子为， α=k,β=n−k+1\alpha=k,\beta=n-k+1， B(x|α,β)B(x|\alpha,\beta)表示 nn个独立的服从0-1均匀分布（U[0,1]U[0,1]）的随机变量，第 kk大的随机变量的概率分布。也即：

B(X(n,k)|α=k,β=n−k+1)==Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1n!(k−1)!(n−k)!xk−1(1−x)n−k

\begin{split} B(X_{(n,k)}|\alpha=k,\beta=n-k+1)=&\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\\ =&\frac{n!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k} \end{split}

回到游戏上来：

f(Xn=10,k=7)=10!6!3!x6(1−x)3

f(X_{n=10,k=7})=\frac{10!}{6!3!}x^6(1-x)^3
假如我们第一次没有猜中，此时，游戏的发起者说：“让仁慈的我，给你 一些提示（先验），让请你按5次，获得5个 [0,1][0,1]之间的随机数，然后我可以告诉你这五个数中的每一个和前面得到的10个数中第7大的数相比，谁大谁小，然后请你继续猜第7大的数是多少”。

此时问题抽象为数学表达即为：
1. X1,X2,…,XnX_1,X_2,\ldots,X_n 独立同分布于 U[0,1]U[0,1]，排序后对应的顺序统计量为 X(1),X(2),…,X(n)X_{(1)},X_{(2)},\ldots,X_{(n)}，我们感兴趣的猜测是 p=X(k)p=X_{(k)}
2. Y1,Y2,…,YmY_1,Y_2,\ldots,Y_m独立同分布于 U[0,1]U[0,1]，其中 m1m_1个比 pp小，m2m_2个比pp大
3. 问 P(p|Y1,Y2,…,Ym)P(p|Y_1,Y_2,\ldots,Y_m)的分布是什么？

由于 p=X(k)p=X_{(k)}在X1,X2,…,XnX_1,X_2,\ldots,X_n中是第 kk大的，利用YiY_i的信息，我们容易得到 p=X(k)p=X_{(k)}在X1,X2,…,Xn,Y1,Y2,…,YmX_1,X_2,\ldots,X_n,Y_1,Y_2,\ldots,Y_m这 (m+n)(m+n)个独立同 U[0,1]U[0,1]的随机变量中第 m1+km_1+k大的，于是按照之前的上篇博客得到的结论，此时 p=X(k)p=X_{(k)}的概率密度函数为 Beta(p|α=m1+k,β=n+m−m1−k+1=n+m2+1−k)Beta(p|\alpha=m_1+k,\beta=n+m-m_1-k+1=n+m2+1-k)，按照贝叶斯推理（Bayesian inference）的逻辑，我们把以上变量或者记号与贝叶斯推理上下文下的说法做对应：

p=X(k)p=X_{(k)}是我们要推测的参数，我们推导出 pp的分布为 f(p)=\Beta(p|α=k,β=n−k+1)f(p)=\Beta(p|\alpha=k,\beta=n-k+1)，称为 pp的先验分布；
数据 YY中有 m1m_1个比 pp小，有m2m_2个比 pp大，相当于对 YY做 mm次伯努利试验，所以 m1m_1服从二项分布 B(m,p)B(m,p)
在给定了来自数据提供的 (m1,m2)(m_1,m_2)的知识后，pp的后验分布变为f(p|m1,m2)=B(p|α=m1+k,β=n+m2+1−k)f(p|m_1,m_2)=B(p|\alpha=m_1+k,\beta=n+m_2+1-k)

等等，也即是服从二项分布的先验与服从Beta分布的似然相互作用得到了服从beta分布的后验。这是什么呀？共轭分布呗。

Beta-Binomial 共轭相关推荐

概率分布详解 Bernoulli、Binomial、Beta
Bernoulli.Binomial.Beta 分布详解本文关注离散随机变量 discrete random variable 相关的分布:相对的,连续随机变量 continuous random ...
PRML - Chapter 02 Probability Distributions
PRML - Chapter 02 Probability Distributions 提纲重点密度估计充分统计量高斯分布 ( 建议充分熟悉 ) 难点贝叶斯估计多元高斯分布指数族分布共 ...
MATLAB统计与回归
11.1 前言統計的技巧與資料分析常常形影不離.一般統計使用加法.累加法.平均值,中間值等等,由於處理的對象是矩陣資料,故其基本統計之技巧已經廣為應用,其觀念也會在正常之運作中出現.統計學中比較特殊 ...
翻译: 2.7. 如何利用帮助文档深入神经网络 pytorch
由于本书篇幅的限制,我们不可能介绍每一个 PyTorch 函数和类(你可能不希望我们这样做).API 文档和其他教程和示例提供了本书之外的大量文档.在本节中,我们为您提供一些探索 PyTorch AP ...
查询pytorch文档的实用方法
查阅文档对于pytorch,一些函数可能不是很熟悉,这里给出查阅函数文档的方法查找模块中的所有函数和类为了知道模块中可以调用哪些函数和类,我们调用dir函数.例如,我们可以(查询随机数生成模块中 ...
【李沐：动手学深度学习pytorch版】第2章：预备知识
第2章预备知识 2.1 数据操作 2.1.1 入门导入的是torch而不是pytorch import torch 一个数叫标量一个轴叫向量两个轴叫矩阵 arange # 生成行向量 x = ...
动手学习深度学习——2.7 文档（Pytorch）
2.7 文档(Pytorch) 由于本书篇幅的限制,我们不可能介绍每一个单独的[PyTorch]函数和类.API文档,其他教程和示例提供了许多本书之外的文档.在本节中,我们将为您提供一些探索[Py ...
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（3）前言（介绍各种机器学习问题）以及数据操作预备知识Ⅲ（概率）
开源项目地址:d2l-ai/d2l-zh 教材官网:https://zh.d2l.ai/ 书介绍:https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本,书及代码下载地址在 ...
【机器学习】Python秘密武器之Numpy
P ython是一个优秀的通用性编程语言,站在AI的风口,光芒四射,更是借助开源流行库(NumPy, SciPy, Matplotlib, Pandas等),成为强大的科学计算,机器学习首选环境.前面 ...
【Mixup】《Mixup：Beyond Empirical Risk Minimization》
ICLR-2018 文章目录 1 Background and Motivation 2 Related Work 3 Advantages / Contributions 4 Method 5 Ex ...

Beta-Binomial 共轭

Beta-Binomial 共轭相关推荐

最新文章

热门文章