二项分布与Beta分布的共轭性

因为多项分布与Dirichlet分布分别是二项分布与Beta分布从一元到多元的推广，所以在探讨多项分布与Dirichlet分布的共轭性之前，我们有必要先看看二项分布与Beta分布的共轭性：

假设N∼Binom(n,p)N\sim Binom(n,p)N∼Binom(n,p)，其中p∼Beta(α,β)p \sim Beta(\alpha,\beta)p∼Beta(α,β)，则
π(p∣N=m)=π(N=m∣p)π(p)m(N=m)=Cnm(1−p)n−mpmΓ(α+β)pα−1(1−p)β−1Γ(α)Γ(β)∫01Γ(α+β)Γ(α)Γ(β)Cnm(1−p)n−mpmpα−1(1−p)β−1dp∝pm+α−1(1−p)n−m+β−1\pi(p|N=m)=\frac{\pi(N=m|p)\pi(p)}{m(N=m)} \\ =\frac{C_n^m(1-p)^{n-m}p^m\Gamma(\alpha+\beta)p^{\alpha-1}(1-p)^{\beta-1}}{\Gamma(\alpha)\Gamma(\beta)\int_{0}^1 \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}C_n^m(1-p)^{n-m}p^mp^{\alpha-1}(1-p)^{\beta-1}dp} \\ \propto p^{m+\alpha-1}(1-p)^{n-m+\beta-1}π(p∣N=m)=m(N=m)π(N=m∣p)π(p)=Γ(α)Γ(β)∫01Γ(α)Γ(β)Γ(α+β)Cnm(1−p)n−mpmpα−1(1−p)β−1dpCnm(1−p)n−mpmΓ(α+β)pα−1(1−p)β−1∝pm+α−1(1−p)n−m+β−1

这是Beta分布的kernel，因此
p∣N=m∼Beta(α+m,β+n−m)p|N=m \sim Beta(\alpha+m,\beta+n-m)p∣N=m∼Beta(α+m,β+n−m)

Dirichlet分布与多项分布的共轭性

假设随机向量X=(X1,⋯,Xd)X=(X_1,\cdots,X_d)X=(X1,⋯,Xd)服从多项分布MN(n,p)MN(n,p)MN(n,p)，其中p=(p1,⋯,pd)Tp=(p_1,\cdots,p_d)^Tp=(p1,⋯,pd)T，并且p∼Dir(α)p \sim Dir(\alpha)p∼Dir(α)，其中α=(α1,⋯,αd)T\alpha=(\alpha_1,\cdots,\alpha_d)^Tα=(α1,⋯,αd)T；
P(X=x∣p)=n!x1!⋯xd!∏i=1dpixi,x∈Δd−1P(X=x|p)=\frac{n!}{x_1!\cdots x_d!}\prod_{i=1}^d p_i^{x_i},x \in \Delta^{d-1}P(X=x∣p)=x1!⋯xd!n!i=1∏dpixi,x∈Δd−1

其中x1+⋯+xd=nx_1+\cdots+x_d=nx1+⋯+xd=n，且所有的xix_ixi都是非负整数；
π(p)=Γ(∑i=1dαi)∏i=1dΓ(αi)∏i=1dpiαi\pi(p)=\frac{\Gamma(\sum_{i=1}^d \alpha_i)}{\prod_{i=1}^d \Gamma(\alpha_i)}\prod_{i=1}^d p_i^{\alpha_i}π(p)=∏i=1dΓ(αi)Γ(∑i=1dαi)i=1∏dpiαi

且p∈Δd−1p \in \Delta^{d-1}p∈Δd−1，
Δd−1={x∈Rd:x1+⋯+xd=1,x≥0}\Delta^{d-1}=\{x \in \mathbb{R}^d:x_1+\cdots+x_d=1,x \ge 0\}Δd−1={x∈Rd:x1+⋯+xd=1,x≥0}

于是
π(p∣X=x)∝P(X=x∣p)π(p)∝∏i=1dpiαi+xi\pi(p|X=x) \propto P(X=x|p)\pi(p) \propto \prod_{i=1}^d p_i^{\alpha_i+x_i}π(p∣X=x)∝P(X=x∣p)π(p)∝i=1∏dpiαi+xi

因此
p∣X=x∼Dir(α+x)p|X=x \sim Dir(\alpha+x)p∣X=x∼Dir(α+x)

后验均值为
E[pi∣X]=αi+xin+∑i=1dαi,i=1,⋯,dE[p_i|X]=\frac{\alpha_i+x_i}{n+\sum_{i=1}^d \alpha_i},i=1,\cdots,dE[pi∣X]=n+∑i=1dαiαi+xi,i=1,⋯,d

Dirichlet分布与多项分布的共轭性相关推荐

关于Beta分布、二项分布与Dirichlet分布、多项分布的关系
from:http://blog.csdn.net/u010140338/article/details/41344853 From : http://www.cnblogs.com/wybang/p ...
伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布
https://blog.csdn.net/michael_r_chang/article/details/39188321 https://www.cnblogs.com/wybang/p/3206 ...
伯努利分布、二项分布、Beta分布、多项分布和Dirichlet分布与他们之间的关系，以及在LDA中的应用
在看LDA的时候,遇到的数学公式分布有些多,因此在这里总结一下思路. 一.伯努利试验.伯努利过程与伯努利分布先说一下什么是伯努利试验: 维基百科伯努利试验中: 伯努利试验(Bernoulli tri ...
机器学习的数学基础（1）--Dirichlet分布
这一系列(机器学习的数学基础)主要包括目前学习过程中回过头复习的基础数学知识的总结. 基础知识:conjugate priors共轭先验共轭先验是指这样一种概率密度:它使得后验概率的密度函数与先验概 ...
概率分布（多项分布，Dirichlet分布）
在机器学习领域中,概率模型是一个常用的利器.用它来对问题进行建模,有几点好处:1)当给定参数分布的假设空间后,可以通过很严格的数学推导,得到模型的似然分布,这样模型有很好的概率解释:2)可以利用现有的 ...
UA MATH564 概率论 Dirichlet分布
UA MATH564 概率论 Dirichlet分布在UA MATH564 概率论IV 次序统计量中,我们介绍了均匀分布U(0,1)U(0,1)U(0,1)的多个次序统计量的联合分布就是Dirich ...
概率分布之Beta分布与Dirichlet分布
Beta分布与Dirichlet分布的定义域均为[0,1],在实际使用中,通常将两者作为概率的分布,Beta分布描述的是单变量分布,Dirichlet分布描述的是多变量分布,因此,Beta分布可作为二 ...
Dirichlet分布
1.预备知识 Beta分布函数是一种定义在实数区间[0,1]的特殊函数,它是二项式分布的共轭分布:与Beta分布相同,Dirichlet分布也是定义在实数区间[0,1]的概率度量函数,Dirichle ...
Dirichlet分布的推导与理解
1.概述 Dirichlet 分布与贝塔分布.伽马分布有着紧密的联系,在贝叶斯统计中经常被用作其它概率分布如多项分布的先验分布,且在LDA分析中得到了广泛应用,本文结合直观理解以及详细的数学推导得到狄 ...

Dirichlet分布与多项分布的共轭性

Dirichlet分布与多项分布的共轭性

二项分布与Beta分布的共轭性

Dirichlet分布与多项分布的共轭性

Dirichlet分布与多项分布的共轭性相关推荐

最新文章

热门文章