贝塔分布与狄利克雷分布

文章目录

0. 补充知识
- 0.1 贝塔函数 B(P,Q)\Beta(P, Q)B(P,Q)
- 0.2 伽马函数 Γ(x)\Gamma(x)Γ(x)
1. 贝塔分布 (Beta Distribution)
- 1.1 概率密度函数PDF
- 1.2 累积分布函数CDF
- 1.3 数字特征
2. 狄利克雷分布 (Dirichlet Distribution)
- 2.1 概率密度函数PDF
- 2.2 数字特征

0. 补充知识

0.1 贝塔函数 B(P,Q)\Beta(P, Q)B(P,Q)

贝塔函数也称为欧拉第一积分，定义为：
B(P,Q)=∫01xP−1(1−x)Q−1dx(P>0,Q>0)\begin{aligned} \Beta(P,Q) = \int_0^1x^{P-1}(1-x)^{Q-1}dx \quad (P>0,Q>0) \end{aligned}B(P,Q)=∫01xP−1(1−x)Q−1dx(P>0,Q>0)
若将贝塔函数变为不定积分，则有不完全贝塔函数Bx(P,Q)\Beta_x(P,Q)Bx(P,Q)
Bx(P,Q)=∫0xuP−1(1−u)Q−1du(0≤x≤1,P>0,Q>0)\begin{aligned} \Beta_x(P,Q) = \int_0^xu^{P-1}(1-u)^{Q-1}du \quad (0\le x \le 1,P>0,Q>0) \end{aligned}Bx(P,Q)=∫0xuP−1(1−u)Q−1du(0≤x≤1,P>0,Q>0)

0.2 伽马函数 Γ(x)\Gamma(x)Γ(x)

伽马函数也称为欧拉第二积分，定义为：
Γ(x)=∫0+∞tx−1e−tdt(x>0)=2∫0+∞t2x−1e−t2dt\begin{aligned} \Gamma(x) &= \int_0^{+\infin}t^{x-1}e^{-t}dt \quad (x>0)\\ &= 2\int_0^{+\infin} t^{2x-1}e^{-t^2}dt \end{aligned}Γ(x)=∫0+∞tx−1e−tdt(x>0)=2∫0+∞t2x−1e−t2dt
伽马函数的一些性质：

Γ(x+1)=xΓ(x)\Gamma(x+1) = x\Gamma(x)Γ(x+1)=xΓ(x)
Γ(n)=(n−1)!\Gamma(n) = (n-1)!Γ(n)=(n−1)!
Γ(12)=π\Gamma(\frac{1}{2})=\sqrt{\pi}Γ(21)=π
与β\betaβ函数的关系：B(m,n)=Γ(m)Γ(n)Γ(m+n)\Beta(m,n)=\frac{\Gamma(m)\Gamma(n)}{\Gamma(m+n)}B(m,n)=Γ(m+n)Γ(m)Γ(n)

1. 贝塔分布 (Beta Distribution)

贝塔分布，也称为B\BetaB分布，定义在(0,1)(0,1)(0,1)区间上，有两个参数α,β>0\alpha,\beta \gt 0α,β>0,随机变量服从贝塔分布一般写作 X∼Be(α,β)X\sim \text{Be}(\alpha,\beta)X∼Be(α,β)

1.1 概率密度函数PDF

f(x;α,β)=xα−1(1−x)β−1∫01uα−1(1−u)β−1du=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1=1B(α,β)xα−1(1−x)β−1\begin{aligned} f(x;\alpha,\beta) &= \frac{x^{\alpha-1}(1-x)^{\beta-1}}{\int_0^1u^{\alpha-1}(1-u)^{\beta-1}du}\\ &= \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\\ &=\frac{1}{B(\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1} \end{aligned}f(x;α,β)=∫01uα−1(1−u)β−1duxα−1(1−x)β−1=Γ(α)Γ(β)Γ(α+β)xα−1(1−x)β−1=B(α,β)1xα−1(1−x)β−1

1.2 累积分布函数CDF

F(x;α,β)=Bx(α,β)B(α,β)\begin{aligned} F(x;\alpha,\beta) = \frac{\Beta_x(\alpha,\beta)}{\Beta(\alpha,\beta)} \end{aligned}F(x;α,β)=B(α,β)Bx(α,β)
其中，Bx(α,β)\Beta_x(\alpha,\beta)Bx(α,β)为不完全贝塔函数，定义为：

1.3 数字特征

期望： μ=E(X)=αα+β\mu=E(X)=\frac{\alpha}{\alpha+\beta}μ=E(X)=α+βα
方差： Var(X)=E((X−μ)2)=αβ(α+β)2(α+β+1)Var(X)=E((X-\mu)^2)=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}Var(X)=E((X−μ)2)=(α+β)2(α+β+1)αβ

2. 狄利克雷分布 (Dirichlet Distribution)

狄利克雷分布是贝塔分布的多元推广，对于ddd维的狄利克雷分布，共有ddd个参数。
狄利克雷分布是关于一组ddd个连续变量μi∈[0,1]\mu_i\in[0,1]μi∈[0,1]的概率分布；或者说是一个ddd维向量的概率分布，其中向量元素μi∈[0,1]\mu_i\in[0,1]μi∈[0,1]，且有∑i=1dμi=1\sum_{i=1}^d\mu_i=1∑i=1dμi=1。

2.1 概率密度函数PDF

记μ=(μ1;μ2;⋯;μd)\boldsymbol{\mu} = (\mu_1;\mu_2;\cdots;\mu_d)μ=(μ1;μ2;⋯;μd)。
令参数α=(α1;α2;⋯;αd)\boldsymbol{\alpha}=(\alpha_1;\alpha_2;\cdots;\alpha_d)α=(α1;α2;⋯;αd)，α^=∑i=1dαi\hat{\alpha} = \sum_{i=1}^d\alpha_iα^=∑i=1dαi，且有 αi>0\alpha_i > 0αi>0

狄利克雷分布定义为：
p(μ1,μ2,…,μd∣α1,α2,…,αd)=p(μ∣α)=Dir(μ∣α)=Γ(α^)Γ(α1)Γ(α2)⋯Γ(αd)∏i=1dμiαi−1=Γ(α^)∏i=1dΓ(αi)∏i=1dμiαi−1\begin{aligned} p(\mu_1,\mu_2,\dots,\mu_d|\alpha_1,\alpha_2,\dots,\alpha_d) &= p(\boldsymbol{\mu}|\boldsymbol{\alpha}) = \text{Dir}(\boldsymbol{\mu}|\boldsymbol{\alpha})\\ &= \frac{\Gamma(\hat{\alpha})}{\Gamma(\alpha_1)\Gamma(\alpha_2)\cdots\Gamma(\alpha_d)}\prod_{i=1}^d\mu_i^{\alpha_i-1}\\ &= \frac{\Gamma(\hat{\alpha})}{\prod_{i=1}^d\Gamma(\alpha_i)}\prod_{i=1}^d\mu_i^{\alpha_i-1} \end{aligned}p(μ1,μ2,…,μd∣α1,α2,…,αd)=p(μ∣α)=Dir(μ∣α)=Γ(α1)Γ(α2)⋯Γ(αd)Γ(α^)i=1∏dμiαi−1=∏i=1dΓ(αi)Γ(α^)i=1∏dμiαi−1
显然，当d=2d=2d=2时，狄利克雷分布退化为贝塔分布。

2.2 数字特征

期望：E[μi]=αiα^\mathbb{E}[\mu_i] = \frac{\alpha_i}{\hat{\alpha}}E[μi]=α^αi
方差：Var[μi]=αi(α^−αi)α^(α^+1)Var[\mu_i] = \frac{\alpha_i(\hat{\alpha}-\alpha_i)}{\hat{\alpha}(\hat{\alpha}+1)}Var[μi]=α^(α^+1)αi(α^−αi)