贝叶斯公式

假设XXX是概率空间(X,B(X),Pθ)(\mathcal{X},\mathcal{B}(\mathcal{X}),P_{\theta})(X,B(X),Pθ)上的随机变量，X⊂Rn\mathcal{X} \subset \mathbb{R}^nX⊂Rn，它表示一组简单随机样本X1,⋯,Xn∼f(x∣θ)X_1,\cdots,X_n \sim f(x|\theta)X1,⋯,Xn∼f(x∣θ)，θ\thetaθ是分布的参数，θ∈Θ\theta \in \Thetaθ∈Θ，Θ\ThetaΘ被称为参数空间。参数空间与其Borel σ\sigmaσ-代数构成一个可测空间(Θ,B(Θ))(\Theta,\mathcal{B}(\Theta))(Θ,B(Θ))，用Cap(Θ,B(Θ))Cap(\Theta,\mathcal{B}(\Theta))Cap(Θ,B(Θ))表示参数空间上所有可能的概率测度的集合，对于Pπ∈Cap(Θ,B(Θ))P_{\pi} \in Cap(\Theta,\mathcal{B}(\Theta))Pπ∈Cap(Θ,B(Θ))，称测度PπP_{\pi}Pπ导出的密度为参数θ\thetaθ的一个先验密度，记为π(θ)=Pπ(dθ)/dθ\pi(\theta) = P_{\pi}(d \theta)/d \thetaπ(θ)=Pπ(dθ)/dθ，它与f(x∣θ)f(x|\theta)f(x∣θ)共同决定参数与样本的联合密度：
f(x,θ)=f(x∣θ)π(θ)f(x,\theta) = f(x|\theta)\pi(\theta)f(x,θ)=f(x∣θ)π(θ)
给定一组样本，参数的后验密度是
π(θ∣x)=f(x,θ)f(x)=f(x∣θ)π(θ)∫Θf(x∣θ)π(θ)dθ∝f(x∣θ)π(θ)\pi(\theta|x) = \frac{f(x,\theta)}{f(x)} = \frac{f(x|\theta)\pi(\theta)}{\int_{\Theta }f(x|\theta)\pi(\theta)d\theta} \propto f(x|\theta)\pi(\theta)π(θ∣x)=f(x)f(x,θ)=∫Θf(x∣θ)π(θ)dθf(x∣θ)π(θ)∝f(x∣θ)π(θ)
这个公式叫贝叶斯公式，f(x∣θ)π(θ)f(x|\theta)\pi(\theta)f(x∣θ)π(θ)叫后验密度的核，根据这个可以确定θ\thetaθ的分布形式。

例1 假设一个硬币掷出数字的概率是ppp，掷出头像的概率是1−p1-p1−p，如果ppp的先验是beta(3,3)beta(3,3)beta(3,3)，重复30次试验掷出了16个正面，估计这个硬币掷出正面的概率。

例2 一组简单随机样本X1,⋯,Xn∼N(θ,σ2)X_1,\cdots,X_n \sim N(\theta,\sigma^2)X1,⋯,Xn∼N(θ,σ2)，θ∼N(μ,1/λ0)\theta \sim N(\mu,1/\lambda_0)θ∼N(μ,1/λ0)，求θ\thetaθ的后验分布。

贝叶斯充分统计量

称统计量T(X)T(X)T(X)为贝叶斯充分统计量，如果∀Pπ∈Cap(Θ,B(Θ))\forall P_{\pi} \in Cap(\Theta,\mathcal{B}(\Theta))∀Pπ∈Cap(Θ,B(Θ))，
π(θ∣x)=π(θ∣T(x))\pi(\theta|x) = \pi(\theta|T(x))π(θ∣x)=π(θ∣T(x))
即后验分布可以表示成θ\thetaθ与T(x)T(x)T(x)的函数。

定理如果T(X)T(X)T(X)是充分统计量，则T(X)T(X)T(X)是贝叶斯充分统计量，反之亦然。

证明
1）假设T(X)T(X)T(X)是充分统计量，先用贝叶斯公式，然后用Fisher-Neyman定理
π(θ∣x)=f(x∣θ)π(θ)∫Θf(x∣θ)π(θ)dθ=h(x)g(θ,T(x))π(θ)∫Θh(x)g(θ,T(x))π(θ)dθ=g(θ,T(x))π(θ)∫Θg(θ,T(x))π(θ)dθ\pi(\theta|x) = \frac{f(x|\theta)\pi(\theta)}{\int_{\Theta }f(x|\theta)\pi(\theta)d\theta} = \frac{h(x)g(\theta,T(x))\pi(\theta)}{\int_{\Theta }h(x)g(\theta,T(x))\pi(\theta)d\theta}=\frac{g(\theta,T(x))\pi(\theta)}{\int_{\Theta }g(\theta,T(x))\pi(\theta)d\theta}π(θ∣x)=∫Θf(x∣θ)π(θ)dθf(x∣θ)π(θ)=∫Θh(x)g(θ,T(x))π(θ)dθh(x)g(θ,T(x))π(θ)=∫Θg(θ,T(x))π(θ)dθg(θ,T(x))π(θ)
显然后验是只与θ\thetaθ和T(x)T(x)T(x)有关的，因此T(X)T(X)T(X)是贝叶斯统计量；
2）假设T(X)T(X)T(X)是贝叶斯充分统计量，根据贝叶斯公式，
π(θ∣x)=f(x,θ)f(x)=f(x∣θ)π(θ)f(x)⇒f(x∣θ)=π(θ∣x)f(x)π(θ)=f(x)π(θ∣T(x))π(θ)\pi(\theta|x) = \frac{f(x,\theta)}{f(x)} = \frac{f(x|\theta)\pi(\theta)}{f(x)} \Rightarrow f(x|\theta) = \frac{\pi(\theta|x)f(x)}{\pi(\theta)} = f(x)\frac{\pi(\theta|T(x))}{\pi(\theta)} π(θ∣x)=f(x)f(x,θ)=f(x)f(x∣θ)π(θ)⇒f(x∣θ)=π(θ)π(θ∣x)f(x)=f(x)π(θ)π(θ∣T(x))
其中f(x)f(x)f(x)只与样本有关，π(θ∣T(x))π(θ)\frac{\pi(\theta|T(x))}{\pi(\theta)}π(θ)π(θ∣T(x))只与θ\thetaθ和T(x)T(x)T(x)有关，根据Fisher-Neyman定理，T(X)T(X)T(X)是充分统计量。

UA MATH566 统计理论4 贝叶斯统计基础1相关推荐

UA MATH566 统计理论2 点估计基础
UA MATH566 统计理论2 点估计基础 Rao-Blackwell定理 UMVUE 矩估计最大似然估计不变性与截面似然 Rao-Blackwell定理统计推断的问题一般用统计决策理论的术语 ...
UA MATH566 统计理论 Bayes统计基础
UA MATH566 统计理论 Bayes统计基础共轭分布基于后验概率预测新的观测值 Bayes统计思想的基础是Bayes公式 P(Ci∣A)=P(A,Ci)P(A)=P(A∣Ci)P(Ci)∑i ...
UA MATH566 统计理论2 C-R不等式简介
UA MATH566 统计理论2 C-R不等式单个参数的情形多个参数的情形点估计基础那一篇讨论到UMVUE了,这一讲试图给出无偏估计方差的一个下界.在统计理论1中推导的Fisher信息其实就是一 ...
UA MATH566 统计理论8 置信区间简介
UA MATH566 统计理论8 置信区间简介例1:单个正态总体均值的置信区间(方差已知) 例2:单个正态总体均值的置信区间(方差未知) 假设检验与置信区间的关系例3:根据单边检验导出单边置信区间 ...
UA MATH566 统计理论1 充分统计量
UA MATH566 统计理论1 充分统计量指数族自然形式充分统计量 Neyman-Fisher因子分解定理 Bayes充分性最小充分统计量完备性分布族的完备性统计量的完备性辅助统计量 ...
UA MATH566 统计理论一个例题 Hierarchical Model的统计性质
UA MATH566 统计理论一个例题 Hierarchical Model的统计性质 Y∣X∼Pois(X)Y|X \sim Pois(X)Y∣X∼Pois(X) and X∼Γ(α,β)X \s ...
UA MATH566 统计理论推导卡方拟合优度检验
UA MATH566 统计理论推导卡方拟合优度检验卡方拟合优度检验主要是检验categorical data的,假设一共有ddd种category,每一种理论比例为pip_ipi,满足 ∑i=1 ...
UA MATH566 统计理论概念与定理总结
UA MATH566 统计理论概念与定理总结 Part 1 Exponential Family Tip 1: Form of Exponential Family f(x∣η)=h(x)exp⁡( ...
UA MATH566 统计理论 QE练习位置变换后的指数分布
UA MATH566 统计理论 QE练习位置变换后的指数分布 2016年1月第六题 2018年5月第六题 2016年1月第六题 Part a Joint likelihood is L(θ)=exp ...

UA MATH566 统计理论4 贝叶斯统计基础1

UA MATH566 统计理论4 贝叶斯统计基础1

贝叶斯公式

贝叶斯充分统计量

UA MATH566 统计理论4 贝叶斯统计基础1相关推荐

最新文章

热门文章