第一章先验分布与后验分布

例1.2.1

设事件A的概率是θ\thetaθ，有n次独立观测，事件A出现的次数为x，求后验分布
解：
首先写出先验分布π(θ)\pi(\theta)π(θ)，由于没有，故采用0-1上的均匀分布π(θ)={10<θ<10other\pi(\theta)=\begin{cases}1&0<\theta<1\\0&other\end{cases}π(θ)={100<θ<1other
再求解x的分布函数p(x∣θ)=Cnxθx(1−θ)n−xp(x|\theta)=C_n^x\theta^x(1-\theta)^{n-x}p(x∣θ)=Cnxθx(1−θ)n−x
可有联合密度函数h(x,θ)=p(x∣θ)π(θ)=Cnxθx(1−θ)n−x,0<θ<1h(x,\theta)=p(x|\theta)\pi(\theta)=C_n^x\theta^x(1-\theta)^{n-x},0<\theta<1h(x,θ)=p(x∣θ)π(θ)=Cnxθx(1−θ)n−x,0<θ<1
可有x边缘分布函数m(x)=∫01h(x,θ)dθ=CnxΓ(x+1)Γ(n−x+1)Γ(n+2)m(x)=\int_0^1h(x,\theta)d\theta=C_n^x\frac{\Gamma(x+1)\Gamma(n-x+1)}{\Gamma(n+2)}m(x)=∫01h(x,θ)dθ=CnxΓ(n+2)Γ(x+1)Γ(n−x+1)
可解得后验分布π(θ∣x)=h(x,θ)m(x)=Γ(n+2)θx(1−θ)n−xΓ(x+1)Γ(n−x+1)\pi(\theta|x)=\frac{h(x,\theta)}{m(x)}=\frac{\Gamma(n+2)\theta^x(1-\theta)^{n-x}}{\Gamma(x+1)\Gamma(n-x+1)}π(θ∣x)=m(x)h(x,θ)=Γ(x+1)Γ(n−x+1)Γ(n+2)θx(1−θ)n−x
此为贝塔分布Be(x+1,n−x+1)Be(x+1,n-x+1)Be(x+1,n−x+1)

例1.2.2

已知先验为π(θ1)=0.4,π(θ2)=0.6\pi(\theta_1)=0.4,\pi(\theta_2)=0.6π(θ1)=0.4,π(θ2)=0.6，进行5次抽样，全满足，求后验分布
解：
有先验分布π(θ1)=0.4,π(θ2)=0.6\pi(\theta_1)=0.4,\pi(\theta_2)=0.6π(θ1)=0.4,π(θ2)=0.6
有x的样本函数p(x∣θ)=C55θ5(1−θ)0p(x|\theta)=C_5^5\theta^5(1-\theta)^0p(x∣θ)=C55θ5(1−θ)0
可有联合密度函数h(x,θ1)=θ15∗0.4=0.236196,h(x,θ2)=θ25∗0.6=0.100842h(x,\theta_1)=\theta_1^5*0.4=0.236196,h(x,\theta_2)=\theta_2^5*0.6=0.100842h(x,θ1)=θ15∗0.4=0.236196,h(x,θ2)=θ25∗0.6=0.100842
可有x的边缘分布m(x)=h(x,θ1)+h(x,θ2)=0.337038m(x)=h(x,\theta_1)+h(x,\theta_2)=0.337038m(x)=h(x,θ1)+h(x,θ2)=0.337038
可有后验分布π(θ1∣x)=0.2361960.337038=0.7,π(θ2∣x)=0.1008420.337038=0.3\pi(\theta_1|x)=\frac{0.236196}{0.337038}=0.7,\pi(\theta_2|x)=\frac{0.100842}{0.337038}=0.3π(θ1∣x)=0.3370380.236196=0.7,π(θ2∣x)=0.3370380.100842=0.3

例1.3.1

求证正态均值（方差已知）的共轭先验分布是正态分布
解：
假设共轭先验分布是正态分布，即θ−N(μ0,δ02)\theta-N(\mu_0,\delta_0^2)θ−N(μ0,δ02)
可有π(θ)∝(12πδ02)exp{−(θ−μ0)22∗δ02}\pi(\theta)\varpropto(\frac{1}{\sqrt{2\pi\delta_0^2}})exp\{-\frac{(\theta-\mu_0)^2}{2*\delta_0^2}\}π(θ)∝(2πδ021)exp{−2∗δ02(θ−μ0)2}
假设样本x服从N(θ,δ2)N(\theta,\delta^2)N(θ,δ2)
有n个样本时，有样本均值x‾\overline{x}x服从N(θ,δ2/n)N(\theta,\delta^2/n)N(θ,δ2/n)
可有p(x‾∣θ)∝(12πδ2n)exp{−(x‾−θ)22∗δ2n}p(\overline{x}|\theta)\varpropto(\frac{1}{\sqrt{2\pi\frac{\delta^2}{n}}})exp\{-\frac{(\overline{x}-\theta)^2}{2*\frac{\delta^2}{n}}\}p(x∣θ)∝(2πnδ21)exp{−2∗nδ2(x−θ)2}
可有联合密度函数h(x,θ)∝p(x‾∣θ)π(θ)∝exp{−δ2(θ−μ0)2+nδ02(x‾−θ)22δ2δ02}h(x,\theta)\varpropto p(\overline{x}|\theta)\pi(\theta)\varpropto exp\{-\frac{\delta^2(\theta-\mu_0)^2+n\delta_0^2(\overline{x}-\theta)^2}{2\delta^2\delta_0^2}\}h(x,θ)∝p(x∣θ)π(θ)∝exp{−2δ2δ02δ2(θ−μ0)2+nδ02(x−θ)2}
可有x的边缘分布m(x)∝1m(x)\varpropto1m(x)∝1(因为不与θ\thetaθ相关了，被积分掉了)
所以有π(θ∣x)∝h(x,θ)∝p(x∣θ)π(θ)∝exp{−(θ−μ0σ0−2+nx‾σ−2σ0−2+σ−2)2∗(σ0−2+nσ−2)−1}\pi(\theta|x)\varpropto h(x,\theta)\varpropto p(x|\theta)\pi(\theta)\varpropto exp\{-\frac{(\theta-\frac{\mu_0\sigma_0^{-2}+n\overline{x}\sigma^{-2}}{\sigma_0^{-2}+\sigma^{-2}})}{2*(\sigma_0^-2+n\sigma^-2)^{-1}}\}π(θ∣x)∝h(x,θ)∝p(x∣θ)π(θ)∝exp{−2∗(σ0−2+nσ−2)−1(θ−σ0−2+σ−2μ0σ0−2+nxσ−2)}
所以后验分布服从正态分布N(θ−μ0σ0−2+nx‾σ−2σ0−2+σ−2,1σ0−2+nσ−2)N(\theta-\frac{\mu_0\sigma_0^{-2}+n\overline{x}\sigma^{-2}}{\sigma_0^{-2}+\sigma^{-2}},\frac{1}{\sigma_0^-2+n\sigma^-2})N(θ−σ0−2+σ−2μ0σ0−2+nxσ−2,σ0−2+nσ−21)

例1.3.2

求证二项分布中的成功概率θ\thetaθ的共轭先验分布是贝塔分布
解：
假设先验分布为Be(α,β)Be(\alpha,\beta)Be(α,β)，而样本分布为B(n,θ)B(n,\theta)B(n,θ)
可有先验分布π(θ)∝θα−1(1−θ)β−1\pi(\theta)\varpropto\theta^{\alpha-1}(1-\theta)^{\beta-1}π(θ)∝θα−1(1−θ)β−1
而有样本分布函数p(x∣θ)=Cnxθx(1−θ)n−xp(x|\theta)=C_n^x\theta^x(1-\theta)^{n-x}p(x∣θ)=Cnxθx(1−θ)n−x
可有后验分布
π(θ∣x)∝p(x∣θ)π(θ)∝θα−1(1−θ)β−1θx(1−θ)n−x∝θα+x−1(1−θ)β+n−x−1\pi(\theta|x)\varpropto p(x|\theta)\pi(\theta)\varpropto\theta^{\alpha-1}(1-\theta)^{\beta-1}\theta^x(1-\theta)^{n-x}\varpropto\theta^{\alpha+x-1}(1-\theta)^{\beta+n-x-1}π(θ∣x)∝p(x∣θ)π(θ)∝θα−1(1−θ)β−1θx(1−θ)n−x∝θα+x−1(1−θ)β+n−x−1
可以看到这是贝塔分布Be(α+x,β+n−x)Be(\alpha+x,\beta+n-x)Be(α+x,β+n−x)

例1.3.5

求证正态分布的方差的共轭先验分布逆伽马分布
解：
假设样本为x1,...,xnx_1,...,x_nx1,...,xn，服从N(θ,σ2)N(\theta,\sigma^2)N(θ,σ2)
方差的先验分布为IGa(α,λ)IGa(\alpha,\lambda)IGa(α,λ)
可有π(σ2)∝σ2(−α−1)e−λσ2\pi(\sigma^2)\varpropto\sigma^{2(-\alpha-1)}e^{-\frac{\lambda}{\sigma^2}}π(σ2)∝σ2(−α−1)e−σ2λ
有p(x∣σ2)∝(12πσ2)ne−∑i=1n(x−θ)22σ2p(x|\sigma^2)\varpropto(\frac{1}{\sqrt{2\pi\sigma^2}})^{n}e^{-\frac{\sum_{i=1}^n(x-\theta)^2}{2\sigma^2}}p(x∣σ2)∝(2πσ21)ne−2σ2∑i=1n(x−θ)2
综上可有π(σ2∣x)∝p(x∣σ2)π(σ2)∝(σ2)−α−1−n2exp{−2λ+∑i=1n(xi−θ)22σ2}\pi(\sigma^2|x)\varpropto p(x|\sigma^2)\pi(\sigma^2)\varpropto(\sigma^2)^{-\alpha-1-\frac{n}{2}}exp\{-\frac{2\lambda+\sum_{i=1}^n(x_i-\theta)^2}{2\sigma^2}\}π(σ2∣x)∝p(x∣σ2)π(σ2)∝(σ2)−α−1−2nexp{−2σ22λ+∑i=1n(xi−θ)2}
可以看到，这是一个逆伽马分布IGa(α+n2,2λ+∑i=1n(xi−θ)22)IGa(\alpha+\frac{n}{2},\frac{2\lambda+\sum_{i=1}^n(x_i-\theta)^2}{2})IGa(α+2n,22λ+∑i=1n(xi−θ)2)

例1.6.2

求证x‾\overline{x}x是θ\thetaθ的充分统计量
解：
有样本x=x1,...,xnx={x_1,...,x_n}x=x1,...,xn来自正太分布N(θ,1)N(\theta,1)N(θ,1)，θ\thetaθ的先验分布为N(0,τ2)N(0,\tau^2)N(0,τ2)
有先验分布π(θ)∝(12πτ)exp{−θ22τ2}\pi(\theta)\varpropto(\frac{1}{\sqrt{2\pi}\tau})exp\{-\frac{\theta^2}{2\tau^2}\}π(θ)∝(2πτ1)exp{−2τ2θ2}
有样本均值的分布p(x‾∣θ)∝exp{−n(x‾−θ)22}p(\overline{x}|\theta)\varpropto exp\{-\frac{n(\overline{x}-\theta)^2}{2}\}p(x∣θ)∝exp{−2n(x−θ)2}
可有后验分布π(θ∣x‾)∝p(x‾∣θ)π(θ)∝exp{−θ2+τ2n(x‾−θ)22τ2}∝exp{−}\pi(\theta|\overline{x})\varpropto p(\overline{x}|\theta)\pi(\theta)\varpropto exp\{-\frac{\theta^2+\tau^2n(\overline{x}-\theta)^2}{2\tau^2}\}\varpropto exp\{-\frac{}{}\}π(θ∣x)∝p(x∣θ)π(θ)∝exp{−2τ2θ2+τ2n(x−θ)2}∝exp{−}
可以看到，可以完全表示，可代替样本x1,...,xnx_1,...,x_nx1,...,xn

贝叶斯例题（一）先验分布与后验分布相关推荐

贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布
转:https://blog.csdn.net/xbmatrix/article/details/63253177 概述: 贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响 ...
频率学派与贝叶斯学派（先验分布与后验分布，MLE和MAP）
频率学派(古典学派)和贝叶斯学派是数理统计领域的两大流派. 这两大流派对世界的认知有本质的不同:频率学派认为世界是确定的,有一个本体,这个本体的真值是不变的,我们的目标就是要找到这个真值或真值所在的范 ...
Python 决策树与贝叶斯相关理论知识和例题
目录 ID3算法例题贝叶斯例1 例2 朴素贝叶斯例题参考信息有顺序排列,意思明确信息无序,意思多描述信息的混乱度用信息熵 ID3算法将无序的数据变得更加有序. 信息熵计算公式信息增 ...
ICML2020 | 基于贝叶斯元学习在关系图上进行小样本关系抽取
今天给大家介绍来自加拿大蒙特利尔大学Mila人工智能研究所唐建教授课题组在ICML2020上发表的一篇关于关系抽取的文章.作者利用全局关系图来研究不同句子之间的新关系,并提出了一种新的贝叶斯元学习方法 ...
贝叶斯 - 《贝叶斯统计》笔记
<贝叶斯统计 - 茆诗松> 茆诗松<贝叶斯统计>目前看过的讲贝叶斯方法最通俗易懂的书了下载了在这里第一章先验分布和后验分布 1.1 三种信息  统计学的两个主要学派:频 ...
python实现贝叶斯回归_贝叶斯线性回归（Bayesian Linear Regression）
贝叶斯线性回归(Bayesian Linear Regression) 标签(空格分隔): 监督学习 @ author : duanxxnj@163.com @ time : 2015-06-19 本 ...
【机器学习】贝叶斯模型（Bayesian Model）
贝叶斯模型最小错误率贝叶斯先验概率似然概率二类判决问题最小错误率贝叶斯公式误差例题极大似然估计例题最小风险贝叶斯癌症诊断分类器设计生成模型(Generative Model) ...
ML-朴素贝叶斯-先验分布/后验分布/似然估计
文章目录引言问题朴素贝叶斯介绍(最新更新2018.02.22) 朴素在哪里? 1. 数据样本独立同分布 2. 特征条件独立性假设参考1(最新更新2019-02-26) 联合概率分布面试朴 ...
机器学习——先验分布和朴素贝叶斯
一.先验分布,后验分布与似然估计先验分布:因,,根据一般经验认为应该满足的分布后验分布:由果所因,,根据当前数据修正的随机变量的分布似然估计:由因至果, 二.贝叶斯公式(后验) 大名鼎鼎的公式: ...

贝叶斯例题（一）先验分布与后验分布

第一章先验分布与后验分布

例1.2.1

例1.2.2

例1.3.1

例1.3.2

例1.3.5

例1.6.2

贝叶斯例题（一）先验分布与后验分布相关推荐

最新文章

热门文章

贝叶斯例题（一）先验分布与后验分布

第一章 先验分布与后验分布

例1.2.1

例1.2.2

例1.3.1

例1.3.2

例1.3.5

例1.6.2

贝叶斯例题（一）先验分布与后验分布相关推荐

最新文章

热门文章

第一章先验分布与后验分布