一、先验分布与后验分布

先验分布：将一个未知量θ\thetaθ（这个θ\thetaθ并不是样本x）看做随机变量，应用一个概率分布在抽样前描述关于θ\thetaθ的先验信息的概率陈述，即先验分布
总体信息：样本x所属的数据空间X的分布情况
样本信息：样本x自身的分布情况，一般用P(x∣θ)=∏i=0nP(xi∣θ)P(x|\theta)=\prod_{i=0}^nP(x_i|\theta)P(x∣θ)=∏i=0nP(xi∣θ)表示
后验分布：根据先验分布和样本信息通过贝叶斯公式得到的针对未知量θ\thetaθ的再次估计得到的概率分布
贝叶斯公式：有三种形式：
1. 事件形式：假定A1,...,AkA_1,...,A_kA1,...,Ak是互不相容的事件，他们的和⋃i=1kAi\bigcup_{i=1}^{k}A_i⋃i=1kAi包含事件B，则有：
  
  P(Ai/B)=P(Ai)P(B/Ai)∑i=1kP(Ai)P(B/Ai)P(A_i/B)=\frac{P(A_i)P(B/A_i)}{\sum_{i=1}^{k}P(A_i)P(B/A_i)}P(Ai/B)=∑i=1kP(Ai)P(B/Ai)P(Ai)P(B/Ai)
2. 密度函数：随机变量X有一个密度函数P(x|θ\thetaθ)，θ\thetaθ是一个参数，不同θ\thetaθ表示不同的密度函数，因此P(x|θ\thetaθ)可以看做给定θ\thetaθ后的一个条件密度函数，这就可以看做总体的分布。
  1. θ\thetaθ的先验分布为π(θ)\pi(\theta)π(θ)，同理，后验分布可以表示为π(θ∣x)\pi(\theta|x)π(θ∣x)其中x是我们抽样后得到的样本
  2. 可以把样本x和参数的先验分布联合得到联合密度函数：
    
    h(x1,...,xn,θ)=p(x1,...,xn∣θ)π(θ)h(x_1,...,x_n,\theta)=p(x_1,...,x_n|\theta)\pi(\theta)h(x1,...,xn,θ)=p(x1,...,xn∣θ)π(θ)
  3. 在联合密度函数中，当样本x1,...,xnx_1,...,x_nx1,...,xn给定之后，未知的参数就只有θ\thetaθ了，就可以通过样本和先验分布去估计θ\thetaθ的后验分布，只要去掉样本x1,...,xnx_1,...,x_nx1,...,xn的分布就可以了，相当于在这里，事件B就是样本x1,...,xnx_1,...,x_nx1,...,xn的分布，通过积分求得全概率，事件A是θ\thetaθ的分布
    
    π(θ∣x1,...,xn)=h(x1,...,xn,θ)m(x1,...,xn)=p(x1,...,xn∣θ)π(θ)∫θp(x1,...,xn∣θ)π(θ)dθ\pi(\theta|x_1,...,x_n)=\frac{h(x_1,...,x_n,\theta)}{m(x_1,...,x_n)}=\frac{p(x_1,...,x_n|\theta)\pi(\theta)}{\int_{\theta}{p(x_1,...,x_n|\theta)\pi(\theta)}d\theta}π(θ∣x1,...,xn)=m(x1,...,xn)h(x1,...,xn,θ)=∫θp(x1,...,xn∣θ)π(θ)dθp(x1,...,xn∣θ)π(θ)
  4. 其中，m(x1,...,xn)m(x_1,...,x_n)m(x1,...,xn)是样本x的边缘分布，或者说全概率
3. 离散形式：当θ\thetaθ是离散随机变量的时候，先验分布是π(θi)\pi(\theta_i)π(θi)，后验分布是
  
  π(θi∣x)=p(x∣θi)π(θi)∑jp(x∣θj)π(θj),i=1,2,...\pi(\theta_i|x)=\frac{p(x|\theta_i)\pi(\theta_i)}{\sum_j{p(x|\theta_j)\pi(\theta_j)}},i=1,2,...π(θi∣x)=∑jp(x∣θj)π(θj)p(x∣θi)π(θi),i=1,2,...

共轭先验分布：未知量θ\thetaθ的先验分布π(θ)\pi(\theta)π(θ)和后验分布π(θ∣x)\pi(\theta|x)π(θ∣x)有着相同的分布函数形式，只是参数不同，则π(θ)\pi(\theta)π(θ)是变量θ\thetaθ的共轭先验分布

总体分布	参数	共轭先验分布
正态分布N(θ,σ2)N(\theta,\sigma^2)N(θ,σ2)	均值θ\thetaθ	正态分布N(μ,γ2)−N(x‾σ−2n+μγ−2σ−2n+γ−2,σ2nγ2σ2n+γ2)N(\mu,\gamma^2)-N(\frac{\overline{x}\frac{\sigma^{-2}}{n}+\mu\gamma^{-2}}{\frac{\sigma^{-2}}{n}+\gamma^{-2}},\frac{\frac{\sigma^2}{n}\gamma^2}{\frac{\sigma^2}{n}+\gamma^2})N(μ,γ2)−N(nσ−2+γ−2xnσ−2+μγ−2,nσ2+γ2nσ2γ2)
正态分布N(θ,σ2)N(\theta,\sigma^2)N(θ,σ2)	方差σ2\sigma^2σ2	逆伽马分布IGA(α,λ)−IGA(α+n/2,λ+12∑i=1n(xi−θ)2)IGA(\alpha,\lambda)-IGA(\alpha+n/2,\lambda+\frac12\sum_{i=1}^n{(x_i-\theta)^2})IGA(α,λ)−IGA(α+n/2,λ+21∑i=1n(xi−θ)2)
二项分布B(n,p)B(n,p)B(n,p)	成功概率ppp	贝塔分布Be(α,β)Be(\alpha,\beta)Be(α,β)
泊松分布π(θ)\pi(\theta)π(θ)	均值θ\thetaθ	伽马分布Ga(α,λ)Ga(\alpha,\lambda)Ga(α,λ)
指数分布	均值的倒数	伽马分布Ga(α,λ)Ga(\alpha,\lambda)Ga(α,λ)

充分统计量：是关于样本的一个函数，不损失信息的统计量，或者说不损失当前关注（例如θ\thetaθ）的信息。当得到充分统计量T的某个取值t之后，失去原始样本x1,...xnx_1,...x_nx1,...xn不会影响预测结果
因子分解定理：一个统计量T(x)对参数θ\thetaθ是充分的⇔\Leftrightarrow⇔存在一个t与θ\thetaθ的函数g(t,θ)g(t,\theta)g(t,θ)和一个样本x的函数h(x)使得对任意一个样本x和未知量θ\thetaθ都有样本的联合概率密度P(x∣θ)P(x|\theta)P(x∣θ)为

P(x∣θ)=g(T(x),θ)h(x)P(x|\theta)=g(T(x),\theta)h(x)P(x∣θ)=g(T(x),θ)h(x)
例题：
1. 设事件A的概率为θ\thetaθ，即π(A)=θ\pi(A)=\thetaπ(A)=θ，为了估计θ\thetaθ而做n次独立观察，其中A事件出现的次数为X，则有X服从二项分布b(n,θ)b(n,\theta)b(n,θ)，即P(X=x∣θ)=Cnxθx(1−θ)n−x,x=0,1,..,nP(X=x|\theta)=C_n^x\theta^x(1-\theta)^{n-x},x=0,1,..,nP(X=x∣θ)=Cnxθx(1−θ)n−x,x=0,1,..,n，求后验分布。
  
  设θ\thetaθ的先验分布是一个均匀分布
  
  π(θ)={1,0<θ<10,other\pi(\theta)=\begin{cases}1,0<\theta<1\\0,other\end{cases}π(θ)={1,0<θ<10,other
  
  此时，可以做出θ\thetaθ的联合密度函数
  
  h(X,θ)=Cnxθx(1−θ)n−xπ(θ)=Cnxθx(1−θ)n−x,x=0,1,...,n,0<θ<1h(X,\theta)=C_n^x\theta^x(1-\theta)^{n-x}\pi(\theta)\\=C_n^x\theta^x(1-\theta)^{n-x},x=0,1,...,n,0<\theta<1h(X,θ)=Cnxθx(1−θ)n−xπ(θ)=Cnxθx(1−θ)n−x,x=0,1,...,n,0<θ<1
  
  注意，这里限制了参数的分布区域
  
  然后对其求积分可以得到边缘密度函数m(X)
  
  m(X)=∫01h(X,θ)dθ=∫01Cnxθx(1−θ)n−xdθ=Cnx∫01θx(1−θ)n−xdθm(X)=\int_0^1{h(X,\theta)d\theta=\int_0^1{C_n^x\theta^x(1-\theta)^{n-x}}}d\theta\\=C_n^x\int_0^1\theta^x(1-\theta)^{n-x}d\thetam(X)=∫01h(X,θ)dθ=∫01Cnxθx(1−θ)n−xdθ=Cnx∫01θx(1−θ)n−xdθ
  
  这里由于伽马分布有
  
  Γ(s)=∫0∞xs−1e−xdx,Γ(s+1)=sΓ(s),Γ(n+1)=n!\Gamma(s)=\int_0^\infty{x^{s-1}e^{-x}dx},\Gamma(s+1)=s\Gamma(s),\Gamma(n+1)=n!Γ(s)=∫0∞xs−1e−xdx,Γ(s+1)=sΓ(s),Γ(n+1)=n!
  
  而贝塔分布可以看做
  
  Be(p,q)=∫01xp−1(1−x)q−1dx,p>0,q>0=Γ(p)Γ(q)Γ(p+q)Be(p,q)=\int_0^1x^{p-1}(1-x)^{q-1}dx,p>0,q>0\\=\frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)}Be(p,q)=∫01xp−1(1−x)q−1dx,p>0,q>0=Γ(p+q)Γ(p)Γ(q)
  
  所以边缘密度函数m(X)可以表示为
  
  m(X)=CnxΓ(x+1)Γ(n−x+1)Γ(n+2)m(X)=C_n^x\frac{\Gamma(x+1)\Gamma(n-x+1)}{\Gamma(n+2)}m(X)=CnxΓ(n+2)Γ(x+1)Γ(n−x+1)
  
  所以后验分布就有
  
  π(θ∣X)=h(X,θ)m(X)=θx(1−θ)n−xΓ(n+2)Γ(x+1)Γ(n−x+1)\pi(\theta|X)=\frac{h(X,\theta)}{m(X)}=\frac{\theta^x(1-\theta)^{n-x}\Gamma(n+2)}{\Gamma(x+1)\Gamma(n-x+1)}π(θ∣X)=m(X)h(X,θ)=Γ(x+1)Γ(n−x+1)θx(1−θ)n−xΓ(n+2)
2. 正态均值（方差已知）的共轭先验分布是正态分布。
  
  已知正态分布N(θ,σ2)N(\theta,\sigma^2)N(θ,σ2)，样本X={x1,...,xnx_1,...,x_nx1,...,xn}
  
  其似然函数为
  
  p(X∣θ)=(−12πσ)nexp{−12σ2∑i=1n(xi−θ)2}p(X|\theta)=(-\frac1{\sqrt{2\pi}\sigma})^nexp\{-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2\}p(X∣θ)=(−2πσ1)nexp{−2σ21∑i=1n(xi−θ)2}
  
  确定先验分布，这里是取正态分布N(μ,γ2)N(\mu,\gamma^2)N(μ,γ2)作为θ\thetaθ的先验分布，即：
  
  π(θ)=(−12πγ)exp{−12γ2(θ−μ)2}\pi(\theta)=(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac1{2\gamma^2}(\theta-\mu)^2\}π(θ)=(−2πγ1)exp{−2γ21(θ−μ)2}
  
  求出其联合密度函数
  
  h(X,θ)=p(X∣θ)π(θ)=p(X∣θ)=(−12πσ)nexp{−12σ2∑i=1n(xi−θ)2}(−12πγ)exp{−12γ2(θ−μ)2}=(−12πσ)n(−12πγ)exp{−12σ2∑i=1n(xi−θ)2−12γ2(θ−μ)2}h(X,\theta)=p(X|\theta)\pi(\theta)\\=p(X|\theta)=(-\frac1{\sqrt{2\pi}\sigma})^nexp\{-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2\}(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac1{2\gamma^2}(\theta-\mu)^2\}\\=(-\frac1{\sqrt{2\pi}\sigma})^{n}(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2-\frac1{2\gamma^2}(\theta-\mu)^2\}h(X,θ)=p(X∣θ)π(θ)=p(X∣θ)=(−2πσ1)nexp{−2σ21∑i=1n(xi−θ)2}(−2πγ1)exp{−2γ21(θ−μ)2}=(−2πσ1)n(−2πγ1)exp{−2σ21∑i=1n(xi−θ)2−2γ21(θ−μ)2}
  
  将其中展开
  
  −12σ2∑i=1n(xi−θ)2−12γ2(θ−μ)2=−12σ2(∑i=1n(xi2−2θxi+θ2))−12μ2(θ2−2θμ+μ2)-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2-\frac1{2\gamma^2}(\theta-\mu)^2\\=-\frac1{2\sigma^2}(\sum_{i=1}^n(x_i^2-2\theta x_i+\theta^2))-\frac1{2\mu^2}(\theta^2-2\theta\mu+\mu^2)−2σ21∑i=1n(xi−θ)2−2γ21(θ−μ)2=−2σ21(∑i=1n(xi2−2θxi+θ2))−2μ21(θ2−2θμ+μ2)
  
  因为∑i=1nxi=n∗x‾\sum_{i=1}^nx_i=n*\overline{x}∑i=1nxi=n∗x，其中x‾\overline{x}x是样本均值∑i=1nxin\sum_{i=1}^n\frac{x_i}n∑i=1nnxi
  
  =−12[∑i=1nxi2−2θnx‾+nθ2σ2+θ2−2θμ+μ2μ2]=-\frac12[\frac{\sum_{i=1}^nx_i^2-2\theta n\overline{x}+n\theta^2}{\sigma^2}+\frac{\theta^2-2\theta\mu+\mu^2}{\mu^2}]=−21[σ2∑i=1nxi2−2θnx+nθ2+μ2θ2−2θμ+μ2]
  
  故有联合密度函数
  
  h(X,θ)=(−12πσ)n(−12πγ)exp{−12[∑i=1nxi2−2θnx‾+nθ2σ2+θ2−2θμ+μ2μ2]}h(X,\theta)=(-\frac1{\sqrt{2\pi}\sigma})^{n}(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac12[\frac{\sum_{i=1}^nx_i^2-2\theta n\overline{x}+n\theta^2}{\sigma^2}+\frac{\theta^2-2\theta\mu+\mu^2}{\mu^2}]\}h(X,θ)=(−2πσ1)n(−2πγ1)exp{−21[σ2∑i=1nxi2−2θnx+nθ2+μ2θ2−2θμ+μ2]}
  
  根据联合密度函数，可以有x的边缘分布函数
  
  m(x)=∫−∞∞h(X,θ)dθ=∫−∞∞(−12πσ)n(−12πγ)exp{−12[∑i=1nxi2−2θnx‾+nθ2σ2+θ2−2θμ+μ2μ2]}dθm(x)=\int_{-\infty}^{\infty}h(X,\theta)d\theta\\=\int_{-\infty}^{\infty}(-\frac1{\sqrt{2\pi}\sigma})^{n}(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac12[\frac{\sum_{i=1}^nx_i^2-2\theta n\overline{x}+n\theta^2}{\sigma^2}+\frac{\theta^2-2\theta\mu+\mu^2}{\mu^2}]\}d\thetam(x)=∫−∞∞h(X,θ)dθ=∫−∞∞(−2πσ1)n(−2πγ1)exp{−21[σ2∑i=1nxi2−2θnx+nθ2+μ2θ2−2θμ+μ2]}dθ
  
  令k1=(2π)n+12γ−1σ−n,σ02=σ2n样本方差,A=1σ02+1γ2,B=x‾σ02+μγ2,C=1σ2∑i=1nxi2+μ2γ2,k2=k1exp{−12(C−B2A)})k_1=(2\pi)^{\frac{n+1}2}\gamma^{-1}\sigma^{-n},\sigma_0^2=\frac{\sigma^2}{n}样本方差,A=\frac1{\sigma_0^2}+\frac1{\gamma^2},B=\frac{\overline{x}}{\sigma_0^2}+\frac{\mu}{\gamma^2},\\C=\frac1{\sigma^2}\sum_{i=1}^nx_i^2+\frac{\mu^2}{\gamma^2},k_2=k_1exp\{-\frac12(C-\frac{B^2}A)\})k1=(2π)2n+1γ−1σ−n,σ02=nσ2样本方差,A=σ021+γ21,B=σ02x+γ2μ,C=σ21∑i=1nxi2+γ2μ2,k2=k1exp{−21(C−AB2)})
  
  可有
  
  h(X,θ)=k2exp{−(θ−B/A)22/A}m(x)=k2(2πA)12h(X,\theta)=k_2exp\{-\frac{(\theta-B/A)^2}{2/A}\}\\m(x)=k_2(\frac{2\pi}{A})^{\frac12}h(X,θ)=k2exp{−2/A(θ−B/A)2}m(x)=k2(A2π)21
  
  可以得到θ\thetaθ的后验分布
  
  π(θ∣X)=(A2π)12exp{θ−B/A)22/A}\pi(\theta|X)=(\frac A{2\pi})^{\frac12}exp\{\frac{\theta-B/A)^2}{2/A}\}π(θ∣X)=(2πA)21exp{2/Aθ−B/A)2}
  
  可以看到，这是一个关于θ\thetaθ的正态分布N(μ1,γ12)N(\mu_1,\gamma_1^2)N(μ1,γ12)，其中
  
  μ1=BA=x‾σ0−2+μγ−2σ0−2+γ−2,1γ12=1γ2+1σ02\mu_1=\frac BA=\frac{\overline{x}\sigma_0^{-2}+\mu\gamma^{-2}}{\sigma_0^{-2}+\gamma^{-2}},\frac1{\gamma_1^2}=\frac1{\gamma^2}+\frac1{\sigma_0^2}μ1=AB=σ0−2+γ−2xσ0−2+μγ−2,γ121=γ21+σ021
3. 设X表示人的胸围，根据经验，胸围是近似服从正态分布的。现测量了n=10000个人的胸围，得样本均值为39.8(cm)，总体方差已知为4，假设θ的先验分布为N(38,9)，求θ的后验分布。
  
  此时有充分统计量x‾=39.8,n=10000,σ02=4/10000\overline{x}=39.8,n=10000,\sigma_0^2=4/10000x=39.8,n=10000,σ02=4/10000
  
  先验分布已知，即μ=38,γ2=9\mu=38,\gamma^2=9μ=38,γ2=9
  
  可以直接用共轭先验分布得到后验分布
  
  μ1=x‾σ0−2+μγ−2σ0−2+γ−2=39.8∗10000/4+38/910000/4+1/9=39.8γ12=γ2σ02γ2+σ02=4/10000∗94/10000+9=1/2500N(39.8,1/2500)\mu_1=\frac{\overline{x}\sigma_0^{-2}+\mu\gamma^{-2}}{\sigma_0^{-2}+\gamma^{-2}}=\frac{39.8*10000/4+38/9}{10000/4+1/9}=39.8\\ \gamma_1^2=\frac{\gamma^2\sigma_0^2}{\gamma^2+\sigma_0^2}=\frac{4/10000*9}{4/10000+9}=1/2500\\N(39.8,1/2500)μ1=σ0−2+γ−2xσ0−2+μγ−2=10000/4+1/939.8∗10000/4+38/9=39.8γ12=γ2+σ02γ2σ02=4/10000+94/10000∗9=1/2500N(39.8,1/2500)
4. 二项分布的成功概率θ的共轭先验分布是贝塔分布。
  
  设总体X−b(n,θ)X-b(n,\theta)X−b(n,θ)
  
  则有b(n,θ)∝θx(1−θ)n−xb(n,\theta)\varpropto\theta^x(1-\theta)^{n-x}b(n,θ)∝θx(1−θ)n−x
  
  假设，θ\thetaθ的先验分布是贝塔分布，即Be(α,β)∝θα−1(1−θ)β−1Be(\alpha,\beta)\varpropto\theta^{\alpha-1}(1-\theta)^{\beta-1}Be(α,β)∝θα−1(1−θ)β−1
  
  有后验分布π(θ∣X)∝θx+α−1(1−θ)n−x+β−1\pi(\theta|X)\varpropto\theta^{x+\alpha-1}(1-\theta)^{n-x+\beta-1}π(θ∣X)∝θx+α−1(1−θ)n−x+β−1

贝叶斯（一）先验分布与后验分布相关推荐

贝叶斯推断概率编程初探
1. 写在之前的话 0x1:贝叶斯推断的思想我们从一个例子开始我们本文的讨论.小明是一个编程老手,但是依然坚信bug仍有可能在代码中存在.于是,在实现了一段特别难的算法之后,他开始决定先来一个简单的 ...
独家 | 一文读懂机器学习中的贝叶斯统计学
作者:Matthew Stewart, PhD Researcher 翻译:吴金笛校对:丁楠雅本文约4300字,建议阅读15分钟. 本文主要是向新手介绍贝叶斯方法并将其与频率方法进行比较. 你有没 ...
【机器学习】朴素贝叶斯(Naive Bayes)
在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同.对于大多数的分类算法,比如决策树,KNN,逻辑回归,支持向量机等,他们都是判别方法,也就是直接学习出特征输出Y和特征X之间的关系, ...
机器学习之朴素贝叶斯算法原理
朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法.它和其他绝大多数的分类算法都不同. 对于大多数的分类算法,比如决策树,KNN,逻辑回归,支持向量机等,他们都是判别方 ...
机器学习算法总结之朴素贝叶斯法
写在前面贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法.它是基于贝叶斯定理和特征条件独立假设分类方 ...
python高频面试题_02-27 朴素贝叶斯
https://www.cnblogs.com/nickchen121/p/11686958.html 朴素贝叶斯朴素贝叶斯是基于贝叶斯公式与特征条件独立假设的分类方法(注:贝叶斯公式是数学定义,朴 ...
【贝叶斯神经网络训练】（torch实现）
从这里https://blog.csdn.net/dhaiuda/article/details/106383465学习到的,只是在其中加了批注而已,便于自己理解,有些地方理解可能不对,一起学习! # ...
一文读懂机器学习中的贝叶斯统计学
作者:Matthew Stewart, PhD Researcher 翻译:吴金笛校对:丁楠雅本文约4300字,建议阅读15分钟. 本文主要是向新手介绍贝叶斯方法并将其与频率方法进行比较. 你 ...
机器学习算法之朴素贝叶斯模型
基本原理从统计学知识回到我们的数据分析.假如我们的分类模型样本是: 即我们有m个样本,每个样本有n个特征,特征输出有k个类别,定义为C1,C2,-,Ck,.从样本我们可以学习得到朴素贝叶斯的先验分布 ...
贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布
转:https://blog.csdn.net/xbmatrix/article/details/63253177 概述: 贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响 ...

贝叶斯（一）先验分布与后验分布

一、先验分布与后验分布

贝叶斯（一）先验分布与后验分布相关推荐

最新文章

热门文章