假设u~N(0, 1), X|u ~ N(u, 1)$，我们一起来推导 u的 posterior(p(u|X))

假设μ∼N(0,1),X∣μ∼N(μ,1)\mu \sim N(0, 1), X|\mu \sim N(\mu, 1)μ∼N(0,1),X∣μ∼N(μ,1)，我们一起来推导 μ\muμ 的 posterior(p(μ∣X)p(\mu|X)p(μ∣X))
说明：X∣μX|\muX∣μ表示：(x1,x2,...,xn)∣μ(x_1,x_2,...,x_n)|\mu(x1,x2,...,xn)∣μ，xix_ixi相互独立

p(μ∣X)=p(X∣μ)p(μ)∫p(μ∣X)p(X)dμp(\mu|X) =\frac{p(X|\mu)p(\mu)}{\int p(\mu|X)p(X)d\mu}p(μ∣X)=∫p(μ∣X)p(X)dμp(X∣μ)p(μ)

分母和μ\muμ无关，则上式正比于

∝p(X∣μ)p(μ)\propto p(X|\mu)p(\mu)∝p(X∣μ)p(μ)

∝p(x1,x2,...,xn∣μ)p(μ)\propto p(x_1,x_2,...,x_n|\mu)p(\mu)∝p(x1,x2,...,xn∣μ)p(μ)

由于xix_ixi相互独立，则可展开成连乘的形式：

∝12πexp(−∑i(xi−μ)22)exp(−μ22)\propto \frac{1}{\sqrt{2\pi}}exp\left(-\frac{\sum_i(x_i-\mu)^2}{2}\right)exp(-\frac{\mu^2}{2})∝2π1exp(−2∑i(xi−μ)2)exp(−2μ2)

∝exp(−∑i(xi2−2xiμ+μ2)+μ22)\propto exp\left(-\frac{\sum_i(x_i^2-2x_i\mu+\mu^2)+\mu^2}{2}\right)∝exp(−2∑i(xi2−2xiμ+μ2)+μ2)

∝exp(−(N+1)μ2−2μ∑ixi+∑ixi22)\propto exp\left(-\frac{(N+1)\mu^2-2\mu\sum_ix_i+\sum_ix_i^2}{2}\right)∝exp(−2(N+1)μ2−2μ∑ixi+∑ixi2)

∝exp(−μ2−2∑ixiN+1μ+∑ixi2N+12N+1)\propto exp\left(-\frac{\mu^2-\frac{2\sum_ix_i}{N+1}\mu+\frac{\sum_ix_i^2}{N+1}}{\frac{2}{N+1}}\right)∝exp(−N+12μ2−N+12∑ixiμ+N+1∑ixi2)

∝exp(−(μ−∑ixiN+1)22N+1)\propto exp\left(-\frac{(\mu-\frac{\sum_ix_i}{N+1})^2}{\frac{2}{N+1}}\right)∝exp(−N+12(μ−N+1∑ixi)2)

所以，p(μ∣X)∼N(∑ixiN+1,1(N+1)2)p(\mu|X)\sim N(\frac{\sum_ix_i}{N+1},\frac{1}{(N+1)^2})p(μ∣X)∼N(N+1∑ixi,(N+1)21)，也是正态分布。

p(X∣μ),p(μ∣X)p(X|\mu),p(\mu|X)p(X∣μ),p(μ∣X)分布均为正态分布，称为conjugate Priors.

假设u~N(0, 1), X|u ~ N(u, 1)$，我们一起来推导 u的 posterior(p(u|X))相关推荐

信号是受噪声Nt干扰的余弦波Xt = Acoswt + φ + Nt，试求它的自相关函数。假设φ是在[0, 2Π]上均匀分布的随机变量，Nt是均值为0方差为σ2的白噪声，且 Nt 与 φ 互不相关。
信号是受噪声Nt干扰的余弦波Xt = Acoswt + φ + Nt,试求它的自相关函数.假设φ是在[0, 2Π]上均匀分布的随机变量,Nt是均值为0方差为σ2的白噪声,且 Nt 与 φ 互不相关. ...
python indices,python – 什么“indices参数被弃用并将被删除(假设为True)0.17”是什么意思？...
我刚开始学习python并道歉,如果这是一个非常基本的问题/错误. 我在做Kaggle生物反应教程.我收到了这个错误 C:\Anaconda\lib\site-packages\sklearn\cro ...
TI PDK3.0 qt 交叉编译环境设置
上午剑锋给的方法,成功在qtcreator上面加入TI官方的qmake以及他的交叉编译器. 1. 步骤如下:1. 我假设TI PDK3.0 安装目录为顶层目录.2. 进入linux-devkit 目录 ...
tensorflow 1.0 学习：十图详解tensorflow数据读取机制
本文转自:https://zhuanlan.zhihu.com/p/27238630 在学习tensorflow的过程中,有很多小伙伴反映读取数据这一块很难理解.确实这一块官方的教程比较简略,网上也找 ...
SparkSQL（Spark-1.4.0)实战系列（一）——DataFrames基础
主要内容本教程中所有例子跑在Spark-1.4.0集群上 DataFrames简介 DataFrame基本操作实战 DataFrames简介本文部分内容译自https://databricks.c ...
eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务
转自:http://my.oschina.net/mkh/blog/340112 1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分:hdfs环境部署和mapr ...
drupal 6.0 入门教程
为什么80%的码农都做不了架构师?>>> 由于工作项目的原因,需要采用drupal来部署,所以最近学习了drupal cms,天天到 drupal.org,drupalchin ...
UA MATH567 高维统计专题0 为什么需要高维统计理论？——协方差估计的高维效应与Marcenko-Pastur规则
UA MATH567 高维统计专题0 为什么需要高维统计理论?--协方差估计的高维效应与Marcenko-Pastur规则上一讲我们介绍了在实验中,线性判别分析的判别误差会随着维度的上升而上升,而 ...
Eclipse中部署hadoop2.3.0
1 eclipse中hadoop环境部署概览 eclipse 中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署.一般hdfs环境部署比较简单,部署后就可以在ecl ...

假设u~N(0, 1), X|u ~ N(u, 1)$，我们一起来推导 u的 posterior(p(u|X))

假设u~N(0, 1), X|u ~ N(u, 1)$，我们一起来推导 u的 posterior(p(u|X))相关推荐

最新文章

热门文章