贝叶斯统计：Tweedie公式及其证明

Tweedie公式是贝叶斯统计中用来研究正态分布的均值问题的最重要的公式之一，不管是在经典的对正态均值进行区间估计、假设检验等领域中，还是在现代贝叶斯统计用均值的特殊先验构造其shrinkage estimator的领域中，Tweedie公式都是重要的基础工具，所以这一篇我们一起学习一下这个公式及其证明。

Tweedie公式 考虑y∣μ∼N(μ,σ2)y|\mu \sim N(\mu,\sigma^2)y∣μ∼N(μ,σ2)，其中σ2\sigma^2σ2已知，μ\muμ服从先验概率密度f(μ)f(\mu)f(μ)，yyy的先验边缘概率为
m(y)=∫−∞+∞f(μ)2πσe−(y−μ)22σ2dμm(y)=\int_{-\infty}^{+\infty} \frac{f(\mu)}{\sqrt{2\pi}\sigma}e^{-\frac{(y-\mu)^2}{2\sigma^2}}d\mu m(y)=∫−∞+∞2πσf(μ)e−2σ2(y−μ)2dμ

而μ\muμ的后验均值为
E[μ∣y]=y+dln⁡m(y)dyE[\mu|y]=y+\frac{d\ln m(y)}{dy}E[μ∣y]=y+dydlnm(y)

证明
先计算score function dln⁡m(y)dy\frac{d\ln m(y)}{dy}dydlnm(y),
dln⁡m(y)dy=1m(y)ddym(y)=1m(y)ddy∫−∞+∞f(μ)2πσe−(y−μ)22σ2dμ=1m(y)∫−∞+∞f(μ)2πσddye−(y−μ)22σ2dμ=1m(y)∫−∞+∞(μ−y)f(μ)e−(y−μ)22σ22πσdy\begin{aligned}\frac{d\ln m(y)}{dy} & =\frac{1}{m(y)} \frac{d}{dy}m(y) \\ & = \frac{1}{m(y)} \frac{d}{dy} \int_{-\infty}^{+\infty} \frac{f(\mu)}{\sqrt{2\pi}\sigma}e^{-\frac{(y-\mu)^2}{2\sigma^2}}d\mu \\ & =\frac{1}{m(y)} \int_{-\infty}^{+\infty} \frac{f(\mu)}{\sqrt{2\pi}\sigma}\frac{d}{dy} e^{-\frac{(y-\mu)^2}{2\sigma^2}}d\mu \\ & = \frac{1}{m(y)}\int_{-\infty}^{+\infty} (\mu-y)\frac{f(\mu)e^{-\frac{(y-\mu)^2}{2\sigma^2}}}{\sqrt{2\pi} \sigma } dy \end{aligned}dydlnm(y)=m(y)1dydm(y)=m(y)1dyd∫−∞+∞2πσf(μ)e−2σ2(y−μ)2dμ=m(y)1∫−∞+∞2πσf(μ)dyde−2σ2(y−μ)2dμ=m(y)1∫−∞+∞(μ−y)2πσf(μ)e−2σ2(y−μ)2dy

然后计算后验均值
E[μ∣y]=∫−∞+∞μf(μ)e−(y−μ)22σ22πσm(y)dy=∫−∞+∞[y+(μ−y)]f(μ)e−(y−μ)22σ22πσm(y)dy=y∫−∞+∞f(μ)e−(y−μ)22σ22πσm(y)dy+∫−∞+∞(μ−y)f(μ)e−(y−μ)22σ22πσm(y)dy=y+dln⁡m(y)dy\begin{aligned} E[\mu|y]& =\int_{-\infty}^{+\infty} \mu \frac{f(\mu)e^{-\frac{(y-\mu)^2}{2\sigma^2}}}{\sqrt{2\pi} \sigma m(y)}dy \\ & = \int_{-\infty}^{+\infty} [y+(\mu-y)]\frac{f(\mu)e^{-\frac{(y-\mu)^2}{2\sigma^2}}}{\sqrt{2\pi} \sigma m(y)}dy \\ & = y \int_{-\infty}^{+\infty} \frac{f(\mu)e^{-\frac{(y-\mu)^2}{2\sigma^2}}}{\sqrt{2\pi} \sigma m(y)}dy + \int_{-\infty}^{+\infty} (\mu-y)\frac{f(\mu)e^{-\frac{(y-\mu)^2}{2\sigma^2}}}{\sqrt{2\pi} \sigma m(y)}dy \\ & = y+\frac{d\ln m(y)}{dy} \end{aligned}E[μ∣y]=∫−∞+∞μ2πσm(y)f(μ)e−2σ2(y−μ)2dy=∫−∞+∞[y+(μ−y)]2πσm(y)f(μ)e−2σ2(y−μ)2dy=y∫−∞+∞2πσm(y)f(μ)e−2σ2(y−μ)2dy+∫−∞+∞(μ−y)2πσm(y)f(μ)e−2σ2(y−μ)2dy=y+dydlnm(y)

证毕

贝叶斯统计：Tweedie公式及其证明相关推荐

概率论减法公式的证明
概率论减法公式的证明
协方差公式性质证明过程_一个方差公式的多种证明
一个方差公式的多种证明王敏慧 ; 刘国庆 ; 张银龙 [期刊名称] <大学数学> [年 ( 卷 ), 期] 2012(028)001 [摘要] 运用方差性质 , 协方差定义 , 函数凸性 ...
协方差公式性质证明过程_论文推荐 | 刘志平：等价条件平差模型的方差-协方差分量最小二乘估计方法...
<测绘学报> 构建与学术的桥梁拉近与权威的距离等价条件平差模型的方差-协方差分量最小二乘估计方法刘志平1, 朱丹彤1, 余航1, 张克非1,2 1. 中国矿业大学环境与测绘学院, 江 ...
良心发现，时隔一年再回首莫比乌斯反演（公式性质证明+题目练习）
文章目录莫比乌斯反演引入公式性质模板公式证明莫比乌斯函数前缀和题目练习完全平方数 [HAOI2011]Problemb YY的GCD [SDOI2014]数表 [国家集训队]Cras ...
排列组合十一个性质公式及证明，错排数公式及证明
文章目录排列数组合数求组合数常用公式定义式递推式杨辉三角组合数常用性质及证明性质一性质二性质三性质四(二项式定理) 性质五性质六性质七性质八性质九性质十性质十一错排 ...
欧拉函数公式及其证明
以下转自百度文库炒鸡好QAQ 欧拉函数 : 欧拉函数是数论中很重要的一个函数,欧拉函数是指:对于一个正整数 n ,小于 n 且和 n 互质的正整数(包括 1)的个数,记作 φ(n) . 完全余数集 ...
常见的导数公式及证明
常见的导数公式和积分公式证明幂函数的导数(x^a)`=ax^(a-1) 证明指数函数的导数(a^x)`=a^xlna 证明正弦函数的导数(sinx)`=cosx 证明余弦函数的导数(cosx)`=- ...
由二项分布推导泊松分布中的两个使用公式的证明
一.概述泊松分布是二项分布的极限,因此可以由二项分布推导出来,在推导过程中会用到如下两个公式: 在<求x->∞时(1-k/x)^x的极限值>介绍了后面这个公式的推导过程,虽然结论正 ...
欧拉函数公式的证明以及欧拉定理的简单应用（附带证明）
相信大家都已经了解了欧拉函数的定义在1~N当中,与N互质的数的个数被叫做欧拉函数,简写成Φ(N): 在算数基本定理中我们可以把一个数N分解成所有质因子的乘积的形式,记作 N = p1^a1 * p2 ...

贝叶斯统计：Tweedie公式及其证明

贝叶斯统计：Tweedie公式及其证明

贝叶斯统计：Tweedie公式及其证明相关推荐

最新文章

热门文章