贝叶斯统计：信噪对偶与Dawid定理

信噪对偶
Dawid定理

Dawid定理由Dawid (1973)提出，是贝叶斯理论中对贝叶斯模型的边缘密度做渐近分析的重要工具之一，虽然后续也有文章对Dawid定理的条件进行了改进，比如O‘Hagan (1979)，但Dawid定理的思想还是很有意义的。所以这一篇就简单介绍一下Dawid定理的思想及其证明。

信噪对偶

假设Observation满足X∼f(x−θ)X \sim f(x-\theta)X∼f(x−θ)，也就是只引入θ\thetaθ这个位置参数，θ\thetaθ的先验密度记为g(θ)g(\theta)g(θ)；这个简单的模型可以改写为
X=θ+ϕθ∼g(θ),ϕ∼f(ϕ)X = \theta+\phi \\ \theta \sim g(\theta),\phi \sim f(\phi) X=θ+ϕθ∼g(θ),ϕ∼f(ϕ)

其中θ\thetaθ表示信号，ϕ\phiϕ表示噪声，二者叠加组成了我们的观测值，通常假设信号与噪声是独立的。非常巧合的是在X=θ+ϕX=\theta+\phiX=θ+ϕ中，θ\thetaθ与ϕ\phiϕ的作用是完全一样的（毕竟加法交换律），也就是说用θ\thetaθ表示信号，ϕ\phiϕ表示噪声完全就是人为规定而已，我们也可以认为ϕ\phiϕ代表噪声、θ\thetaθ代表信号，只要使用合适的分布即可。

根据这个观察，我们可以直接得出下面的结论：用C(⋅,⋅)C(\cdot,\cdot)C(⋅,⋅)表示信号的先验（第一个变量）与噪声的分布（第二个变量）满足的某些条件，则在C(f,g)C(f,g)C(f,g)下，θ\thetaθ的后验分布或后验均值满足的某些性质，在C(g,f)C(g,f)C(g,f)下，ϕ\phiϕ的后验分布于后验均值同样满足。这个现象被称为信噪对偶。尽管这个事实看上去很平凡，但它体现的是贝叶斯统计与频率派统计的核心区别，也就是贝叶斯统计认为参数也是随机变量，而频率派则认为参数是常数，那么在频率派统计模型中信噪对偶自然就是不存在的。信噪对偶的意义在于推导贝叶斯理论的时候我们并不需要去特意区分信号与噪声，只需要把观测值XXX拆成两个随机变量的和即可。

Dawid定理

假设观察值满足X=Y1+Y2X=Y_1+Y_2X=Y1+Y2，其中Y1,Y2Y_1,Y_2Y1,Y2是两个独立的、绝对连续的、密度分别为f1,f2f_1,f_2f1,f2的随机变量，假设E[m(Y1)]<∞E[m(Y_1)]<\inftyE[m(Y1)]<∞，其中mmm是一个可测函数，E[m(Y1)]=∫−∞+∞m(y)f1(y)dyE[m(Y_1)]=\int_{-\infty}^{+\infty} m(y)f_1(y)dyE[m(Y1)]=∫−∞+∞m(y)f1(y)dy引入下面三个条件：

∀ϵ,h>0\forall \epsilon,h>0∀ϵ,h>0, ∃A\exists A∃A, ∀y>A\forall y >A∀y>A, ∣f2(y′)−f2(y)∣<ϵf2(y)|f_2(y')-f_2(y)|<\epsilon f_2(y)∣f2(y′)−f2(y)∣<ϵf2(y) when ∣y′−y∣<h|y'-y|<h∣y′−y∣<h
∃B,M\exists B,M∃B,M constant, ∀y′>y>B\forall y'>y>B∀y′>y>B, 0<f2(y′)<Mf2(y)0<f_2(y')<Mf_2(y)0<f2(y′)<Mf2(y)
k(y)=sup⁡xf2(x−y)f2(x)k(y)=\sup_x \frac{f_2(x-y)}{f_2(x)}k(y)=supxf2(x)f2(x−y), ∫−∞+∞k(y)f1(y)dy<∞∫−∞+∞∣m(y)∣k(y)f1(y)dy<∞\int_{-\infty}^{+\infty}k(y)f_1(y)d y<\infty \\ \int_{-\infty}^{+\infty}|m(y)|k(y)f_1(y)d y<\infty∫−∞+∞k(y)f1(y)dy<∞∫−∞+∞∣m(y)∣k(y)f1(y)dy<∞

在这三个条件作为充分条件时lim⁡x→∞E[m(Y1)∣X=x]=E[m(Y1)]\lim_{x \to \infty} E[m(Y_1)|X=x]=E[m(Y_1)]x→∞limE[m(Y1)∣X=x]=E[m(Y1)]

评注

条件1的作用是保证f2f_2f2在yyy比较大的时候几乎是水平的；
条件2的作用是保证f2f_2f2的尾部行为不会很震荡；
条件3的作用是限制f1f_1f1与f2f_2f2的对称性，在以上三个条件中，f1f_1f1与f2f_2f2可以交换位置，但当条件1和2限制了f2f_2f2后，相当于默认f2f_2f2就是噪声分布了，这时就需要限制f1f_1f1与f2f_2f2的对称性了，否则会出现矛盾

证明

Y1Y_1Y1的后验分布为
π(y1∣X=x)=f1(y1)f2(x−y)J,J=∫−∞+∞f1(y1)f2(x−y1)dy\pi(y_1|X=x) = \frac{f_1(y_1)f_2(x-y)}{J},J=\int_{-\infty}^{+\infty} f_1(y_1)f_2(x-y_1)dyπ(y1∣X=x)=Jf1(y1)f2(x−y),J=∫−∞+∞f1(y1)f2(x−y1)dy

这里把y2y_2y2替换成了x−y1x-y_1x−y1，这样可以避免出现太多自变量，于是下文就用yyy表示y1y_1y1了；所以
E[m(Y1)∣X=x]=IJ,I=∫−∞+∞m(y)f1(y)f2(x−y)dyE[m(Y_1)|X=x] = \frac{I}{J},I=\int_{-\infty}^{+\infty}m(y)f_1(y)f_2(x-y)dyE[m(Y1)∣X=x]=JI,I=∫−∞+∞m(y)f1(y)f2(x−y)dy

取x>Bx>Bx>B（因为是要计算I/JI/JI/J在xxx趋近于无穷时的极限，所以这里可以让xxx大于某一个常数），估计
∣If2(x)−E[m(Y1)]∣=∣∫−∞+∞m(y)f1(y)(f2(x−y)f2(x)−1)dy∣=∣∫−∞−h+∫−hh+∫h+∞m(y)f1(y)(f2(x−y)f2(x)−1)dy∣≤(M+1)∫−∞−h∣m(y)∣f1(y)dy+∫h+∞∣m(y)∣f1(y)[k(y)+1]dy+∣∫−hhm(y)f1(y)(f2(x−y)f2(x)−1)dy∣\begin{aligned} \left| \frac{I}{f_2(x)}-E[m(Y_1)] \right| & = \left| \int_{-\infty}^{+\infty}m(y)f_1(y)\left( \frac{f_2(x-y)}{f_2(x)}-1\right)dy \right| \\ & = \left| \int_{-\infty}^{-h}+\int_{-h}^{h}+\int_{h}^{+\infty}m(y)f_1(y)\left( \frac{f_2(x-y)}{f_2(x)}-1\right)dy\right| \\ & \le (M+1)\int_{-\infty}^{-h}|m(y)|f_1(y)dy \\ & +\int_h^{+\infty}|m(y)|f_1(y)[k(y)+1]dy \\ & + \left|\int_{-h}^{h}m(y)f_1(y)\left( \frac{f_2(x-y)}{f_2(x)}-1\right)dy \right|\end{aligned}∣∣∣∣f2(x)I−E[m(Y1)]∣∣∣∣=∣∣∣∣∫−∞+∞m(y)f1(y)(f2(x)f2(x−y)−1)dy∣∣∣∣=∣∣∣∣∣∫−∞−h+∫−hh+∫h+∞m(y)f1(y)(f2(x)f2(x−y)−1)dy∣∣∣∣∣≤(M+1)∫−∞−h∣m(y)∣f1(y)dy+∫h+∞∣m(y)∣f1(y)[k(y)+1]dy+∣∣∣∣∣∫−hhm(y)f1(y)(f2(x)f2(x−y)−1)dy∣∣∣∣∣

当hhh趋近于无穷时，第一项、第二项趋近于0，对任意h>0h>0h>0，根据条件1，第三项趋近于0，所以I/f2(x)→E[m(Y1)]I/f_2(x) \to E[m(Y_1)]I/f2(x)→E[m(Y1)]，根据条件3，
Jf2(x)≤sup⁡x∫−∞+∞f2(x−y)f2(x)f1(y)dy=∫−∞+∞k(y)f1(y)dy<∞\frac{J}{f_2(x)} \le \sup_x \int_{-\infty}^{+\infty}\frac{f_2(x-y)}{f_2(x)}f_1(y)d y=\int_{-\infty}^{+\infty}k(y)f_1(y)d y <\inftyf2(x)J≤xsup∫−∞+∞f2(x)f2(x−y)f1(y)dy=∫−∞+∞k(y)f1(y)dy<∞

因此，取m(y)=1m(y)=1m(y)=1，根据I/f2(x)I/f_2(x)I/f2(x)的结果，J/f2(x)→1J/f_2(x) \to 1J/f2(x)→1，综上，
IJ→E[m(Y1)]\frac{I}{J} \to E[m(Y_1)]JI→E[m(Y1)]