广义线性模型之指数分布族期望和方差的推导

广义线性模型（一）——指数分布族

指数分布族（ Linear Exponential Family)
指数分布族的期望与方差证明

最近接触机器学习，学到广义线性模型。由于广义线性模型在精算领域的运用比较广泛。顾从本篇博客开始，对广义线性模型做一个探讨，希望大家积极指出本人的问题，或参与探讨。

指数分布族（ Linear Exponential Family)

响应变量 yyy 来自指数分布组，其概率密度函数为：
f(y;θ,ϕ)=exp(yθ−b(θ)ϕ+S(y,ϕ))f(y;\theta,\phi) = exp (\frac{y\theta-b(\theta)}{\phi}+S(y,\phi))f(y;θ,ϕ)=exp(ϕyθ−b(θ)+S(y,ϕ))

θ\thetaθ: 自然参数，也是我们感兴趣的参数
ϕ\phiϕ: 尺度参数（scale parameter)

正态分布，二项分布，伯努利分布，泊松分布，伽马分布，负二项分布，逆高斯分布都属于指数分布族。

指数分布族的期望与方差证明

指数分布族函数的期望和方差如下：
E(y)=b′(θ),Var(y)=ϕb′′(θ)E(y) = b'(\theta) , Var(y) = \phi b''(\theta)E(y)=b′(θ),Var(y)=ϕb′′(θ)
那么该如何推导出这个期望和方差呢？
我们第一直觉是直接用期望的公式
E(y)=∫0∞yf(y;θ,ϕ)dyE(y)=\int_{0}^{ \infty} yf(y;\theta,\phi) dyE(y)=∫0∞yf(y;θ,ϕ)dy
方差为
Var(y)=E(y2)−(E(y))2Var(y) = E(y^2)-(E(y))^2Var(y)=E(y2)−(E(y))2
但是f(y,θ,ϕ)f(y,\theta,\phi)f(y,θ,ϕ) 中包含了S(y,ϕ)S(y,\phi)S(y,ϕ) 这一部分很难处理，所以换种方式，考虑矩量母函数（MGF，moment-generating function）：
Mx(t)=E[etx]=∫exp(tx)f(x)dxM_{x}(t) =E[e^{tx}]=\int exp(tx)f(x)dxMx(t)=E[etx]=∫exp(tx)f(x)dx
矩量母函数的强大之处在与它能求出n阶原点矩
M′(0)=E(x),M′′(0)=E(x2)M'(0) =E(x), M''(0) = E(x^2)M′(0)=E(x),M′′(0)=E(x2)
这个可以由麦克劳林展开式求导得到。
所以，
My(t)=E(ety)=∫exp(ty)f(y)dy=∫etyeyθ−b(θ)ϕ+S(y,ϕ)dy=∫ey(θ+ϕt)−b(θ)ϕ+S(y,ϕ)dyM_{y}(t) = E(e^{ty}) =\int exp(ty)f(y)dy =\int e^{ty}e^{\frac{y\theta-b(\theta)}{\phi}+S(y,\phi)}dy=\int e^{\frac{y(\theta+\phi t)-b(\theta)}{\phi}+S(y,\phi)}dy My(t)=E(ety)=∫exp(ty)f(y)dy=∫etyeϕyθ−b(θ)+S(y,ϕ)dy=∫eϕy(θ+ϕt)−b(θ)+S(y,ϕ)dy
到这一步，我们需要凑出一个新的概率密度函数 f(y;θ+t,ϕ)f(y;\theta+t,\phi)f(y;θ+t,ϕ),因为一个概率密度函数，在其全部定义域的积分等于1（概率不会超过1！）

∫ey(θ+ϕt)−b(θ)ϕ+S(y,ϕ)dy=∫ey(θ+ϕt)−b(θ+ϕt)+b(θ+ϕt)−b(θ)ϕ+S(y,ϕ)dy=e(b(θ+ϕt)−b(θ))/ϕ∫ey(θ+ϕt)−b(θ+)ϕ+S(y,ϕ)dy\int e^{\frac{y(\theta+\phi t)-b(\theta)}{\phi}+S(y,\phi)}dy = \int e^{\frac{y(\theta+\phi t)-b(\theta+\phi t) +b(\theta+\phi t)-b(\theta)}{\phi}+S(y,\phi)}dy =e^{(b(\theta+\phi t)-b(\theta))/\phi}\int e^{\frac{y(\theta+\phi t)-b(\theta+)}{\phi}+S(y,\phi)}dy∫eϕy(θ+ϕt)−b(θ)+S(y,ϕ)dy=∫eϕy(θ+ϕt)−b(θ+ϕt)+b(θ+ϕt)−b(θ)+S(y,ϕ)dy=e(b(θ+ϕt)−b(θ))/ϕ∫eϕy(θ+ϕt)−b(θ+)+S(y,ϕ)dy
因为右边积分这一块等于1，所以最后结果就是
My(t)=E(ety)=eb(θ+ϕt)−b(θ)ϕM_{y}(t) = E(e^{ty})=e^{\frac{b(\theta+\phi t)-b(\theta)}{\phi}} My(t)=E(ety)=eϕb(θ+ϕt)−b(θ)
此函数在t= 0 处的导数为
M′(0)=b′(θ+ϕt)eb(θ+ϕt)−b(θ)ϕ∣t=0=b′(θ)M'(0) = b'(\theta+\phi t) e^{\frac{b(\theta+\phi t)-b(\theta)}{\phi}}\bigg|_{t = 0} =b'(\theta)M′(0)=b′(θ+ϕt)eϕb(θ+ϕt)−b(θ)∣∣∣∣t=0=b′(θ)
二阶导数为
M′′(0)=ϕb′′(θ+ϕt)eb(θ+ϕt)−b(θ)ϕ∣t=0+[b′(θ+ϕt)]2eb(θ+ϕt)−b(θ)ϕ∣t=0=ϕb′′(θ)+[b′(θ)]2M''(0) = \phi b''(\theta+\phi t)e^{\frac{b(\theta+\phi t)-b(\theta)}{\phi}}\bigg|_{t = 0} +[b'(\theta+\phi t)]^2e^{\frac{b(\theta+\phi t)-b(\theta)}{\phi}}\bigg|_{t = 0} =\phi b''(\theta) +[b'(\theta)]^2M′′(0)=ϕb′′(θ+ϕt)eϕb(θ+ϕt)−b(θ)∣∣∣∣t=0+[b′(θ+ϕt)]2eϕb(θ+ϕt)−b(θ)∣∣∣∣t=0=ϕb′′(θ)+[b′(θ)]2
知道一阶导数和二阶导数，我们能轻松求出期望和方差：
E(y)=M′(0)=b′(θ)E(y)=M'(0) = b'(\theta)E(y)=M′(0)=b′(θ)
Var(y)=M′′(0)−(M′(0))2=ϕb′′(θ)Var(y) = M''(0) - (M'(0))^2 = \phi b''(\theta)Var(y)=M′′(0)−(M′(0))2=ϕb′′(θ)

这样我们就成功推导出了指数分布族函数的期望和方差！