UA MATH566 统计理论 Fisher信息量的性质上

Fisher信息量的定义
Fisher信息量的数学意义

C-R下界是由Fisher统计量定义的，在推导C-R下界的时候，我们只是把下界的逆定义成了Fisher信息量，但尚未探讨这个量的本质是什么？为什么要叫它信息量？它有哪些性质？以及怎么计算的问题。这一讲我们讨论前两个问题，下一讲讨论它的性质，计算则留到后续的博客结合例题介绍。

Fisher信息量的定义

某分布族为f(x,θ),θ∈Θf(x,\theta),\theta \in \Thetaf(x,θ),θ∈Θ，假设Θ⊂R\Theta \subset \mathbb{R}Θ⊂R，则此时的得分函数关于分布参数是一维的
S(x,θ)=∂log⁡L(θ)∂θ=1f(x,θ)∂f(x,θ)∂θS(x,\theta) = \frac{\partial \log L(\theta)}{\partial \theta} = \frac{1}{f(x,\theta)} \frac{\partial f(x,\theta)}{\partial \theta}S(x,θ)=∂θ∂logL(θ)=f(x,θ)1∂θ∂f(x,θ)

则它的一阶矩为零，并称它的二阶矩为Fisher信息量
E[S(X,θ)]=0,E[S(X,θ)]2=I(θ)E[S(X,\theta)]=0,\ \ E[S(X,\theta)]^2 = I(\theta)E[S(X,θ)]=0, E[S(X,θ)]2=I(θ)

Fisher信息量的数学意义

下面说明为什么I(θ)I(\theta)I(θ)可以用来衡量信息的多少。在UA MATH636 信息论1 熵中我们介绍了熵、Divergence、互信息等用来衡量信息多少的量，下面我们就来讨论一下Fisher信息量与信息论中的这些信息度量之间的关系。

参考UA MATH636 信息论6 微分熵，微分熵的定义是
h(θ)=−E[log⁡f(x,θ)]=−∫f(x,θ)log⁡f(x,θ)dxh(\theta) = -E[\log f(x,\theta)] = -\int f(x,\theta) \log f(x,\theta)dxh(θ)=−E[logf(x,θ)]=−∫f(x,θ)logf(x,θ)dx

计算微分熵的差分
Δh=h(θ+Δθ)−h(θ)=−∫f(x,θ)[log⁡f(x,θ+Δθ)−log⁡f(x,θ)]dx\Delta h = h(\theta + \Delta\theta) - h(\theta) = -\int f(x,\theta)[ \log f(x,\theta + \Delta\theta)- \log f(x,\theta)]dxΔh=h(θ+Δθ)−h(θ)=−∫f(x,θ)[logf(x,θ+Δθ)−logf(x,θ)]dx

接下来做Taylor展开
log⁡f(x,θ+Δθ)−log⁡f(x,θ)=∂log⁡f(x,θ)∂θΔθ+12!∂2log⁡f(x,θ)∂2θ(Δθ)2+o(Δθ)2\log f(x,\theta + \Delta\theta)- \log f(x,\theta) = \frac{\partial \log f(x,\theta)}{\partial \theta}\Delta \theta +\frac{1}{2!} \frac{\partial^2 \log f(x,\theta)}{\partial^2 \theta}(\Delta \theta)^2 + o(\Delta \theta)^2logf(x,θ+Δθ)−logf(x,θ)=∂θ∂logf(x,θ)Δθ+2!1∂2θ∂2logf(x,θ)(Δθ)2+o(Δθ)2

下面计算那两个导数
∂log⁡f(x,θ)∂θ=f′(x,θ)f(x,θ),∂2log⁡f(x,θ)∂2θ=f′′(x,θ)f(x,θ)−[f′(x,θ)]2f2(x,θ)\frac{\partial \log f(x,\theta)}{\partial \theta} = \frac{f'(x,\theta)}{f(x,\theta)},\ \frac{\partial^2 \log f(x,\theta)}{\partial^2 \theta} = \frac{f''(x,\theta)}{f(x,\theta)}-\frac{[f^{'}(x,\theta)]^2}{f^2(x,\theta)}∂θ∂logf(x,θ)=f(x,θ)f′(x,θ), ∂2θ∂2logf(x,θ)=f(x,θ)f′′(x,θ)−f2(x,θ)[f′(x,θ)]2

把这些结论带入差分中，
Δh=−∫f(x,θ)[f′(x,θ)f(x,θ)Δθ+12(f′′(x,θ)f(x,θ)−[f′(x,θ)]2f2(x,θ))(Δθ)2+o(Δθ)2]dx\Delta h = -\int f(x,\theta)[ \frac{f'(x,\theta)}{f(x,\theta)}\Delta \theta +\frac{1}{2}(\frac{f''(x,\theta)}{f(x,\theta)}-\frac{[f^{'}(x,\theta)]^2}{f^2(x,\theta)})(\Delta \theta)^2+o(\Delta \theta)^2]dx Δh=−∫f(x,θ)[f(x,θ)f′(x,θ)Δθ+21(f(x,θ)f′′(x,θ)−f2(x,θ)[f′(x,θ)]2)(Δθ)2+o(Δθ)2]dx

我们逐项分析，第一项
∫f(x,θ)f′(x,θ)f(x,θ)Δθdx=E[S(X,θ)]Δθ=0\int f(x,\theta) \frac{f'(x,\theta)}{f(x,\theta)}\Delta \theta dx = E[S(X,\theta)]\Delta \theta = 0∫f(x,θ)f(x,θ)f′(x,θ)Δθdx=E[S(X,θ)]Δθ=0

最后一项积分后还是高阶无穷小量，可以忽略
∫o(Δθ)2dx=o(Δθ)2\int o(\Delta \theta)^2 dx = o(\Delta \theta)^2∫o(Δθ)2dx=o(Δθ)2

第二项中的第一部分
∫f(x,θ)f′′(x,θ)f(x,θ)dx=E[∂S(X,θ)∂θ]=∂∂θE[S(X,θ)]=0\int f(x,\theta )\frac{f''(x,\theta)}{f(x,\theta)} dx = E[\frac{\partial S(X,\theta)}{\partial \theta}] = \frac{\partial}{\partial \theta}E[S(X,\theta)] = 0∫f(x,θ)f(x,θ)f′′(x,θ)dx=E[∂θ∂S(X,θ)]=∂θ∂E[S(X,θ)]=0

因此最后只剩下
Δh=12∫f(x,θ)[f′(x,θ)]2f2(x,θ)(Δθ)2dx=E[∂log⁡L(x,θ)∂θ∂log⁡L(x,θ)∂θ](Δθ)2=12I(θ)(Δθ)2\Delta h = \frac{1}{2} \int f(x,\theta)\frac{[f^{'}(x,\theta)]^2}{f^2(x,\theta)}(\Delta \theta)^2dx \\= E[\frac{\partial \log L(x,\theta)}{\partial \theta}\frac{\partial \log L(x,\theta)}{\partial \theta}](\Delta \theta)^2 = \frac{1}{2}I(\theta)(\Delta \theta)^2Δh=21∫f(x,θ)f2(x,θ)[f′(x,θ)]2(Δθ)2dx=E[∂θ∂logL(x,θ)∂θ∂logL(x,θ)](Δθ)2=21I(θ)(Δθ)2

如果是多维分布，那么
Δh=12ΔθTI(θ)Δθ\Delta h = \frac{1}{2} \Delta \theta^TI(\theta)\Delta \thetaΔh=21ΔθTI(θ)Δθ

也就是说，熵的差分可以表示为以Fisher信息量为矩阵的二次型。

UA MATH566 统计理论 Fisher信息量的性质上相关推荐

UA MATH566 统计理论 Fisher信息论的性质下
UA MATH566 统计理论 Fisher信息量的性质下辅助统计量的Fisher信息为0 分布族参数变换后的Fisher信息统计量的Fisher信息的有界性下面介绍一些Fisher信息量的常用 ...
UA MATH566 统计理论一个例题 Hierarchical Model的统计性质
UA MATH566 统计理论一个例题 Hierarchical Model的统计性质 Y∣X∼Pois(X)Y|X \sim Pois(X)Y∣X∼Pois(X) and X∼Γ(α,β)X \s ...
UA MATH566 统计理论2 C-R不等式简介
UA MATH566 统计理论2 C-R不等式单个参数的情形多个参数的情形点估计基础那一篇讨论到UMVUE了,这一讲试图给出无偏估计方差的一个下界.在统计理论1中推导的Fisher信息其实就是一 ...
UA MATH566 统计理论1 充分统计量
UA MATH566 统计理论1 充分统计量指数族自然形式充分统计量 Neyman-Fisher因子分解定理 Bayes充分性最小充分统计量完备性分布族的完备性统计量的完备性辅助统计量 ...
UA MATH566 统计理论 Bayes统计基础
UA MATH566 统计理论 Bayes统计基础共轭分布基于后验概率预测新的观测值 Bayes统计思想的基础是Bayes公式 P(Ci∣A)=P(A,Ci)P(A)=P(A∣Ci)P(Ci)∑i ...
UA MATH566 统计理论概念与定理总结
UA MATH566 统计理论概念与定理总结 Part 1 Exponential Family Tip 1: Form of Exponential Family f(x∣η)=h(x)exp⁡( ...
UA MATH566 统计理论位置-尺度参数族
UA MATH566 统计理论位置-尺度参数族对位置-尺度参数族做位置-尺度变换对正态分布做位置-尺度变换对Gamma分布做位置-尺度变换对指数分布做位置尺度变换对均匀分布做位置-尺度变换 ...
UA MATH566 统计理论截断数据
UA MATH566 统计理论截断数据 Truncated Left-Trancated Right-Truncated 一个例子:双截断正态分布双截断正态分布的完备最小充分统计量这一讲介绍随机 ...
UA MATH566 统计理论8 用Pivot构造置信区间
UA MATH566 统计理论8 用Pivot构造置信区间用Pivot构造置信区间一般性方法最优置信区间置信区间的频率派解释上一讲介绍的构造置信区间的方法是根据假设检验导出置信区间,但我们感 ...

UA MATH566 统计理论 Fisher信息量的性质上

UA MATH566 统计理论 Fisher信息量的性质上

Fisher信息量的定义

Fisher信息量的数学意义

UA MATH566 统计理论 Fisher信息量的性质上相关推荐

最新文章

热门文章