统计推断完备性与完备统计量的思想与历史渊源

统计推断完备性与完备统计量的进阶内容

完备性的定义
完备性的历史渊源
- Halmos定理：UMVUE的构造方法
- Neyman-Pearson引理：UMP的构造方法
指数族的完备性

因为这一年来有很多人问统计推断里的完备性到底要怎么理解，和泛函分析里的完备性是不是一回事之类的问题，所以今天结合数理统计学史给大家介绍一下完备性的渊源。我去除了大部分需要测度论的内容，但保留了一些测度论的概念，好让大家知道这篇文章确实是关于高等数理统计的。

完备性的定义

用 P θ P_{\theta} Pθ代表一个分布族，比如 P θ = { N ( θ , 1 ) : θ ∈ R } P_{\theta}=\{N(\theta,1):\theta \in \mathbb{R}\} Pθ={N(θ,1):θ∈R}就表示方差为1的正态均值分布族，假设随机变量 X ∼ P θ X \sim P_{\theta} X∼Pθ；另外，用 F \mathcal{F} F表示某一类函数的集合。

定义1 完备性(completeness) 称分布族 P θ P_{\theta} Pθ是 F \mathcal{F} F-完备的，如果 ∀ f ∈ F \forall f \in \mathcal{F} ∀f∈F， E θ [ f ( X ) ] = ∫ f ( x ) d P θ ( x ) = 0 E_{\theta}[f(X)]=\int f(x) dP_{\theta}(x)=0 Eθ[f(X)]=∫f(x)dPθ(x)=0对所有 θ ∈ Θ \theta \in \Theta θ∈Θ成立，可以推出 P θ ( f ( X ) = 0 ) = ∫ { x : f ( x ) = 0 } d P θ ( x ) = 1 P_{\theta}(f(X)=0)=\int_{\{x:f(x)=0\}} dP_{\theta}(x)=1 Pθ(f(X)=0)=∫{x:f(x)=0}dPθ(x)=1对所有 θ ∈ Θ \theta \in \Theta θ∈Θ成立。

这个定义还比较模糊的点是 F \mathcal{F} F应该代表哪一类的函数。事实上， F \mathcal{F} F的选择可以是任意的，但是常用的只有如下三种：

F \mathcal{F} F是所有有界函数的集合：基于这样的 F \mathcal{F} F所定义的完备性被称为有界完备性（bounded completeness）；
F \mathcal{F} F是所有 P θ P_{\theta} Pθ-可积函数的集合：基于这样的 F \mathcal{F} F所定义的完备性就是为我们熟知的完备性， P θ P_{\theta} Pθ-可积指的是
F \mathcal{F} F是所有平方可积函数的集合：基于这样的 F \mathcal{F} F所定义的完备性被称为2-完备性（2-completeness），平方可积指的是

完备性的历史渊源

完备性这个概念是在对两个统计问题的讨论中逐渐形成的，接下来我们简单了解一下这两个统计问题，以及如何由这两个统计问题衍生出了完备性的概念。

Halmos定理：UMVUE的构造方法

1946年，Halmos在他的论文The theory of unbiased estimator中提出了一种构造UMVUE的方法。假设 U = U ( X 1 , ⋯ , X n ) U=U(X_1,\cdots,X_n) U=U(X1,⋯,Xn)是参数 θ \theta θ的无偏估计，则取 k < n k<n k<n，计算
U k ( n ) = 1 A n k ∑ i 1 , ⋯ , i k 为 n 取 k 的任一排列 U ( X i 1 , ⋯ , X i k ) U_k^{(n)}=\frac{1}{A_n^k}\sum_{i_1,\cdots,i_k为n取k的任一排列} U(X_{i_1},\cdots,X_{i_k}) Uk(n)=Ank1i1,⋯,ik为n取k的任一排列∑U(Xi1,⋯,Xik)

由此得到的估计量 U k ( n ) U_k^{(n)} Uk(n)在所有无偏估计中具有最小方差。

这个结果在现在的我们看来是非常简单的，它与Jeckknife方法非常类似，证明难度也就是作业题的难度。按照我们学过的现代的统计推断理论，因为次序统计量 ( X ( 1 ) , ⋯ , X ( n ) ) (X_{(1)},\cdots,X_{(n)}) (X(1),⋯,X(n))是一组充分统计量，根据Rao-Blackwell定理（1947年），
U k ( n ) = E [ U ∣ X ( 1 ) , ⋯ , X ( n ) ] U_k^{(n)}=E[U|X_{(1)},\cdots,X_{(n)}] Uk(n)=E[U∣X(1),⋯,X(n)]

一定是一个UMVUE。但是在当年，Halmos的这个结果是具有开创性的，事实上Rao和Blackwell也正是从Halmos的文章中领会到了使用条件期望构造UMVUE的思想，并在次年提出了Rao-Blackwell定理。而他在证明过程中构造的lemma 2（下图是截取的Halmos原文内容），也给出了完备性定义的雏形。

Neyman-Pearson引理：UMP的构造方法

1933年，Neyman和Pearson提出了Neyman-Pearson引理，回答了简单假设检验的UMP构造问题。1937年，Neyman发表了Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability，在这篇文章中，他提出了用充分统计量仿照Neyman-Pearson引理构造UMP的想法。Lehmann与scheffe在1947年的文章On families of admissible tests中完善了Neyman的想法。他们引入了有界完备性，并证明了Neyman的想法在充分统计量导出的分布族有界完备时就是可行的。假设 S S S代表一个充分统计量，则 S S S是样本 X 1 , ⋯ , X n X_1,\cdots,X_n X1,⋯,Xn的函数，由它导出的分布族为
P θ ( S ∈ A ) = P θ ( ( X 1 , ⋯ , X n ) ∈ S − 1 ( A ) ) P_{\theta}(S \in A)=P_{\theta}((X_1,\cdots,X_n) \in S^{-1}(A)) Pθ(S∈A)=Pθ((X1,⋯,Xn)∈S−1(A))

我们作为学过现代的统计推断的学生，自然是知道Lehmann与scheffe的结论是不够完美的，不然统计推断教材上关于假设检验的定理注定会有Lehmann与scheffe的名字。事实上，充分统计量导出的分布族并不一定总是有界完备的，一个非常著名的例子就是Behrens-Fisher问题（感兴趣的同学可以自己去了解一下）。

指数族的完备性

结合上面这两个发展出完备性、有界完备性概念的两个统计推断问题，我们不难看出完备性这个概念的提出只是为了给定理需要的条件命名而已，只是它正好和其他领域的完备性撞名了，所以显得有点神秘。但凡给它换个名字可能大家都不会这么纠结。但这里的完备性也并非和其他领域的完备性全然无关。大家在学习完备性以及完备性的证明的时候，应该或多或少都用过把 E θ [ f ( X ) ] = ∫ f ( x ) d P θ ( x ) E_{\theta}[f(X)]=\int f(x)dP_{\theta}(x) Eθ[f(X)]=∫f(x)dPθ(x)这个积分变形成某个含有 f ( x ) f(x) f(x)的函数的Laplace变换的方法，这个方法利用的就是Laplace变换的完备性。这个方法最早可以追溯到Lehmann和scheffe于1950年开始创作的大作completeness, similar regions and unbiased estimation。这部大作分为I，II，III，三篇，分别发表在1950、1955、1956年，它们代表了那个年代数理统计领域对UMVUE和Neyman引理的理解的集大成。Lehmann和scheffe在1950年用这个方法论述了指数分布族完备的条件：考虑指数族
f ( x ) = c ( θ ) h ( x ) exp ⁡ ( ∑ j = 1 k w j ( θ ) t j ( x ) ) f(x)=c(\theta)h(x)\exp \left( \sum_{j=1}^k w_j(\theta)t_j(x) \right) f(x)=c(θ)h(x)exp(j=1∑kwj(θ)tj(x))

给定随机样本 ( X 1 , ⋯ , X n ) (X_1,\cdots,X_n) (X1,⋯,Xn)， ( ∑ i = 1 n t 1 ( x i ) , ⋯ , ∑ i = 1 n t k ( x i ) ) (\sum_{i=1}^n t_1(x_i),\cdots,\sum_{i=1}^n t_k(x_i)) (∑i=1nt1(xi),⋯,∑i=1ntk(xi))是完备统计量的充分条件是参数空间 { ( w 1 ( θ ) , ⋯ , w k ( θ ) ) : θ ∈ Θ } \{(w_1(\theta),\cdots,w_k(\theta)):\theta \in \Theta\} {(w1(θ),⋯,wk(θ)):θ∈Θ}的内部不为空。

下面贴completeness, similar regions and unbiased estimation part II 证明指数族完备性的关键步骤lemma 7.1的原文供大家欣赏一下（不太推荐读原文，因为离现在太久了，概念和记号之类的都有些变化了，了解一下核心思想确实是积分变换的唯一性就可以了）