数理统计复习笔记二—

一、背景

统计量的引入是为了简化样本的繁杂，但所使用的统计量是否把样本中关于感兴趣问题的信息全部吸收进来了？这就引出充分统计量的概念。它是Fisher正式提出的，其思想源于他和Eddington关于估计标准差的争论。

二、定义

对于某分布族F={Fθ(x):θ∈Θ}\mathcal F=\{F_\theta(x):\theta\in\Theta\}F={Fθ(x):θ∈Θ}，∀F∈F\forall F\in\mathcal F∀F∈F，设X1,⋯,XnX_1, \cdots, X_nX1,⋯,Xn是来自FFF的样本，T=T(X1,⋯,Xn)T=T(X_1, \cdots, X_n)T=T(X1,⋯,Xn)是一统计量，如在给定T=tT=tT=t下，样本(X1,⋯,Xn)(X_1, \cdots, X_n)(X1,⋯,Xn)的条件概率分布与总体分布FFF或参数θ\thetaθ无关，则称统计量TTT是此分布族F\mathcal FF的充分统计量，也称统计量TTT是参数θ\thetaθ的充分统计量。

对于连续型随机变量，其概率分布为概率密度函数；对于离散型随机变量，其概率分布为累积分布函数
充分统计量TTT可以是向量，但不一定与参数的维度相同
如果统计量TTT是参数θ\thetaθ的充分统计量，且S(t)S(t)S(t)是单值可逆的，则S(T)S(T)S(T)也是θ\thetaθ的充分统计量

三、因子分解定理

对于分布族F={Fθ(x):θ∈Θ}\mathcal F=\{F_\theta(x):\theta\in\Theta\}F={Fθ(x):θ∈Θ}，设X1,⋯,XnX_1, \cdots, X_nX1,⋯,Xn是一组IID样本，TTT是一统计量，则TTT的θ\thetaθ的充分统计量的充要条件是：其样本分布fθ(x1,⋯,xn)f_\theta(x_1, \cdots, x_n)fθ(x1,⋯,xn)可做如下分解：fθ(x1,⋯,xn)=gθ(T(x1,⋯,xn))⋅h(x1,⋯,xn)f_\theta(x_1, \cdots, x_n)=g_\theta(T(x_1, \cdots, x_n))\cdot h(x_1, \cdots, x_n)fθ(x1,⋯,xn)=gθ(T(x1,⋯,xn))⋅h(x1,⋯,xn)
其中，h(x)h(\bm x)h(x)不依赖于参数θ\thetaθ

证明：

给出离散情况下的证明：
此时fθ(x1,⋯,xn)=P{X1=x1,⋯,Xn=xn}f_\theta(x_1, \cdots, x_n)=P\{X_1=x_1, \cdots,X_n=x_n\}fθ(x1,⋯,xn)=P{X1=x1,⋯,Xn=xn}，对于给定的ttt，定义A(t)={(x1,⋯,xn):T(x1,⋯,xn)=t}A(t)=\{(x_1, \cdots, x_n): T(x_1, \cdots, x_n)=t\}A(t)={(x1,⋯,xn):T(x1,⋯,xn)=t}

⋅\cdot⋅ 充分性：对于给定当前样本值x\bm xx，当x∉A(t)\bm x\notin A(t)x∈/A(t)时，P{X=x∣T=t}=0P\{ \bm X=\bm x|T=t\}=0P{X=x∣T=t}=0与参数θ\thetaθ无关；当x∈A(t)\bm x\in A(t)x∈A(t)时，有P{X=x∣T=t}=P{X=x,T=t}Pθ{T=t}=P{X=x}Pθ{T=t}=gθ(t)h(x)∑y∈A(t)gθ(t)h(y)=h(x)∑y∈A(t)h(y)P\{ \bm X=\bm x|T=t\}=\frac{P\{ \bm X=\bm x, T=t\}}{P_\theta\{T=t\}}=\frac{P\{ \bm X=\bm x\}}{P_\theta\{T=t\}}=\frac{g_\theta(t)h(x)}{\sum\limits_{\bm y\in A(t)}g_\theta(t)h(\bm y)}=\frac{h(x)}{\sum\limits_{\bm y\in A(t)}h(\bm y)}P{X=x∣T=t}=Pθ{T=t}P{X=x,T=t}=Pθ{T=t}P{X=x}=y∈A(t)∑gθ(t)h(y)gθ(t)h(x)=y∈A(t)∑h(y)h(x)，与参数θ\thetaθ无关
⋅\cdot⋅ 必要性：设TTT是充分统计量，由定义可知P{X=x∣T=t}P\{ \bm X=\bm x|T=t\}P{X=x∣T=t}与参数θ\thetaθ无关，则它只能是x\bm xx的函数，我们记之为h(x)h(\bm x)h(x)，对于给定的ttt和x∈A(t)\bm x\in A(t)x∈A(t)，我们有Pθ{X=x}=P{X=x∣T=t}Pθ{T(x)=t}=gθ(t)h(x)P_\theta\{\bm X=\bm x\}=P\{ \bm X=\bm x|T=t\}P_\theta\{T(\bm x)=t\}=g_\theta(t)h(\bm x)Pθ{X=x}=P{X=x∣T=t}Pθ{T(x)=t}=gθ(t)h(x)

四、例子

均匀分布U(0,θ)U(0,\theta)U(0,θ)的充分统计量：T=max⁡{X1,⋯,Xn}=X(n)T=\max\{X_1,\cdots,X_n\}=X_{(n)}T=max{X1,⋯,Xn}=X(n)
正态分布N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2)的充分统计量：T=(X‾,∑i=1n(Xi−X‾)2)T=(\overline X, \sum_{i=1}^n(X_i-\overline X)^2)T=(X,i=1∑n(Xi−X)2)
伯努利分布b(1,p)b(1, p)b(1,p)的充分统计量：T1=(X1,⋯,Xn)T_1=(X_1, \cdots, X_n)T1=(X1,⋯,Xn)T2=(X1+X2,⋯,Xn)T_2=(X_1+X_2, \cdots, X_n)T2=(X1+X2,⋯,Xn)⋯⋯⋯\cdots\cdots\cdots⋯⋯⋯Tn=X1+⋯+XnT_n=X_1+\cdots+X_nTn=X1+⋯+Xn
柏松分布P(λ)P(\lambda)P(λ)的充分统计量：T=∑i=1nXiT=\sum_{i=1}^nX_iT=i=1∑nXi

数理统计复习笔记二——充分统计量相关推荐

数理统计复习笔记五——假设检验之显著性检验
一.基本概念在统计中,我们把需要用样本去推断"正确"与否的命题称为一个假设.当然,假设是可以关于参数的,也可以是关于分布的. 通过样本对一个假设作出"对"或& ...
c++语言自定义操作符,C++语言复习笔记二
C++语言复习笔记二零.OOP 特征:抽象-封装-继承-多态一.自定义数据类型 1.类 class 类名 { private: 私有成员(本类) public: 公共成员(所有) protecte ...
数理统计复习笔记一——统计中常用的抽样分布(卡方分布，t分布，F分布)
前言: 总结一下数理统计中的基本概念,一些用python的实现在这里.不断持续更新. 1. 几个基本概念 1.1 次序统计量 1.2 样本偏度与样本峰度 1.3 经验分布函数 1.4 抽样 ...
概率论复习笔记二——离散型分布和连续型分布
一.离散型分布 1.1 伯努利分布在一次试验中,事件AAA出现的概率为ppp,不出现的概率为q=1−pq=1-pq=1−p,若以β\betaβ记事件AAA出现的次数,则β\betaβ取0,10, 1 ...
操作系统复习笔记(二)
1.问答题:有一个文件F,有A,B两组进程共享这个文件,同组的进程可以同时读文件F,但当有A组(或B组)的进程在读文件F时就不允许B组(或A组)的进程读, 解:定义两个计数器C1,C2,分别记录A组和 ...
电子商务复习笔记二：电子商务相关知识与技术
万维网万维网概述万维网(亦作"网络"."WWW"."3W",英文"Web"或"World Wide Web ...
《微型计算机原理与接口技术》复习笔记（二）
使用教材为 <微型计算机原理与接口技术>(慕课版) 孙丽娟.李爱群.陈燕俐.周宁宁.邓玉龙编著默认存储器单元的地址编排顺序从上往下,地址从低向高编排微机原理复习笔记一微机原理复习笔记 ...
《微型计算机原理与接口技术》复习笔记（四）
使用教材为 <微型计算机原理与接口技术>(慕课版) 孙丽娟.李爱群.陈燕俐.周宁宁.邓玉龙编著微机原理复习笔记一微机原理复习笔记二微机原理复习笔记三微机原理复习笔记四中断系统 1 ...
《微型计算机原理与接口技术》复习笔记（三）
使用教材为 <微型计算机原理与接口技术>(慕课版) 孙丽娟.李爱群.陈燕俐.周宁宁.邓玉龙编著微机原理复习笔记一微机原理复习笔记二微机原理复习笔记四微机原理复习笔记三 1. 存储器 ...
《微型计算机原理与接口技术》复习笔记（一）
使用教材为 <微型计算机原理与接口技术>(慕课版) 孙丽娟.李爱群.陈燕俐.周宁宁.邓玉龙编著微机原理复习笔记二微机原理复习笔记三微机原理复习笔记四微机复习笔记(一) 1. 二进制 ...

数理统计复习笔记二——充分统计量

一、背景

二、定义

三、因子分解定理

四、例子

数理统计复习笔记二——充分统计量相关推荐

最新文章

热门文章