统计学习（四）：多重检验与控制程序

多重检验

多重检验( Multiple Testing )也称多重比较( Multiple Comparisons ), 即同时检验多个假设。假设有 m 个检验，记为 H1,H2,…,HmH_1, H_2, \dots, H_m. 称检验是显著的( significant ), 如果拒绝零假设；否则，称检验是不显著的( non-significant ). 下表定义不同类型的错误：

/	零假设为真	备择假设为真	总计
significant	VV	SS	RR
non-significant	UU	TT	m−Rm-R
总计	m0m_0	m−m0m-m_0	mm

其中， mm 是检验个数， m0m_0 是真的零假设个数(未知参数)，m−m0m-m_0 是真的备择假设个数。VV 是假阳性( false positives, Type I error )数，也称假发现( false discoveries )。SS 是真阳性( true positives )数，也称真发现。UU 是真阴性( true negatives )数， TT 是假阴性( false negatives, Type II error )数。R=V+SR=V+S 是拒绝零假设的个数，也称发现( discoveries ). 在mm 个检验中， m0m_0 是真的零假设数，RR 是可观测的随机变量， S,T,U,VS, T, U, V 不可观测。

例子: 一个人声称某硬币质地不均匀，如果扔10次结果至少有9次正面朝上。检验

H0:硬币均匀H1:硬币不均匀

H_0 : \,\, \mbox{硬币均匀}\qquad H_1 : \,\, \mbox{硬币不均匀}

PH0(扔10次结果至少有9次正面朝上)=(109)(12)912+(1010)(12)10=0.0107\mathcal{P}_{H_0}(\mbox{扔10次结果至少有9次正面朝上})= \binom{10}{9} (\frac{1}{2})^9 \frac{1}{2}+ \binom{10}{10}(\frac{1}{2})^{10}=0.0107, 在 α=0.05\alpha=0.05 水平下，拒绝 H0H_0, 即该硬币是不均匀的。
下面检验多枚硬币的均匀性，不妨设100枚硬币。一个均匀硬币掷10次至少出现9次正面的概率是0.0107, 那么100枚硬币被认为是均匀的概率为 (1−0.0107)100≈0.34(1-0.0107)^{100}\approx 0.34. 因此，单个检验的均匀准则应用于多个检验时，更可能假发现至少一个(概率是1-0.34=0.66). 这个例子说明重检验提高了 Type I error rate.

称至少犯一次错误，即一个假阳性的概率为 family-wise error rate(FWER), 记为 α¯\bar{\alpha}, 即

α¯=1−(1−α)m

\bar{\alpha}=1-(1-\alpha)^m
如果不假设各检验独立，则由 BooleBoole 不等式，有 α¯≤kα\bar{\alpha}\le k\,\alpha.

控制程序

这里讨论控制 FWER≤α¯FWER\le \bar{\alpha} 的方法。

Bonferroni Correction

令 αpertest=α¯m\alpha_{per\,test}=\dfrac{\bar{\alpha}}{m}, 该方法不假定分布和检验的独立性。

假设 H1,H2,…,HmH_1, H_2, \dots, H_m 是一族检验，p1,p2,…,pmp_1, p_2, \dots, p_m 为对应的 p-values,
FWER 为拒绝至少一个真实的 HiH_i 的概率，即犯至少一次 Type I error.

Bonferroni 校正拒绝零假设，若 pi≤αm,i=1,2,…,mp_i\le \dfrac{\alpha}{m},\,i=1,2,\dots,m. 因为

FWER=P{⋃i=1m0(pi≤αm)}≤∑i=1mP{pi≤αm}≤m0αm≤α

FWER=\mathcal{P}\{ \displaystyle\bigcup_{i=1}^{m_0}(p_i \le\dfrac{\alpha}{m}) \}\le\sum\limits_{i=1}^m \mathcal{P}\{p_i\le\dfrac{\alpha}{m}\}\le m_0 \dfrac{\alpha}{m}\le\alpha
注意：该方法不需要假定 p-values 之间的关系。但它是相当保守的，即它试图使你甚至不犯一次假发现的错误。更合理的办法是控制假发现率( false discovery rate, FDR ).

控制假发现率

FDR 用来控制假发现，即不正确地拒绝零假设的期望比例。定义

FDR=E(VR)=E(VV+S)

FDR=E(\dfrac{V}{R})=E(\dfrac{V}{V+S})
定义 VR=0\dfrac{V}{R}=0, 如果 R=0R=0.

Benjamini-Hochberg 程序控制 FDR 在水平 α\alpha 以下，具体地：

(1). 设有 mm 个检验 H1,H2,…,HmH_1, H_2, \dots, H_m, 对应 p-Values p1,p2,…,pmp_1, p_2, \dots, p_m, 排序为
p(1)≤p(2)≤⋯≤p(m)p_{(1)}\le p_{(2)}\le\cdots\le p_{(m)}

(2). 给定 α\alpha, 找到最大的 kk, 使得 p(k)≤kmαp_{(k)}\le \dfrac{k}{m}\alpha

(3). 拒绝所有的 H(i),i=1,2,…,kH_{(i)}, i=1,2, \dots,k

BH 校正满足: E(Q)≤m0mα≤αE(Q)\le \dfrac{m_0}{m}\alpha\le\alpha.

精彩内容，请关注微信公众号“统计学习与大数据”！