UA MATH571B 试验设计VI 随机效应与混合效应

两个factor的随机效应模型

现在回到试验设计III 单因素试验设计1中介绍的模型，yij=μ+τi+ϵij,ϵij∼iidN(0,σ2)i=1,2,⋯,a;j=1,2,⋯,ny_{ij} = \mu + \tau_i + \epsilon_{ij},\epsilon_{ij}\sim_{iid}N(0,\sigma^2)\\ i = 1,2,\cdots,a; j=1,2,\cdots,n yij=μ+τi+ϵij,ϵij∼iidN(0,σ2)i=1,2,⋯,a;j=1,2,⋯,n

其中μ\muμ是总体均值（grand mean），τi\tau_iτi是第iii种factor level的treatment effect，μi=μ+τi\mu_i=\mu+\tau_iμi=μ+τi，这个模型叫效应模型（effect model）。我们想研究的是单个treatment factor的不同level对response的影响。用最小二乘法估计这个模型的时候，我们得到的方程是
anμ^+∑i=1aτ^i=y..nμ^+nτ^i=yi.,i=1,⋯,aan\hat{\mu}+\sum_{i=1}^a \hat{\tau}_i=y_{..}\\n\hat{\mu}+ n\hat{\tau}_i=y_{i.},i=1,\cdots,aanμ^+i=1∑aτ^i=y..nμ^+nτ^i=yi.,i=1,⋯,a

线性独立的方程只有aaa个，但要估计的系数有a+1a+1a+1个，因此我们为了估计系数引入了一个假设：
∑i=1aτ^i=0\sum_{i=1}^a \hat{\tau}_i = 0 i=1∑aτ^i=0

并称满足这个方程的factor为fixed factor。引入这个假设意味着我们认为treatment factor的level是人为设计，并且包含了treatment factor的绝大多数可能性，这样的因素模型我们称之为固定效应模型。固定效应模型中缺一个方程的原因是总体均值与treatment effec的线性相关性，除了增加额外的约束外，还可以考虑增加模型的随机性。固定模型要求穷尽treatment factor所有取值是可能实现的，那么当treatment factor有非常多的可能的值时，样本中的treatment factor level其实是对level的population的抽样，treatment effect也就不会是固定的，而是与treatment factor level一样是随机的。称factor level和factor effect是随机变量的factor为random factor，只含有random factor的模型为随机效应模型；同时含有random factor与fixed factor的模型为混合效应模型。

两个factor的随机效应模型

假设我们关注A和B两个factor的effects，它们都是random factors，模型设定为：
yijk=μ+τi+βj+(τβ)ij+ϵijkϵijk∼iidN(0,σ2);i=1,⋯,a;j=1,⋯,b;k=1,⋯,nτi∼iidN(0,στ2),βj∼iidN(0,σβ2),(τβ)ij∼iidN(0,στβ2)y_{ijk} = \mu + \tau_i + \beta_j +(\tau \beta)_{ij}+ \epsilon_{ijk}\\ \epsilon_{ijk} \sim_{iid}N(0,\sigma^2);i=1,\cdots,a;j=1,\cdots,b;k=1,\cdots,n \\ \tau_i \sim_{iid} N(0,\sigma_{\tau}^2),\beta_j \sim_{iid} N(0,\sigma^2_{\beta}),(\tau \beta)_{ij} \sim_{iid} N(0,\sigma_{\tau \beta}^2) yijk=μ+τi+βj+(τβ)ij+ϵijkϵijk∼iidN(0,σ2);i=1,⋯,a;j=1,⋯,b;k=1,⋯,nτi∼iidN(0,στ2),βj∼iidN(0,σβ2),(τβ)ij∼iidN(0,στβ2)

从而方差分解为：
Var(yijk)=στ2+σβ2+στβ2+σ2Var(y_{ijk}) = \sigma^2_{\tau} + \sigma^2_{\beta} + \sigma^2_{\tau \beta} + \sigma^2Var(yijk)=στ2+σβ2+στβ2+σ2

因素模型中我们讨论的最基本的问题永远是某个因素对试验结果是否存在显著的效应，具体表现为在总体均值以外，因素的不同水平是否会造成试验结果的显著区别。在固定效应模型中，我们比较的方式是用ANOVA做多组level的effect均值的检验，比较他们是否同时显著为0；在随机效应模型中，不同level的effect相同则意味着factor effect的方差为0，因此随机效应模型中我们需要做的检验是：
H0:στ2=0H0:σβ2=0H0:στβ2=0H_0:\sigma_{\tau}^2=0 \\ H_0:\sigma_{\beta}^2=0\\ H_0:\sigma_{\tau \beta}^2=0H0:στ2=0H0:σβ2=0H0:στβ2=0

接下来，我们要试图修正之前一直在用的ANOVA分析框架使之能够用在随机效应模型中。先定义几个符号：
yi..=∑j=1b∑k=1nyijk,yˉi..=yi..any.j.=∑i=1a∑k=1nyijk,yˉ.j.=y.j.bnyij.=∑k=1nyijk,yˉij.=yij.ny...=∑i=1ayi..=∑j=1by.j.,yˉ...=y...N,N=abny_{i..} = \sum_{j=1}^b\sum_{k=1}^n y_{ijk}, \bar{y}_{i..} = \frac{y_{i..}}{an} \\ y_{.j.} = \sum_{i=1}^a \sum_{k=1}^n y_{ijk}, \bar{y}_{.j.} = \frac{y_{.j.}}{bn} \\ y_{ij.} = \sum_{k=1}^n y_{ijk}, \bar{y}_{ij.} = \frac{y_{ij.}}{n}\\ y_{...} = \sum_{i=1}^a y_{i..}=\sum_{j=1}^b y_{.j.}, \bar{y}_{...} = \frac{y_{...}}{N},N=abn yi..=j=1∑bk=1∑nyijk,yˉi..=anyi..y.j.=i=1∑ak=1∑nyijk,yˉ.j.=bny.j.yij.=k=1∑nyijk,yˉij.=nyij.y...=i=1∑ayi..=j=1∑by.j.,yˉ...=Ny...,N=abn

考虑平方和分解，总平方和为：
SST=∑i=1a∑j=1b∑k=1n(yijk−yˉ...)2SST = \sum_{i=1}^a \sum_{j=1}^b \sum_{k=1}^n (y_{ijk}-\bar{y}_{...})^2 SST=i=1∑aj=1∑bk=1∑n(yijk−yˉ...)2

做一个替换
yijk−yˉ...=(yˉi..−yˉ...)+(yˉ.j.−yˉ...)+(yˉij.−yˉi..−yˉ.j.+yˉ...)+(yijk−yˉij.)y_{ijk} - \bar{y}_{...} = (\bar{y}_{i..}-\bar{y}_{...}) + (\bar{y}_{.j.}-\bar{y}_{...}) + (\bar{y}_{ij.}-\bar{y}_{i..} -\bar{y}_{.j.} + \bar{y}_{...} ) + (y_{ijk} - \bar{y}_{ij.}) yijk−yˉ...=(yˉi..−yˉ...)+(yˉ.j.−yˉ...)+(yˉij.−yˉi..−yˉ.j.+yˉ...)+(yijk−yˉij.)

可以自行验证下面的结果：
SST=bn∑i=1n(yˉi..−yˉ...)2+an∑j=1b(yˉ.j.−yˉ...)2+n∑i=1a∑j=1b(yˉij.−yˉi..−yˉ.j.+yˉ...)2+∑i=1a∑j=1b∑k=1n(yijk−yˉij.)2SST = bn \sum_{i=1}^n(\bar{y}_{i..}-\bar{y}_{...})^2 + an\sum_{j=1}^b(\bar{y}_{.j.}-\bar{y}_{...})^2 + n\sum_{i=1}^a\sum_{j=1}^b (\bar{y}_{ij.}-\bar{y}_{i..} -\bar{y}_{.j.} + \bar{y}_{...} )^2 +\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^n (y_{ijk} - \bar{y}_{ij.})^2SST=bni=1∑n(yˉi..−yˉ...)2+anj=1∑b(yˉ.j.−yˉ...)2+ni=1∑aj=1∑b(yˉij.−yˉi..−yˉ.j.+yˉ...)2+i=1∑aj=1∑bk=1∑n(yijk−yˉij.)2

定义等式右边的平方和为SSA,SSB,SSAB,SSESS_A,SS_B,SS_{AB},SSESSA,SSB,SSAB,SSE，则平方和分解为
SST=SSA+SSB+SSAB+SSESST = SS_A + SS_B + SS_{AB} + SSESST=SSA+SSB+SSAB+SSE

总平方和的自由度为dfT=N−1df_T = N-1dfT=N−1，SSASS_ASSA的自由度为dfA=a−1df_A = a-1dfA=a−1，SSBSS_BSSB的自由度为dfB=b−1df_B = b-1dfB=b−1，SSABSS_{AB}SSAB的表达式中包含的约束为
∑j=1byˉij.=byˉi..,i=1,⋯,a;∑i=1ayˉij.=ayˉ.j.,j=1,⋯,b;nyˉ...=∑i=1ayi..=∑j=1by.j.\sum_{j=1}^b \bar{y}_{ij.} = b\bar{y}_{i..},i=1,\cdots,a; \sum_{i=1}^a \bar{y}_{ij.} = a\bar{y}_{.j.},j=1,\cdots,b; n\bar{y}_{...} = \sum_{i=1}^a y_{i..}=\sum_{j=1}^b y_{.j.}j=1∑byˉij.=byˉi..,i=1,⋯,a;i=1∑ayˉij.=ayˉ.j.,j=1,⋯,b;nyˉ...=i=1∑ayi..=j=1∑by.j.

自由方程数目为a+b−1a+b-1a+b−1，因此
dfAB=ab−a−b+1=(a−1)(b−1)dfModel=dfA+dfB+dfAB=ab−1df_{AB} = ab - a - b + 1 = (a-1)(b-1) \\ df_{Model} = df_{A} + df_{B} + df_{AB} = ab - 1dfAB=ab−a−b+1=(a−1)(b−1)dfModel=dfA+dfB+dfAB=ab−1

所以残差的自由度为
dfE=dfT−dfModel=abn−ab=ab(n−1)df_E = df_T - df_{Model} = abn - ab = ab(n-1)dfE=dfT−dfModel=abn−ab=ab(n−1)

根据平方和与自由度可以定义均方和，下面是一些常用结果，可以自行验证：

以上是ANOVA方法在随机效应模型上的修正，ANOVA方法中主要用的估计量是最小二乘估计（其实也是矩估计）；另一种估计方差的方法是最大似然估计，在随机效应与混合效应模型中使用的最大似然估计称为residual maximum likelihood (REML)模型，与ANOVA不同的是，ANOVA直接得到的是平方和的分解，而REML直接得到的是方差的估计，因此REML在计算方差的置信区间、做方差的假设检验等方面更便捷。

UA MATH571B 试验设计VI 随机效应与混合效应1相关推荐

UA MATH571B 试验设计VI 随机效应与混合效应4 裂区设计
UA MATH571B 试验设计VI 随机效应与混合效应4 裂区设计第一种统计模型第二种统计模型裂区设计(split-plot design)和嵌套设计(nested design)要解决的问题 ...
UA MATH571B 试验设计VI 随机效应与混合效应3 嵌套设计
UA MATH571B 试验设计VI 随机效应与混合效应3 嵌套设计简介两阶段嵌套设计前两讲介绍了两因素的随机效应与混合效应模型的统计方法,进行实验设计的时候思路与RCBD类似.试验有random ...
UA MATH571B 试验设计VI 随机效应与混合效应2
UA MATH571B 试验设计VI 随机效应与混合效应2 两个factor的混合效应模型 Restricted Model Unrestricted Mixed Model 对两因素随机与混合效应模 ...
UA MATH571B 试验设计总结试验的类型与选择
UA MATH571B 试验设计总结试验的类型与选择试验的意义,试验设计的意义单个treatment factor的试验多个treatment factor的试验多个treatment f ...
UA MATH571B 试验设计 QE练习题1
UA MATH571B 试验设计 QE练习题1 第一题第二题第三题这是2014年一月Methodology的1-3题. 第一题希望今年的考试没有这种概念题! 第一个是对的,比较多正态总体的方差 ...
UA MATH571B 试验设计总结判断试验类型的例题
UA MATH571B 试验设计总结判断试验类型的例题 2015年5月第二题:Blocking factorial design 2015年5月第三题:Split-plot Design 2017 ...
UA MATH571B 试验设计 2k析因设计理论下
UA MATH571B 试验设计 2k析因设计理论下 Confounding Blocking 222^222析因设计 Blocking 232^323析因设计 principal block Fra ...
UA MATH571B 试验设计III 单因素试验设计1
UA MATH571B 试验设计III 单因素试验设计单因素ANOVA 模型设定与假设 ANOVA F检验单因素ANOVA 方差分析(Analysis of Variance,ANOVA)是两样本 ...
UA MATH571B 试验设计I 试验设计简介
UA MATH571B 试验设计I 试验设计简介试验设计的作用与意义混淆变量相关性与因果试验设计的流程与目标消除偏差对照组随机试验 Blinding 减少抽样误差重复试验平衡试验和区 ...

UA MATH571B 试验设计VI 随机效应与混合效应1

UA MATH571B 试验设计VI 随机效应与混合效应

两个factor的随机效应模型

UA MATH571B 试验设计VI 随机效应与混合效应1相关推荐

最新文章

热门文章