两个factor的混合效应模型

假设我们关注A和B两个factor的effects，但A是fixed factor，B是random factor，模型设定为：
yijk=μ+τi+βj+(τβ)ij+ϵijkϵijk∼iidN(0,σ2);i=1,⋯,a;j=1,⋯,b;k=1,⋯,n∑i=1aτi=0,βj∼iidN(0,σβ2)y_{ijk} = \mu + \tau_i + \beta_j +(\tau \beta)_{ij}+ \epsilon_{ijk}\\ \epsilon_{ijk} \sim_{iid}N(0,\sigma^2);i=1,\cdots,a;j=1,\cdots,b;k=1,\cdots,n \\ \sum_{i=1}^a \tau_i = 0,\beta_j \sim_{iid} N(0,\sigma^2_{\beta}) yijk=μ+τi+βj+(τβ)ij+ϵijkϵijk∼iidN(0,σ2);i=1,⋯,a;j=1,⋯,b;k=1,⋯,ni=1∑aτi=0,βj∼iidN(0,σβ2)

因为A是fixed factor，所以A的treatment effect τi\tau_iτi满足fixed effect的约束；B是random factor，所以B的treatment effect βj\beta_jβj是随机变量。难点在于交互效应(τβ)ij(\tau \beta)_{ij}(τβ)ij的处理，交互的两个factor一个是fixed factor，另一个是random factor，这非常自然地引出了两种不同的观点：1）因为交互效应的产生有random factor的作用，所以应该把交互效应当做随机变量（Unrestricted Mixed Model）；2）交互效应中来自fixed factor的部分同样应该加上fixed effect的约束（Restricted Model）。

Restricted Model

交互效应中来自fixed factor的部分应该满足约束：
∑i=1a(τβ)ij=(τβ).j=0,∀j\sum_{i=1}^a (\tau \beta)_{ij} =(\tau \beta)_{.j} = 0,\forall j i=1∑a(τβ)ij=(τβ).j=0,∀j

但是因为random factor的存在，交互效应还是随机的，不存在约束的时候，交互效应满足：
(τβ)ij∼iidN(0,στβ2)(\tau \beta)_{ij} \sim_{iid} N(0,\sigma_{\tau \beta}^2)(τβ)ij∼iidN(0,στβ2)

因为约束的存在，自由度应该减1，上面的分布应该修正为
(τβ)ij∼N(0,a−1aστβ2)(\tau \beta)_{ij} \sim N(0,\frac{a-1}{a}\sigma_{\tau \beta}^2)(τβ)ij∼N(0,aa−1στβ2)

并且fixed factor与相同random factor level交互产生的效应不是独立的，
Cov((τβ)ij,(τβ)i′j)=Cov((τβ)ij,−∑l=1,l≠i′a(τβ)lj)Cov((\tau \beta)_{ij},(\tau \beta)_{i'j}) = Cov((\tau \beta)_{ij},-\sum_{l=1,\ l \ne i'}^a(\tau \beta)_{lj})Cov((τβ)ij,(τβ)i′j)=Cov((τβ)ij,−l=1, l=i′∑a(τβ)lj)

在l=1,⋯,a,l≠i′l=1,\cdots,a,l \ne i'l=1,⋯,a,l=i′中，
Cov((τβ)ij,(τβ)ij)=Var((τβ)ij)=a−1aστβ2,l=iCov((τβ)ij,(τβ)lj)=Cov((τβ)ij,(τβ)i′j),l=1,⋯,a,l≠i′,iCov((\tau \beta)_{ij},(\tau \beta)_{ij}) = Var((\tau \beta)_{ij}) =\frac{a-1}{a} \sigma_{\tau \beta}^2, l = i \\ Cov((\tau \beta)_{ij},(\tau \beta)_{lj})=Cov((\tau \beta)_{ij},(\tau \beta)_{i'j}),l=1,\cdots,a,l \ne i',iCov((τβ)ij,(τβ)ij)=Var((τβ)ij)=aa−1στβ2,l=iCov((τβ)ij,(τβ)lj)=Cov((τβ)ij,(τβ)i′j),l=1,⋯,a,l=i′,i

因此
Cov((τβ)ij,(τβ)i′j)=−a−1aστβ2−(a−2)Cov((τβ)ij,(τβ)i′j)⇒Cov((τβ)ij,(τβ)i′j)=−1aστβ2Cov((\tau \beta)_{ij},(\tau \beta)_{i'j}) = -\frac{a-1}{a}\sigma_{\tau \beta}^2 - (a-2)Cov((\tau \beta)_{ij},(\tau \beta)_{i'j}) \\ \Rightarrow Cov((\tau \beta)_{ij},(\tau \beta)_{i'j}) = -\frac{1}{a}\sigma_{\tau \beta}^2Cov((τβ)ij,(τβ)i′j)=−aa−1στβ2−(a−2)Cov((τβ)ij,(τβ)i′j)⇒Cov((τβ)ij,(τβ)i′j)=−a1στβ2

综上，Restricted Model关于交互项有3条假设：

∑i=1a(τβ)ij=(τβ).j=0,∀j\sum_{i=1}^a (\tau \beta)_{ij} =(\tau \beta)_{.j} = 0,\forall j∑i=1a(τβ)ij=(τβ).j=0,∀j
(τβ)ij∼N(0,a−1aστβ2),Cov((τβ)ij,(τβ)i′j)=−1aστβ2,∀j(\tau \beta)_{ij} \sim N(0,\frac{a-1}{a}\sigma_{\tau \beta}^2),\ Cov((\tau \beta)_{ij},(\tau \beta)_{i'j}) = -\frac{1}{a}\sigma_{\tau \beta}^2,\forall j(τβ)ij∼N(0,aa−1στβ2), Cov((τβ)ij,(τβ)i′j)=−a1στβ2,∀j（协方差这条是1和2的前半句导出的）
fixed factor与不同random factor level交互产生的效应是独立的

这个模型有如下结果：

Unrestricted Mixed Model

Unrestricted Mixed Model对交互项的处理与两因素的随机效应模型是一样的，假设
(τβ)ij∼iidN(0,στβ2)(\tau \beta)_{ij} \sim_{iid} N(0,\sigma_{\tau \beta}^2)(τβ)ij∼iidN(0,στβ2)

这个模型的部分结果如下：

注意到B的均方和的期望中包含了残差、B的treatment effect，交互项三部分的方差，因此检验因素B的方差是否为0时F统计量要用MSB/MSABMS_B/MS_{AB}MSB/MSAB而不是MSB/MSEMS_B/MS_EMSB/MSE！

事实上Unrestricted Mixed Model可以化归为Restricted Model。定义
(τˉβ).j=1a∑i=1a(τβ)ij(\bar{\tau} \beta)_{.j} = \frac{1}{a}\sum_{i=1}^a (\tau \beta)_{ij}(τˉβ).j=a1i=1∑a(τβ)ij

对Unrestricted Mixed Model做简单变形：
yijk=μ+τi+βj+(τβ)ij+ϵijk=μ+τi+(βj+(τˉβ).j)+((τβ)ij−(τˉβ).j)+ϵijy_{ijk} = \mu + \tau_i + \beta_j +(\tau \beta)_{ij}+ \epsilon_{ijk} \\ = \mu + \tau_i + (\beta_j +(\bar{\tau} \beta)_{.j}) +((\tau \beta)_{ij} - (\bar{\tau} \beta)_{.j})+ \epsilon_{ij}yijk=μ+τi+βj+(τβ)ij+ϵijk=μ+τi+(βj+(τˉβ).j)+((τβ)ij−(τˉβ).j)+ϵij

定义γj=βj+(τˉβ).j,(τγ)ij=(τβ)ij−(τˉβ).j\gamma_j = \beta_j +(\bar{\tau} \beta)_{.j},\ (\tau \gamma)_{ij} = (\tau \beta)_{ij} - (\bar{\tau} \beta)_{.j}γj=βj+(τˉβ).j, (τγ)ij=(τβ)ij−(τˉβ).j，验证以下模型是Restricted Model：
yijk=μ+τi+γj+(τγ)ij+ϵijky_{ijk} = \mu + \tau_i + \gamma_j +(\tau \gamma)_{ij} + \epsilon_{ijk}yijk=μ+τi+γj+(τγ)ij+ϵijk

计算
∑i=1a(τγ)ij=∑i=1a[(τβ)ij−(τˉβ).j]=∑i=1a(τβ)ij−a(τˉβ).j=0Cov((τγ)ij,(τγ)ij)=Cov((τβ)ij−(τˉβ).j,(τβ)ij−(τˉβ).j)=στβ2−1aστβ2−1aστβ2+∑i=1a1a2στβ2=a−1aστβ2\sum_{i=1}^a (\tau \gamma)_{ij} = \sum_{i=1}^a[ (\tau \beta)_{ij} - (\bar{\tau} \beta)_{.j}] = \sum_{i=1}^a (\tau \beta)_{ij} -a(\bar{\tau} \beta)_{.j}=0 \\ Cov((\tau \gamma)_{ij},(\tau \gamma)_{ij}) = Cov((\tau \beta)_{ij} - (\bar{\tau} \beta)_{.j},(\tau \beta)_{ij} - (\bar{\tau} \beta)_{.j}) \\ = \sigma^2_{\tau \beta} - \frac{1}{a} \sigma^2_{\tau \beta} - \frac{1}{a} \sigma^2_{\tau \beta} + \sum_{i=1}^a \frac{1}{a^2}\sigma^2_{\tau \beta} = \frac{a-1}{a}\sigma^2_{\tau \beta}i=1∑a(τγ)ij=i=1∑a[(τβ)ij−(τˉβ).j]=i=1∑a(τβ)ij−a(τˉβ).j=0Cov((τγ)ij,(τγ)ij)=Cov((τβ)ij−(τˉβ).j,(τβ)ij−(τˉβ).j)=στβ2−a1στβ2−a1στβ2+i=1∑aa21στβ2=aa−1στβ2

因此Restricted Model比Unrestricted Mixed Model更具有一般性。

对两因素随机与混合效应模型的总结

这是我老师课件上的表格，感觉总结得不错，贴在这里：

注意这些表展示的都是ANOVA方法的框架，EMS表示均方和的期望，根据均方和的期望可以把F统计量写出来，比如最后这张表，要检验H0:σβ2=0H_0:\sigma^2_{\beta}=0H0:σβ2=0需要用它对应的均方和除以(βγ)(\beta \gamma)(βγ)对应的均方和，因为它对应的EMS里面包含残差、(βγ)(\beta \gamma)(βγ)以及β\betaβ三部分方差，要检验β\betaβ的需要剔除前两项，对应的就是(βγ)(\beta \gamma)(βγ)的EMS。

同样以最后这张表为例，表格上半部分第一行表示某个指标适用固定效应（F）还是随机效应（R）的假设；第三行是指标的记号；第二行表示指标的最大取值。表格下半部分第一列是不同的effect，比如τi\tau_iτi关于iii指标是0说明它服从固定效应的假设，关于后面三个指标都是对应指标的最大值，说明τi\tau_iτi与后面三个指标无关；βj\beta_jβj关于指标jjj是1说明它服从随机效应的假设，关于另外三个指标都是对应指标的最大值说明它与另外三个指标无关；(τβ)ij(\tau \beta)_{ij}(τβ)ij关于关于iii指标是0，关于指标jjj是1，说明它适用Restricted Model的假设。

UA MATH571B 试验设计VI 随机效应与混合效应2相关推荐

UA MATH571B 试验设计VI 随机效应与混合效应4 裂区设计
UA MATH571B 试验设计VI 随机效应与混合效应4 裂区设计第一种统计模型第二种统计模型裂区设计(split-plot design)和嵌套设计(nested design)要解决的问题 ...
UA MATH571B 试验设计VI 随机效应与混合效应3 嵌套设计
UA MATH571B 试验设计VI 随机效应与混合效应3 嵌套设计简介两阶段嵌套设计前两讲介绍了两因素的随机效应与混合效应模型的统计方法,进行实验设计的时候思路与RCBD类似.试验有random ...
UA MATH571B 试验设计VI 随机效应与混合效应1
UA MATH571B 试验设计VI 随机效应与混合效应两个factor的随机效应模型现在回到试验设计III 单因素试验设计1中介绍的模型,yij=μ+τi+ϵij,ϵij∼iidN(0,σ2)i ...
UA MATH571B 试验设计总结试验的类型与选择
UA MATH571B 试验设计总结试验的类型与选择试验的意义,试验设计的意义单个treatment factor的试验多个treatment factor的试验多个treatment f ...
UA MATH571B 试验设计 QE练习题1
UA MATH571B 试验设计 QE练习题1 第一题第二题第三题这是2014年一月Methodology的1-3题. 第一题希望今年的考试没有这种概念题! 第一个是对的,比较多正态总体的方差 ...
UA MATH571B 试验设计总结判断试验类型的例题
UA MATH571B 试验设计总结判断试验类型的例题 2015年5月第二题:Blocking factorial design 2015年5月第三题:Split-plot Design 2017 ...
UA MATH571B 试验设计 2k析因设计理论下
UA MATH571B 试验设计 2k析因设计理论下 Confounding Blocking 222^222析因设计 Blocking 232^323析因设计 principal block Fra ...
UA MATH571B 试验设计III 单因素试验设计1
UA MATH571B 试验设计III 单因素试验设计单因素ANOVA 模型设定与假设 ANOVA F检验单因素ANOVA 方差分析(Analysis of Variance,ANOVA)是两样本 ...
UA MATH571B 试验设计I 试验设计简介
UA MATH571B 试验设计I 试验设计简介试验设计的作用与意义混淆变量相关性与因果试验设计的流程与目标消除偏差对照组随机试验 Blinding 减少抽样误差重复试验平衡试验和区 ...

UA MATH571B 试验设计VI 随机效应与混合效应2