《商务与经济统计》（三）

第十三章：实验设计与方差分析（AN0VA）

独立变量/因子、处理、、总体、因变量/响应变量、实验单元、完全随机化设计。

1、应用方差分析需要三个假定：① 对每个总体，响应变量/因变量服从正态分布；

② 响应变量的方差（），对所有总体都是相同的；③ 观测值必须是独立的。

2、

3、对于一个完全随机化实验设计，如何应用方差分析来检验k个总体均值是否相等？

即：只要样本容量全相等，总样本均值=k个样本均值的算术平均。

4、（注：若H0为真，则MSTR给出的是σ2的一个无偏估计；若k个总体均值不等，MSTR将高估总体方差）

（注：MSE永远给出的是σ2的一个无偏估计）

5、方差估计的比较：F检验

若原假设H0为真，则MSTR和MSE均给出σ2的两个独立的无偏估计量。

（由11章，对于正态总体，σ2的两个独立估计量之比的抽样分布服从F分布。）

因此，若原假设H0为真，并且ANOVA的假定满足，则

MSTR/MSE的抽样分布服从一个分子自由度为k-1，分母为nT-k的F分布。

但是，若H0不成立，MSTR是高估总体方差的，该比值将被夸大，因此可用来拒绝H0.

方差分析表（ANOVA table）：方差分析可以看作将总平方和及其自由度分解成它们对应来源（处理+误差）的一个过程。

6、对于一个完全随机化实验，可以应用方差分析来检验k个总体均值是否相等的问题；

同样，对于观测性研究得到的数据，也可用ANOVA 来检验三个或三个以上的总体均值是否相等的问题。

7、多重比较方法：确定在k个均值中间到底那几个均值之间存在差异。

①、LSD(Least—Significant Difference)，最小显著性差异法。

其实，通过判断样本均值之差的大小而决定是否拒绝H0更容易些，此时：

Fisher的LSD方法也可用于建立两个总体均值之差的置信区间估计。

②、比较方式的第Ⅰ类错误：

实验方式的第Ⅰ类错误：

8、随机化区组设计（一个人随机试验各种方案）

完全随机化设计中，当外部因素（实验中未考虑到）引起的差异使得分母MSE变大时，F值将会变小，造成“处理均值之间不存在差异”的假象。“随机化区组设计”的实验设计方法可消除MSE项中来自外部的变异，以达到控制变异外部来源的目的。

ANOVA方法：①、计算总平方和SST（自由度：）.

式中，表示总样本均值，表示在区组i（甲乙丙）中对应于处理j（方案123）的观测值。

②、计算处理平方和SSTR（自由度：k-1）. ，MSTR=SSTR/(k-1）

式中，b表示区组（甲乙丙）总数，表示第j个处理（方案123）的样本均值。

③、计算区组平方和SSBL（自由度：b-1）. ，MSBL=SSBL/(b-1)

式中，k表示处理（方案123）总数，表示第i个区组（甲乙丙）的样本均值。

④、计算误差平方和SSE（自由度：（k-1）（b-1））. ,MSE=SSE/(k-1)(b-1)

⑤、检验统计量：F=MSTR/MSE, 自由度：k-1

p-值是对应于F值的F分布上侧曲线下方的面积。若p-值≤α，则拒绝原假设。

9、析因实验是一种实验设计，能允许我们同时得到有关两个或两个以上因子（独立变量）同时存在时的一些统计结论。

回答最开始的案例，控制某些条件的影响下，检验不同因子的影响程度。

交互作用：当一个因子的水平与另一个因子的水平相互作用时，对响应变量产生的影响。

第十四章：简单线性回归

1、简单线性回归模型：y=β0+β1x+ε ε:误差项（随机变量）

简单线性回归方程：E(y)=β0+β1x 平均值or期望/截距/斜率/回归线（正/负/无线性关系）

估计的简单线性回归方程：

：

2、最小二乘法：利用样本数据，通过使应变量的观测值与应变量的预测值之间的离差平方和达到最小的方法，求得b0和b1的值。

3、判定系数：为估计的回归方程提供了一个拟合优度的度量。 第i个残差：

误差平方和SSE： 回归平方和SSR：

总的平方和SST:

判定系数： 表示总平方和中有%能被估计的回归方程所解释。

4、有一个较大的值估计的回归方程可以直接应用，需要进行变量之间关系的显著性检验。

回归分析中的显著性检验以对误差项的假定为依据：

因为，在中，如果，则x和y不存在线性关系，因此，为了检验两变量之间是否存在一个显著的回归关系，我们必须进行一个假设检验，用来判定是否为0.

通常使用的检验方法有两种：t检验和F检验。

而每一种方法都需要知道误差项方差的估计值：

的方差也是应变量y的值关于回归直线的方差，因此误差平方和SSE是实际观测值关于估计的回归直线变异性的度量。

，

方法一、t检验

方法二、F检验

在仅有一个自变量的情况下，F检验得到与t检验同样的结论；但如果回归方程有≥2个自变量时，F检验仅被用来检验回归方程总体的显著关系。

注1：如果H0不成立，MSE仍是σ2的一个无偏估计量，但MSR高估σ2。

如果H0成立，MSE/MSR均为无偏估计量，此时，MSR/MSE应接近于1.

注2：我们只是拒绝了H0：β1=0，和证实了变量x和y之间存在统计显著关系，但并不能做出x和y存在线性关系的结论。

5、区间估计（置信区间+预测区间）

①、y的平均值的置信区间

②、y的一个个别值的预测区间

6、残差分析

①、关于x的残差图（X：自变量的值；Y：对应的残差值）

在对残差图进行有效解释之前，经验和好的判断永远是关键因素。

②、关于的残差图（X:应变量的预测值；Y：对应的残差值）

残差图和x残差图的图形模式相同。

对于多元回归分析，因为有一个以上的自变量，所以关于的残差图有更广泛的应用。

③、标准化残差

如果随机误差项服从正态分布标准化残差的分布服从标准正态分布当查看标准化残差图时，大约有95%标准化残差介于[-2，2]。

7、正态概率图（确定误差项是否服从正态分不到另一种方法）

①、从均值为0，标准差为1的标准正态概率分布中随机抽取10个数值，并从小到大排序，过程反复进行，每个位置得到的值是个随机变量，分别被称为一/二…阶顺序统计量。

②、统计已经证明，来自标准正态概率分布的容量为10的样本，一阶顺序统计量的期望值为-1.55，这个期望值被称为正态分数。（由n个观测值组成的数据集，就有n个顺序统计量和n个正态分数）

③、将n个标准化残差也按从小打到顺序排列好，与得到的n阶顺序统计量一一对应。

绘制正态概率图（X轴：正态分数；Y轴：对应的标准化残差）

④、如果误差项正态性的假定被满足，那么最小标准化残差应接近最小正态分数图上的散点，应密集围绕在45°直线附近。

8、残差分析：异常值和有影响的观测值

①、检验异常值（a、画出x和y一一对应的散点图；b、标准化残差分析中绝对值很大的值<-2or>2）

②、检测有影响的观测值（a、画出x和y一一对应的散点图；）

自变量是极端值的观测值被称为高杠杆率点。有影响的观测值是由大的残差和高杠杆率的交互作用而产生的，

检测方法有：库克D统计量。

第十五章：多元回归

1、多元回归模型：

多元回归方程：

估计的多元回归方程：，其中，b0、b1、…是相应β的估计值。表示应变量的预测值。

最小二乘法准则：利用样本数据，通过使残差的平方和达到最小的方法求得各个b值。

多元回归中，计算回归系数b0/b1…涉及矩阵代数运算，十分复杂，一般借助软件加以实现。

多元判定系数：（应变量y中的变异性能被估计的多元回归方程解释的百分比R2）

由于增加自变量将影响到应变量中的变异性被估计的回归方程解释的百分比，为了避免这种影响，

修正多元判定系数：（为负值时，minitab会将其调整为0）

2、在多元回归情形中，进行t检验和F检验的目的是不同的。

①、F检验：用于确定在应变量和所有自变量之间是否存在一个显著的关系，是总体的显著性检验；

②、t检验：在F检验证明了模型总体的显著性后，t检验用来单独确定单个自变量是否为一个显著的自变量，是单个的显著性检验。

总的平方和SST：n-1个自由度；回归平方和SSR：p个自由度（p指自变量的个数）；误差平方和SSE：n-p-1个自由度

估计的标准误差s：

多重共线性：自变量之间的相关性（解决之道很复杂，待议）

3、估计和预测/残差分析：思想同简单线性回归，但要借助相关软件计算。

4、分类自变量：例如性别、付款方式等。虚拟变量/指标变量：定义为0和1的。

5、第i次观测的标准化残差：，式中表示第i次观测的残差的标准差，

s表示估计的标准误差，hi表示第i次观测的杠杆率。

一般来说，如果数据集中存在一个或以上的异常值，将导致估计的标准差s增加，增加，标准化残差值减小；

最后的结果是，虽然一个残差可能超乎寻常的大，但较大，有可能导致识别异常值的标准化残差规则失效（＜-2or＞2时判断为异常值）

解决方式，引入学生化删除残差。

①、删除第i次观测值，剩下的n-1次观测值建立新的估计的回归方程，得到的估计的标准误差为s（i）【原来为s】

②、用s(i)代替原来的s，分别先后计算和。这样得到的标准化残差称为学生化删除残差。

③、如果第i次观测值为异常值，那么s(i)＜s，所以相应的学生化删除残差绝对值将＞标准化残差的绝对值。

6、有影响的观测值。（识别方法：经验法则+库克距离测度）

经验法则：

库克距离测度：一般地，Di＞1则视为有影响。

7、logistic回归