SPSS（八）logistic回归

我们之前的线性回归也好、线性回归衍生方法也好、非线性回归也好，因变量的类型都是连续性的，假如因变量的类型是分类的呢？logistic回归针对的是二分类的因变量

logistic回归

基于线性回归模型发展而来

线性回归研究的是连续性因变量与自变量之间的关系

有的时候因变量为分类变量，需要研究该分类变量与一组自变量之间的关系

以治疗效果为因变量，结局为治愈/未治愈

如果使用新的宣传方式，决定戒烟的概率是否更高？

模型简介

平常的线性回归方程表达式如下

假如我们也是用这种来预测发生概率，则其表达式为

但是在现实情况中，发生率P为因变量，它与自变量之间通常不存在线性关系（一般是两边不敏感，中间敏感，比如收入与轿车拥有率），而且上面表达式不能保证在自变量的各种组合下，因变量的取值仍限制在0~1内，所以数学家们为了解决遇到的这两个问题，将想方设法想找到一种变量变换，能让上式的发生率限制在0~1内，而且两边不敏感，中间敏感，到最后找到了一种变换，将上式的因变量进行如下转换，就能解决我们遇到的问题

所以上面的表达式可以写成

α是常数项，表示自变量取值全为0时，比数（Y=1与Y=0的概率之比）的自然对数值

Beta为logistic回归系数，表示当其他自变量取值保持不变时，该自变量取值增加一个单位引起比数比（OR）自然对数值的变化量，当概率比较低时候，可以理解概率会上升为原来的几倍

为什么可以直接挂等号呢？当p取0时，趋于负无穷，p取1/2时为0，p取1时趋于正无穷，等式两边值域取值相等

当是上面这个公式和我们平常做回归有什么区别呢？

由于因变量为二分类，所以误差项服从二项分布，而不是正态分布，因此，常用的最小二乘法也不再适用，要用迭代方法估计

模型用途

案例：低出生体重儿影响因素

Hosmer和Lemeshow于1989年研究了低出生体重婴儿的影响因素

影响因素分析，求出哪些自变量对因变量发生概率有影响。并计算各自变量对因变量的比数比
作为判别分析方法，来估计各种自变量组合条件下因变量各类别的发生概率，从而对结局进行预测。该模型在结果上等价于判别分析

结果变量为是否娩出低出生体重儿(变量名为LOW，1，低出生体重，即婴儿出生体重<2500克、0，非低出生体重)

考虑的影响(自变量)有：

产妇妊娠前体重(lwt，磅)
产妇年龄(age，岁)
产妇在妊娠期间是否吸烟(smoke，0=未吸、1=吸烟)
本次妊娠前早产次数(ptl，次)
是否患有高血压(ht，0=未患、1=患病)
子宫对按摩、催产素等刺激引起收缩的应激性(ui，0=无、1=有)
妊娠前三个月社区医生随访次数(ftv，次)
种族(race，1=白人、2=黑人、3=其他民族)

(假如只研究是否吸烟对体重的影响，我们可以使用卡方检验，但是目前自变量这么多，卡方检验无能为力)

我们先来看一下卡方检验

从检验结果来看，显著性检验小于0.05，产妇在妊娠期间是否吸烟对低出生体重儿还是有影响的

下面我们使用Logistic回归方法

数据集如下

85   0   19  182 2   0   0   0   1   0   2523
86  0   33  155 3   0   0   0   0   3   2551
87  0   20  105 1   1   0   0   0   1   2557
88  0   21  108 1   1   0   0   1   2   2594
89  0   18  107 1   1   0   0   1   0   2600
91  0   21  124 3   0   0   0   0   0   2622
92  0   22  118 1   0   0   0   0   1   2637
93  0   17  103 3   0   0   0   0   1   2637
94  0   29  123 1   1   0   0   0   1   2663
95  0   26  113 1   1   0   0   0   0   2665
96  0   19  95  3   0   0   0   0   0   2722
97  0   19  150 3   0   0   0   0   1   2733
98  0   22  95  3   0   0   1   0   0   2750
99  0   30  107 3   0   1   0   1   2   2750
100 0   18  100 1   1   0   0   0   0   2769
101 0   18  100 1   1   0   0   0   0   2769
102 0   15  98  2   0   0   0   0   0   2778
103 0   25  118 1   1   0   0   0   3   2782
104 0   20  120 3   0   0   0   1   0   2807
105 0   28  120 1   1   0   0   0   1   2821
106 0   32  121 3   0   0   0   0   2   2835
107 0   31  100 1   0   0   0   1   3   2835
108 0   36  202 1   0   0   0   0   1   2836
109 0   28  120 3   0   0   0   0   0   2863
111 0   25  120 3   0   0   0   1   2   2877
112 0   28  167 1   0   0   0   0   0   2877
113 0   17  122 1   1   0   0   0   0   2906
114 0   29  150 1   0   0   0   0   2   2920
115 0   26  168 2   1   0   0   0   0   2920
116 0   17  113 2   0   0   0   0   1   2920
117 0   17  113 2   0   0   0   0   1   2920
118 0   24  90  1   1   1   0   0   1   2948
119 0   35  121 2   1   1   0   0   1   2948
120 0   25  155 1   0   0   0   0   1   2977
121 0   25  125 2   0   0   0   0   0   2977
123 0   29  140 1   1   0   0   0   2   2977
124 0   19  138 1   1   0   0   0   2   2977
125 0   27  124 1   1   0   0   0   0   2992
126 0   31  215 1   1   0   0   0   2   3005
127 0   33  109 1   1   0   0   0   1   3033
128 0   21  185 2   1   0   0   0   2   3042
129 0   19  189 1   0   0   0   0   2   3062
130 0   23  130 2   0   0   0   0   1   3062
131 0   21  160 1   0   0   0   0   0   3062
132 0   18  90  1   1   0   0   1   0   3076
133 0   18  90  1   1   0   0   1   0   3076
134 0   32  132 1   0   0   0   0   4   3080
135 0   19  132 3   0   0   0   0   0   3090
136 0   24  115 1   0   0   0   0   2   3090
137 0   22  85  3   1   0   0   0   0   3090
138 0   22  120 1   0   0   1   0   1   3100
139 0   23  128 3   0   0   0   0   0   3104
140 0   22  130 1   1   0   0   0   0   3132
141 0   30  95  1   1   0   0   0   2   3147
142 0   19  115 3   0   0   0   0   0   3175
143 0   16  110 3   0   0   0   0   0   3175
144 0   21  110 3   1   0   0   1   0   3203
145 0   30  153 3   0   0   0   0   0   3203
146 0   20  103 3   0   0   0   0   0   3203
147 0   17  119 3   0   0   0   0   0   3225
148 0   17  119 3   0   0   0   0   0   3225
149 0   23  119 3   0   0   0   0   2   3232
150 0   24  110 3   0   0   0   0   0   3232
151 0   28  140 1   0   0   0   0   0   3234
154 0   26  133 3   1   2   0   0   0   3260
155 0   20  169 3   0   1   0   1   1   3274
156 0   24  115 3   0   0   0   0   2   3274
159 0   28  250 3   1   0   0   0   6   3303
160 0   20  141 1   0   2   0   1   1   3317
161 0   22  158 2   0   1   0   0   2   3317
162 0   22  112 1   1   2   0   0   0   3317
163 0   31  150 3   1   0   0   0   2   3321
164 0   23  115 3   1   0   0   0   1   3331
166 0   16  112 2   0   0   0   0   0   3374
167 0   16  135 1   1   0   0   0   0   3374
168 0   18  229 2   0   0   0   0   0   3402
169 0   25  140 1   0   0   0   0   1   3416
170 0   32  134 1   1   1   0   0   4   3430
172 0   20  121 2   1   0   0   0   0   3444
173 0   23  190 1   0   0   0   0   0   3459
174 0   22  131 1   0   0   0   0   1   3460
175 0   32  170 1   0   0   0   0   0   3473
176 0   30  110 3   0   0   0   0   0   3475
177 0   20  127 3   0   0   0   0   0   3487
179 0   23  123 3   0   0   0   0   0   3544
180 0   17  120 3   1   0   0   0   0   3572
181 0   19  105 3   0   0   0   0   0   3572
182 0   23  130 1   0   0   0   0   0   3586
183 0   36  175 1   0   0   0   0   0   3600
184 0   22  125 1   0   0   0   0   1   3614
185 0   24  133 1   0   0   0   0   0   3614
186 0   21  134 3   0   0   0   0   2   3629
187 0   19  235 1   1   0   1   0   0   3629
188 0   25  95  1   1   3   0   1   0   3637
189 0   16  135 1   1   0   0   0   0   3643
190 0   29  135 1   0   0   0   0   1   3651
191 0   29  154 1   0   0   0   0   1   3651
192 0   19  147 1   1   0   0   0   0   3651
193 0   19  147 1   1   0   0   0   0   3651
195 0   30  137 1   0   0   0   0   1   3699
196 0   24  110 1   0   0   0   0   1   3728
197 0   19  184 1   1   0   1   0   0   3756
199 0   24  110 3   0   1   0   0   0   3770
200 0   23  110 1   0   0   0   0   1   3770
201 0   20  120 3   0   0   0   0   0   3770
202 0   25  241 2   0   0   1   0   0   3700
203 0   30  112 1   0   0   0   0   1   3799
204 0   22  169 1   0   0   0   0   0   3827
205 0   18  120 1   1   0   0   0   2   3860
206 0   16  170 2   0   0   0   0   4   3860
207 0   32  186 1   0   0   0   0   2   3860
208 0   18  120 3   0   0   0   0   1   3884
209 0   29  130 1   1   0   0   0   2   3884
210 0   33  117 1   0   0   0   1   1   3912
211 0   20  170 1   1   0   0   0   0   3940
212 0   28  134 3   0   0   0   0   1   3941
213 0   14  135 1   0   0   0   0   0   3941
214 0   28  130 3   0   0   0   0   0   3969
215 0   25  120 1   0   0   0   0   2   3983
216 0   16  95  3   0   0   0   0   1   3997
217 0   20  158 1   0   0   0   0   1   3997
218 0   26  160 3   0   0   0   0   0   4054
219 0   21  115 1   0   0   0   0   1   4054
220 0   22  129 1   0   0   0   0   0   4111
221 0   25  130 1   0   0   0   0   2   4153
222 0   31  120 1   0   0   0   0   2   4167
223 0   35  170 1   0   1   0   0   1   4174
224 0   19  120 1   1   0   0   0   0   4238
225 0   24  116 1   0   0   0   0   1   4593
226 0   45  123 1   0   0   0   0   1   4990
4   1   28  120 3   1   1   0   1   0   709
10  1   29  130 1   0   0   0   1   2   1021
11  1   34  187 2   1   0   1   0   0   1135
13  1   25  105 3   0   1   1   0   0   1330
15  1   25  85  3   0   0   0   1   0   1474
16  1   27  150 3   0   0   0   0   0   1588
17  1   27  150 3   0   0   0   0   0   1588
18  1   24  128 2   0   1   0   0   1   1701
19  1   24  132 3   0   0   1   0   0   1729
20  1   21  165 1   1   0   1   0   1   1790
22  1   32  105 1   1   0   0   0   0   1818
23  1   19  91  1   1   2   0   1   0   1885
24  1   25  115 3   0   0   0   0   0   1893
25  1   16  130 3   0   0   0   0   1   1899
26  1   25  92  1   1   0   0   0   0   1928
27  1   20  150 1   1   0   0   0   2   1928
28  1   21  200 2   0   0   0   1   2   1928
29  1   24  155 1   1   1   0   0   0   1926
30  1   21  103 3   0   0   0   0   0   1970
31  1   20  125 3   0   0   0   1   0   2055
32  1   25  89  3   0   2   0   0   1   2055
33  1   19  102 1   0   0   0   0   2   2082
34  1   19  112 1   1   0   0   1   0   2084
35  1   26  117 1   1   1   0   0   0   2084
36  1   24  138 1   0   0   0   0   0   2100
37  1   17  130 3   1   1   0   1   0   2125
40  1   20  120 2   1   0   0   0   3   2126
42  1   22  130 1   1   1   0   1   1   2187
43  1   27  130 2   0   0   0   1   0   2187
44  1   20  80  3   1   0   0   1   0   2211
45  1   17  110 1   1   0   0   0   0   2225
46  1   25  105 3   0   1   0   0   1   2240
47  1   20  109 3   0   0   0   0   0   2240
49  1   18  148 3   0   0   0   0   0   2282
50  1   18  110 2   1   1   0   0   0   2296
51  1   20  121 1   1   1   0   1   0   2296
52  1   21  100 3   0   1   0   0   4   2301
54  1   26  96  3   0   0   0   0   0   2325
56  1   31  102 1   1   1   0   0   1   2353
57  1   15  110 1   0   0   0   0   0   2353
59  1   23  187 2   1   0   0   0   1   2367
60  1   20  122 2   1   0   0   0   0   2381
61  1   24  105 2   1   0   0   0   0   2381
62  1   15  115 3   0   0   0   1   0   2381
63  1   23  120 3   0   0   0   0   0   2395
65  1   30  142 1   1   1   0   0   0   2410
67  1   22  130 1   1   0   0   0   1   2410
68  1   17  120 1   1   0   0   0   3   2414
69  1   23  110 1   1   1   0   0   0   2424
71  1   17  120 2   0   0   0   0   2   2438
75  1   26  154 3   0   1   1   0   1   2442
76  1   20  105 3   0   0   0   0   3   2450
77  1   26  190 1   1   0   0   0   0   2466
78  1   14  101 3   1   1   0   0   0   2466
79  1   28  95  1   1   0   0   0   2   2466
81  1   14  100 3   0   0   0   0   2   2495
82  1   23  94  3   1   0   0   0   0   2495
83  1   17  142 2   0   0   1   0   0   2495
84  1   21  130 1   1   0   1   0   3   2495

Logistic回归涉及到的检验

Walds检验（变量筛选）：基于标准误估计值的单变量检验

他没有考虑其他因素的综合作用，当因素间存在共线性时结果不可靠

故在筛选变量时，用Walds法应慎重

似然比检验（模型比较）：直接对两个模型进行的比较

当模型较为复杂时，建议使用似然比检验进行变量的筛选工作，以及模型间优劣的比较

两模型-2对数似然值之差即为似然比统计量，自由度亦为两模型参数个数之差

比分检验（比分检验）

考虑在已有模型基础上引入新变量之后模型效果是否发生改变

建模，分析--回归--二元Logistic （二元代表因变量二分类）

刚才我们说(假如只研究是否吸烟对体重的影响，我们可以使用卡方检验，但是目前自变量这么多，卡方检验无能为力)，我们先看看，逻辑回归只研究是否吸烟对体重的影响

谁是1，就研究自变量对这个变量的影响，反之假如为0的话，得出的结果正负值全反

块0：起始块，只有常数项模型，也叫基线模型或无效模型

分类表就是模型预测的情况，下图可以看出划分点为0.5，预测模型全部预测成好人，预测准确率达68.8%，但是这很明显不是我们想要的模型，坏的全部预测成好的了

方程中的变量：Sig.<0.05，证明常数项不为0

不在方程中的变量（比分检验）：把smoke这个变量纳入模型有没有效果，Sig.<0.05,证明纳入进来还是有效果的

块1：有自变量的模型

模型系数的综合检验：变量的纳入模型与不纳入模型是否有区别，Sig.<0.05,证明有区别，卡方说明变量的加入下降了多少似然比统计量（下面会有介绍到似然比检验）

模型汇总（似然比检验）：-2对数似然值衡量的是模型对数据的解释程度，模型的价值指标，越接近0越好，单独看是没有意义的，和其他模型比较才有价值

分类表：查看模型预测结果及切分点

方程中的变量（Walds检验）：Sig.变量纳入模型对模型效果是否显著，Exp（B）称比数比，其他自变量取值保持不变时，该自变量取值增加一个单位引起比数比（OR）自然对数值的变化量，当概率比较低时候，可以理解概率会上升为原来的几倍

刚才只是考察低出生体重儿与是否吸烟的回归关系，我们现在把所有的二分类自变量和连续类型自变量放进去建模，为什么多分类自变量先不放进去？我们等下再说

分析--回归--二元Logistic

结果解读

起始块一般没有没有什么变化，但是不在方程中的变量这表格有区别，总统计量显著性<0.05,证明把所有模型都纳入进来有意义，后续再去细看每一个自变量的Sig.进行挑选

块1：

方程中的变量：我们看到有一些变量不显著，Sig.>0.05，直接剔除掉吗？这样做的话存在潜在的危险，因为Walds检验，他没有考虑其他因素的综合作用，当因素间存在共线性时结果不可靠，故在筛选变量时，用Walds法应慎重

我们应该选用比分检验和似然检验来挑选

其他模块的结果解读前面已经讲解

我们知道变量的spss自动挑选有向前法、向后法以及逐步法，当然我们也可以自己手动挑选，毕竟spss自动挑选错误率可达30%

分析--回归--二元Logistic ，我们说过Wald方法不靠谱，最靠谱的方法为LR（似然比检验）或者条件（比分检验），LR（似然比检验）比较好，这里的向前指的是逐步法、向后指的是向后法

我们选择向前：LR

结果如下（块0不截图了，都是一样的）

我们看到最终只选择变量lwt、ptl、ht，模型比数比为217.220

假如我们使用向后：LR得到结果是什么样的呢？

发现其选的变量有四个和向前不一样lwt、smoke、ptl、ht，模型比数比为214.440，遇到这种情况，我们应该多做几次实验或者自己手动挑选变量，假如最后结果还是不一致，用专家经验，smoke其实还是对结果有影响，所以我们选择向后：LR的结果。spss自动挑选的纳入和剔除相对应的Sig.标准是0.05和0.1，可以去调，如下图（选项--步进概率）

哑变量编码

针对问题：

回归系数b表示其它自变量不变，x每改变一个单位时，所预测的y的平均变化量
当x为连续性/二分类变量时这样没有问题
当x为多分类变量时就不太合适了

无序多分类：民族，各族之间不存在大小问题

有序多分类：家庭收入分为高、中、低三档，它们之间的差距无法准确衡量

强行规定为等距显然可能引入更大的误差

在以上这些情况时，我们就必须将原始的多分类变量转化为数个哑变量（Dummy Variable），每个哑变量只代表某两个级别或若干个级别间的差异，这样得到的回归结果才能有明确而合理的实际意义。

(注意：哑变量必须同进同出，否则含义可能改变)

举个例子：

O型是作为对比水平（基础水平），而哑变量V1、V2、V3分别代表了A型、B型、AB型和O型相比的系数

我们的自变量里面有种族，是无须多分类的，所以我们选择其他种族为对比水平（基础水平）

把种族选进来，点击分类，之后设置参考水平即可

建模结果，模型的似然检验为206.110比之前的模型都要好，其选入的变量有lwt、smoke、ptl、ht、race

注意一下，我们查看哑变量对模型是否有显著性作用先看race总的检验结果为0.02有意义，才去细看里面的race（1）、race（2）

race（1）的比数比Exp（B）为0.392，说明白人相对于其他种族出现低出生体重为0.392倍

SPSS逻辑回归补充

哑变量编码的问题

针对平常的（回归--线性）里面是不支持哑变量编码的，不像Logistic回归这样直接放入协变量点击分类就SPSS自己进行哑变量编码，（回归--线性）里面进行哑变量编码要自己手动动手或者写程序

由于方差分析其实本质上是和（线性--回归）是等价的，假如模型中自变量以分类变量为主的话，放入方差分析的固定因子，自变量会自接变成哑变量的形式

交互作用

方差分析里面可以研究交互项对因变量的影响，Logistic回归也是支持的，我们先看看方差分析对应SPPS交互项里面操作

Logistic回归也是支持交互作用的研究的，一次选中多个变量加进去

但是（线性--回归）不支持交互作用，假如想研究交互作用，我们可以自己手动做一个新变量，比如a*b作为新的自变量纳入模型，这么麻烦的原因是方差分析已经有这个功能了，方差分析本质上是和线性回归是等价的

SPSS Logistic回归其他好用功能

分类图