SPSS（五）SPSS之相关分析与线性回归模型（图文+数据集）
SPSS（五）SPSS之相关分析与线性回归模型（图文+数据集）
在讲解线性回归模型之前，先来学习相关分析的知识点，因为相关分析与回归有着密切的联系
相关分析
任意多个变量都可以考虑相关问题，不单单局限于两个变量，一次可以分析多个变量的相关性
任意测量尺度的变量都可以测量相关强度，不单单仅可以测连续与连续变量的相关性，连续变量和有序分类变量，连续变量和无序分类变量都可以测量相关性，不过衡量指标我们不常接触而已
连续与连续变量的相关性常用术语
直线相关
两变量呈线性共同增大
呈线性一增一减
曲线相关
两变量存在相关趋势
并非线性，而是呈各种可能的曲线趋势
正相关与负相关
完全相关
相关分析对应SPSS位置（分析--相关）
双变量过程（例子：考察信心指数值和年龄的相关性）
§进行两个/多个变量间的参数/非参数相关分析
§如果是多个变量，则给出两两相关的分析结果
偏相关过程（例子：在控制家庭收入QS9对总信心指数影响的前提下，考察总信心指数值和年龄的相关性。）
§对其他变量进行控制
§输出控制其他变量影响后的相关系数
距离过程
§对同一变量内部各观察单位间的数值或各个不同变量间进行相似性或不相似性（距离）分析
§前者可用于检测观测值的接近程度
§后者则常用于考察各变量的内在联系和结构
§一般不单独使用，而是作为多维标度分析（multidimensional scaling ,MDS）的预分析过程
相关分析和回归分析的关系
研究两个变量间的紧密程度：相关分析
研究因变量随自变量的变化：回归分析
回归分析概述
因变量：连续变量
自变量：通常为连续变量，也可以是其他类型
- 研究一个连续性变量（因变量）的取值随着其它变量（自变量）的数值变化而变化的趋势
- 通过回归方程解释两变量之间的关系显的更为精确，可以计算出自变量改变一个单位时因变量平均改变的单位数量，这是相关分析无法做到的
- 除了描述两变量的关系以外，通过回归方程还可以进行预测和控制，这在实际工作中尤为重要
§回归分析假定自变量对因变量的影响强度是始终保持不变的，如公式所示：
§对于因变量的预测值可以被分解成两部分：
§常量（constant）：x取值为零时y的平均估计量，可以被看成是一个基线水平
§回归部分：它刻画因变量Y的取值中，由因变量Y与自变量X的线性关系所决定的部分，即可以由X直接估计的部分
§Ŷ：y的估计值（所估计的平均水平），表示给定自变量的取值时，根据公式算得的y的估计值
§a：常数项，表示自变量取值均为0时因变量的平均水平，即回归直线在y轴上的截距（多数情况下没有实际意义，研究者也不用关心）
§b：回归系数，在多变量回归（多个自变量的回归）中也称偏回归系数。自变量x 改变一个单位，y估计值的改变量。即回归直线的斜率
§估计值和每一个实测值之间的差被称为残差。它刻画了因变量y除了自变量x以外的其它所有未进入该模型，或未知但可能与y有关的随机和非随机因素共同引起的变异，即不能由x直接估计的部分。
§为了方程可以得到估计，我们往往假定ei服从正态分布N(0,σ2)，就是说相同
（大家可以发现和方差分析模型表达式几乎一模一样，a对应u，只不过bx是连续的，ai和bi是分类的）
线性回归模型适用范围
§线性趋势
§独立性
§样本量
§根据经验，记录数应当在希望分析的自变量数的20倍以上为宜
§实质上样本量和模型的决定系数有关，可通过迭代的方法进行计算
§正态性
§方差齐性
§如果只是探讨自变量与因变量间的关系，则后两个条件可以适当放宽
备注：由于是连续变量，不可能事先分组描述，分组检验，我们一般做事后残差分析来看检验模型的正态性及方差齐性
线性回归模型分析步骤
1.考察数据的分布，进行必要的预处理。即分析变量的正态性、方差齐等问题
2.进行直线回归分析
3.残差分析
残差间是否独立（Durbin-Watson检验)
残差分布是否为正态（图形或统计量）
如何进行残差分析
图一是正常的残差图
图二残差随着自变量的变大而增大，证明方差不齐，我们可以使用变量转换的方法或者加权最小二乘法（同理随着自变量的变大而减小也是）
图三可能是没有把高次项或者交互项放进模型建模分析
案例
§某专门面向年轻人制作肖像的公司计划在国内再开设几家分店，收集了目前已开设的分店的销售数据(Y，万元)及分店所在城市的16岁以下人数(X1，万人)、人均可支配收入(X2，元)，试进行统计分析。
§实际上拟合的模型如下：（回归里面一般不考虑交互项，想加的话可以作为一个新变量x1*x2加进来）
数据集如下
17.44 6.85 1670
16.44 4.52 1680
24.42 9.13 1820
15.46 4.78 1630
18.16 4.69 1730
20.75 6.61 1820
15.28 4.95 1590
16.32 5.20 1720
14.54 4.89 1660
13.72 3.84 1600
24.19 8.79 1830
19.11 7.28 1710
23.20 8.84 1740
14.53 4.29 1580
16.11 5.25 1780
20.97 8.57 1840
14.64 4.13 1650
14.40 5.17 1630
23.26 8.96 1810
22.41 8.27 1910
16.65 5.23 1600首先作所有自变量---因变量散点图
作散点图作用有三个：
1.观察有无趋势
2.是否是线性趋势
3.有无强离群点
图形----图表构建程序
选择散点图
发现销售收入--年轻人数有线性趋势，无强离群点
同理销售收入--人均可支配收入有线性趋势，可能有离群点，我们最后结合残差分析
建模（分析----回归---线性）
结果解读
决定系数R2（无限接近于1越好，简单来说衡量模型可用性与模型信息量的表达）
相应的相关系数的平方，用R2表示，它反映因变量y的全部变异中能够通过回归关系被自变量解释的比例
看sig.，加入sig.<0.05证明用这些因变量来预测是有价值的，但是具体哪一个变量有价值，要结合下面这张表格来看
年轻人人数、人均可支配收入sig.<0.05，证明都有意义，B就是回归模型的偏回归系数，标准系数就是偏回归系数消除量纲影响进行标准化
所以我们回归的方程为
y=-6.886+1.455*x1+0.009*x2
残差分析
- 检验残差之间的独立性（Durbin-Watson检验）
分析--回归--线性--统计量
在结果的
一般Durbin-Watson取值在[0,4]
当Durbin-Watson为2时残差完全独立
当1<=Durbin-Watson<=3时，没有什么大问题
当Durbin-Watson<1 或者Durbin-Watson>3就有问题了
- 残差分布是否为正态（图形或统计量）
作标准化残差图
正态性，由于样本量少，就不强求其正态分布了
P-P图也是检验其正态性的，数据要靠近那条线越好
最重要是这张图形 ，标准化残差图，我们可以从这图看数据有无极端值，一般在[-3,3]以没什么大问题
还有查看变量之间的相关性以及多重共线性
多重共线性（VIF>10或者条件索引>100就可能存在多重共线性）
所以分析到这里，这个案列就完成了
逐步回归
由于刚才那个案例两个自变量是我们定死的，一定要扔进去建模的，但是正常会有很多自变量，需要我们做变量的挑选
逐步回归的基本思想是将变量逐个引入模型，每引入一个解释变量后都要进行F检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量由于后面解释变量的引入变得不再显著时，则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程，直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。
多变量的筛选策略较稳妥的方式
- 单自变量回归模型，筛掉那些显然无关联的候选变量
- 尝试建立多自变量模型，可手动、也可利用自动筛选方法，但使用后者时要谨慎
- 多自变量和单自变量模型结果相矛盾时，以前者为准
- 结果不符合专业知识时，尽量寻找原因
案例：固体垃圾排放量与土地种类的关系
本例来自Golueke and McGauhey 1970年对美国40个城市的固体垃圾排放量(吨)的调查资料，所关心的问题是不同种类土地使用面积（单位，英亩）与固体垃圾排放量之间的关系。可能的影响因素有：indust（工业区土地面积的大小）、metals（金属制造企业用地面积）、trucks（运输及批发商业用地面积）、retail（零售业用地面积）、restrnts（餐馆与宾馆用地面积）。试作逐步回归分析。
数据集如下
102.0 69.0 133.0 125.0 36.0 0.3574
1220.0 723.0 2616.0 953.0 132.0 1.9673
139.0 138.0 46.0 35.0 6.0 0.1862
221.0 637.0 153.0 115.0 16.0 0.3816
12.0 0.0 1.0 9.0 1.0 0.1512
1.0 50.0 3.0 25.0 2.0 0.1449
1046.0 127.0 313.0 392.0 56.0 0.4711
2032.0 44.0 409.0 540.0 98.0 0.6512
895.0 54.0 168.0 117.0 32.0 0.6624
0.0 0.0 2.0 0.0 1.0 0.3457
25.0 2.0 24.0 78.0 15.0 0.3355
97.0 12.0 91.0 135.0 24.0 0.3982
1.0 0.0 15.0 46.0 11.0 0.2044
4.0 1.0 18.0 23.0 8.0 0.2969
42.0 4.0 78.0 41.0 61.0 1.1515
87.0 162.0 599.0 11.0 3.0 0.5609
2.0 0.0 26.0 24.0 6.0 0.1104
2.0 9.0 29.0 11.0 2.0 0.0863
48.0 18.0 101.0 25.0 4.0 0.1952
131.0 126.0 387.0 6.0 0.0 0.1688
4.0 0.0 103.0 49.0 9.0 0.0786
1.0 4.0 46.0 16.0 2.0 0.0955
0.0 0.0 468.0 56.0 2.0 0.0486
7.0 0.0 52.0 37.0 5.0 0.0867
5.0 1.0 6.0 95.0 11.0 0.1403
174.0 113.0 285.0 69.0 18.0 0.3786
0.0 0.0 6.0 35.0 4.0 0.0761
233.0 153.0 682.0 404.0 85.0 0.8927
155.0 56.0 94.0 75.0 17.0 0.3621
120.0 74.0 55.0 120.0 8.0 0.1758
8983.0 37.0 236.0 77.0 38.0 0.2699
59.0 54.0 138.0 55.0 11.0 0.2762
72.0 112.0 169.0 228.0 39.0 0.324
571.0 78.0 25.0 162.0 43.0 0.3737
853.0 1002.0 1017.0 418.0 57.0 0.9114
5.0 0.0 17.0 14.0 13.0 0.2594
11.0 34.0 3.0 20.0 4.0 0.4284
258.0 1.0 33.0 48.0 13.0 0.1905
69.0 14.0 126.0 108.0 20.0 0.2341
4790.0 2046.0 3719.0 31.0 7.0 0.7759逐步回归建模两种方法
- 手动自己一个一个去尝试，一般结果非常重要，建议手动，SPSS自动化错误率达到30%（这里就不演示了）
- SPSS自动方法（向前法、向后法、逐步法），一般来说逐步法结合了向前法向后法是最好的（只演示逐步法）
可以看到每一个步骤
每一个步骤决定系数变化是我们最关注的，R2越大越好 ，也是我们筛选变量的标准
已排除变量这张表要讲一下，说的是加入这个因变量模型会变得更加好吗？sig.<0.05表示会
SPSS自动方法逐步法扔进变量和剔除变量的阈值是？
SPSS（五）SPSS之相关分析与线性回归模型（图文+数据集）相关推荐
- (转载)SPSS之相关分析与线性回归模型（图文+数据集）
SPSS之相关分析与线性回归模型(图文+数据集) 在讲解线性回归模型之前,先来学习相关分析的知识点,因为相关分析与回归有着密切的联系 相关分析 任意多个变量都可以考虑相关问题,不单单局限于两个变量,一 ...
- 多元线性回归分析spss结果解读_SPSS--回归-多元线性回归模型案例解析
多元线性回归,主要是研究一个因变量与多个自变量之间的相关关系,跟一元回归原理差不多,区别在于影响因素(自变量)更多些而已,例如:一元线性回归方程 为: 毫无疑问,多元线性回归方程应该为: 上图中的 x ...
- SPSS（十一）SPSS信息浓缩技术--主成分分析、因子分析（图文+数据集）
SPSS(十一)信息浓缩技术--主成分分析.因子分析(图文+数据集) 当我们的自变量存在多重共线性,表现为进行回归时候方程系数估计不正常以及方程检验结果不正常,也许我们可以使用变量挑选的办法(手动挑选 ...
- SPSS 中介变量、调节变量与交互作用（图文+数据集）【SPSS 041期】
一.教学内容 二.备注 相关资料已上传我的资源,下载链接https://blog.csdn.net/TIQCmatlab?spm=1011.2124.3001.5343
- 基于sklearn的线性回归模型实现多变量决策树
多变量决策树 1 多变量决策树简介 2 实现思路 3 代码中的函数说明 3.1 class TreeNode 3.2 trainLinear 3.3 binaryTrainSet 3.4 score ...
- SPSS(十九)SPSS之时间序列模型（图文+数据集）
SPSS(十九)SPSS之时间序列模型(图文+数据集) 时间序列是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列.正如人们常说,人生的出场顺序很重要,时间序列中隐藏着一些过去与未来的关系. ...
- 对比，SPSS/SPSS modeler/python 实现FRM，聚类模型的用户感受
SPSS计算FRM模型分值 在spss的直销模块下,可以对客户数据进行FRM计算客户的FRM的分值,1.交易数据 2.客户数据(相当于客户数据汇总后的数据) 本例传入客户数据,计算后得到分值,及图表输 ...
- 【统计学习系列】多元线性回归模型（五）——参数与模型的显著性检验：t检验与F检验
文章目录 1. 前文回顾 2. 单参数显著性检验--t检验 2.1 问题的提出 2.2 检验统计量--t统计量的构造 2.3 拒绝域的构造 2.4 浅谈p值 3. 回归方程显著性检验--F检验 3.1 ...
- 因变量 方差膨胀系数_SPSS技术：多重线性回归模型；极端值与多重共线性
原标题:SPSS技术:多重线性回归模型:极端值与多重共线性 欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区. 对商业智能BI.大数据分析挖掘.机器学习,pytho ...
最新文章
- scrapy下载中间件设置代理和useraget大全
- 实验一 绘制金刚石图案
- Date类型JSONArray.fromObject转换出错
- 如何定义和建立架构?
- oracle 改变受限模式,oracle之受限模式修改
- Windows Mobile和Wince(Windows Embedded CE )下使用.NET Compact Framework下注册表导出工具的开发...
- 1 Linux防火墙设置
- flutter initializing gradle终极解决方案
- [改善Java代码]避免对象的浅拷贝
- 使用dsoFramer开始Office应用程序
- Axure RP 7.0注册码
- 淘宝 卖家信用等级的图示
- 初学C语言对于结构体变量名的一些想当然
- word “域” 插入图片目录
- 以太坊学习路线——（五）DApp开发：简易版去中心化微博
- sql的介绍——SQL Server数据库管理系统
- ie浏览器html插入图片,IE浏览器网页不显示图片如何解决？解决方法介绍
- 高新的技术对不对_同样是申请高新技术企业认定，为什么你会失败？
- 【Tanzu 社区版=TCE】 Mac 笔记本快速部署安装体验-(二)
- 撩妹子成功率提高99.89%的方法