python 回归方程及回归系数的显著性检验_回归方程及回归系数的显著性检验_stata显著性检验...
1、回归方程的显著性检验
(1) 回归平方和与剩余平方和
建立回归方程以后, 回归效果如何呢?因变量
与自变量
是否确实存在线性关系呢?这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量
取值的变化规律。
的每次取值
是有波动的, 这种波动常称为变差, 每次观测值
的变差大小, 常用该次观侧值
与次观测值的平均值的差
(称为离差)来表示, 而全部
次观测值的总变差可由总的离差平方和
,
其中:
称为回归平方和, 是回归值
与均值
之差的平方和, 它反映了自变量
的变化所引起的
的波动, 其自由度
(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值
与回归值
之差的平方和, 它是由试验误差及其它因素引起的, 其自由度
。总的离差平方和的自由度为
。
如果观测值给定, 则总的离差平方和
是确定的, 即
是确定的, 因此
大则
小, 反之,
小则
大, 所以
与
都可用来衡量回归效果, 且回归平方和
越大则线性回归效果越显著, 或者说剩余平方和
越小回归效果越显著, 如果
=0, 则回归超平面过所有观测点; 如果
大, 则线性回归效果不好。
(2) 复相关系数
为检验总的回归效果, 人们也常引用无量纲指标
, (3.1)
或
, (3.2)
称为复相关系数。因为回归平方和
实际上是反映回归方程中全部自变量的“方差贡献”, 因此
就是这种贡献在总回归平方和中所占的比例, 因此
表示全部自变量与因变量
的相关程度。显然
。复相关系数越接近1, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。但应注意,
与回归方程中自变量的个数
及观测组数
有关, 当
相对于
并不很大时, 常有较大的
值, 因此实际计算中应注意
与
的适当比例, 一般认为应取
至少为
的5到10倍为宜。
(3)
检验
要检验
与
是否存在线性关系, 就是要检验假设
, (3.3)
当假设
成立时, 则与
无线性关系, 否则认为线性关系显著。检验假设
应用统计量
, (3.4)
这是两个方差之比, 它服从自由度为
及
的
分布, 即
, (3.5)
用此统计量
可检验回归的总体效果。如果假设
成立, 则当给定检验水平α下, 统计量
应有
≤
, (3.6)
对于给定的置信度α, 由
分布表可查得
的值, 如果根据统计量算得的
值为
, 则拒绝假设
, 即不能认为全部
为O, 即
个自变量的总体回归效果是显著的, 否则认为回归效果不显著。
利用
检验对回归方程进行显著性检验的方法称为方差分析。上面对回归效果的讨论可归结于一个方差分析表中, 如表3.1。
表3.1 方差分析表
来 源
平方和
自由度
方 差
方差比
回 归
剩 余
总 计
根据
与
的定义, 可以导出
与
的以下关系:
,
。
利用这两个关系式可以解决
值多大时回归效果才算是显著的问题。因为对给定的检验水平α, 由
分布表可查出
的临界值
, 然后由
即可求出
的临界值
:
, (3.7)
当
时, 则认为回归效果显著。
例3.1 利用方差分析对例2.1的回归方程进行显著性检验。
方差分析结果见表3.2。
表3.2
来 源
平方和
自由度
方 差
方差比
回 归
剩 余
总 计
取检验水平α=0.05, 查
分布表得
, 而
, 所以例2.1的回归方程回归效果是显著的。
前面讨论了回归方程中全部自变量的总体回归效果, 但总体回归效果显著并不说明每个自变量
对因变量
都是重要的, 即可能有某个自变量
对
并不起作用或者能被其它的
的作用所代替, 因此对这种自变量我们希望从回归方程中剔除, 这样可以建立更简单的回归方程。显然某个自变量如果对
作用不显著, 则它的系数
就应取值为0, 因此检验每个自变量
是否显著, 就要检验假设:
,
, (3.8)
(1)
检验:
在
假设下, 可应用
检验:
,
, (3.9)
其中
为矩阵
的对角线上第
个元素。
对给定的检验水平α, 从
分布表中可查出与α对应的临界值
, 如果有
, 则拒绝假设
, 即认为
与0有显著差异, 这说明
对
有重要作用不应剔除; 如果有
则接受假设
, 即认为
成立, 这说明
对
不起作用, 应予剔除。
(2)
检验:
检验假设
, 亦可用服从自由度分别为1与
的
分布的统计量
, (3.10)
其中
为矩阵
的主对角线上第
个元素。对于给定的检验水平α, 从
分布表中可查得临界
, 如果有
, 则拒绝假设
, 认为
对
有重要作用。如果
, 则接受假设
, 即认为自变量
对
不起重要作用, 可以剔除。一般一次
检验只剔除一个自变量, 且这个自变量是所有不显著自变量中
值最小者, 然后再建立回归方程, 并继续进行检验, 直到建立的回归方程及各个自变量均显著为止。
最后指出, 上述对各自变量进行显著性检验采用的两种统计量
与
实际上是等价的, 因为由(3.9)式及(3.10)式知, 有
(3.11)
例3.2 对例2.1的回归方程各系数进行显著性检验。
经计算:
,
于是
,
其中
=0.002223,
=0.004577。由(3.7)式知
,
,
查
分布表得,
, 因为
,
, 所以两个自变量
及
都是显著的。又由
, 说明体长
比胸围
对体重
的影响更大。
如果应用
检验, 查
分布表有
, 又由
,
,
因为
,
, 因此
及
都是显著的, 均为重要变量, 应保留在回归方程中。
(3) 偏回归平方和
检验某一自变量是否显著, 还可应用偏回归平方和进行检验。
个自变量
的回归平方和为
,
如果自
个自变量中去掉
, 则剩下的
个自变量的回归平方和设为
, 并设
,
则
就表示变量
在回归平方和
中的贡献,
称为
的偏回归平方和或贡献。可以证明
, (3.12)
偏回归平方和
越大, 说明
在回归方程中越重要, 对
的作用和影响越大, 或者说
对回归方程的贡献越大。因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小(贡献大小)的一个指标。
例如在例2.1中,
和
的偏回归平方和分别为
,
,
, 说明在回归方程中
的作用比
大。
又如在例2.2中
及
的偏回归平方和分别为:
,
,
,
,
的值最小, 即
在回归方程中所起的作用最小,
最大, 说明
在回归方程中所起的作用最大。
喜欢 (5)or分享 (0)
python 回归方程及回归系数的显著性检验_回归方程及回归系数的显著性检验_stata显著性检验...相关推荐
- python分析数据差异的方法_数据分析技术:数据差异的显著性检验
数据差异的显著性检验是数据分析的重要技术之一.然而,如何正确选择检验方法是很多初学者困惑和容易出现错误的地方.下面为大家总结一下数据差异显著性检验的方法及适用范围. 显著性检验 首先需要理解什么是数据 ...
- python 线性回归显著性检验_回归方程及回归系数的显著性检验_stata显著性检验...
1.回归方程的显著性检验 (1) 回归平方和与剩余平方和 建立回归方程以后, 回归效果如何呢?因变量 与自变量 是否确实存在线性关系呢?这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研 ...
- python做线性回归统计推断提取参数_线性回归及其Python实现(最大似然法)
线性回归及其Python实现(最大似然法) 标签: Python 机器学习 本节内容总结于博主在牛客网机器学习特训营的笔记 参考资料:<机器学习实战> 目录 1.什么是线性回归(Linea ...
- 线性回归系数的标准误_回归模型中的标准化回归系数是什么,该如何计算得到?...
在前期内容中,我们介绍了如何对数据进行标准化处理,将原始的连续型变量转化为一个无量纲的标准化数值,消除不同变量之间因性质.量纲.数量级等属性的差异而带来的影响,从而使不同变量的效应大小具有可比性,因此 ...
- python语言下划线怎么打_初学Python语言者必须理解的下划线
下划线(_)在Python语言中有特殊作用. 在大多数编程语言中,下划线是命名变量或者函数名称时的连字符,但是,在Python语言中,不仅如此.如果你是一名Python程序员,对于诸如 _ in ra ...
- python中五种下划线 _
python中五种下划线 "_" 单前导下划线:_var 单末尾下划线:var_ 双前导下划线:__var 双前导和末尾下划线:var 单下划线:_ 在文章结尾处,你可以找到一个简 ...
- python 显著性检验_显著性检测 LC代码python
https://asdfv1929.github.io/2018/05/11/saliency-LC/ 或者以下代码实现 import numpy as np import time import c ...
- python 线性回归显著性检验_【机器学习笔记】:大话线性回归(二)
▌线性回归拟合优度 1. 判定系数 回归直线与各观测点的接近程度成为回归直线对数据的拟合优度.而评判直线拟合优度需要一些指标,其中一个就是判定系数. 我们知道,因变量y值有来自两个方面的影响: (1) ...
- python相比于excel的优势_使用Excel和python来做回归分析
使用Excel和python来做回归分析 作者:PHPYuan 时间:2018-08-01 03:40:50 聊完方差分析,就不得不说回归分析. 回归分析是一种应用广泛的统计分析方法,在金融,医学等领 ...
- excel显著性检验_怎样征服老板?教你用excel找到数据之间隐藏信息
拿到一张报表,怎样做出让老板眼前一亮的分析?是简单分析一下每个数据项的占比?然后告诉老板现状是什么情况? 这些东西最多只能算合格的分析,原因是分析太简单,就是现状的描述.如果你能分析出数据之间隐藏的信 ...
最新文章
- xml操作类(转载)
- 深入浅出统计学(十二)置信区间
- linux下远程控制继电器,更智能的电脑远程开关机-基于继电器
- hive 写入mysql 覆盖_替换Hive的元数据库derby
- python如何调用图片-python实现读取并显示图片的两种方法
- XAPIAN简单介绍(三)
- 【AI-1000问】你知道为什么GoogLeNet也被称为InceptionNet吗?
- 人工智能缺陷与误觉:让机器产生幻觉的「怪异事件」 1
- 【springboot】启动时指定lib目录
- poj 3256(DFS)
- 前端学习(1982)vue之电商管理系统电商系统之删除参数的操作
- 云起智慧中心连接华为_【转发】华为智慧屏HiLink控制联动,操作指南来了!
- java课程设计(图书管理系统)
- leetcode python3 简单题104. Maximum Depth of Binary Tree
- 用div代替textarea,实现在文本框中使用回车br和设置字体功能
- 2020软考程序员考试大纲要求的必会单词
- 最优化学习 约束优化问题
- 优盘(U 盘) 采用TLC, MLC, SLC芯片 的区别 与使用寿命
- js dom节点操作的增加和删除
- INFOR-CRB开发教程