【统计学习3】线性回归:R方(R-squared)及调整R方(Adjusted R-Square)
第一:R方(R-squared)
定义:衡量模型拟合度的一个量,是一个比例形式,被解释方差/总方差。
公式:R-squared = SSR/TSS
=1 - RSS/TSS
其中:TSS是执行回归分析前,响应变量固有的方差。
RSS残差平方和就是,回归模型不能解释的方差。
SSR回归模型可以解释的方差。
综上,R-squared 比列值区间在【0,1】
第二:线性回归模型下,R方和相关系数
相关系数公式
我们知道,相关系数衡量两个变量【预测变量X,响应变量Y】之间的"距离"。
1、一元线性回归
R方在一元线性回归模型中,衡量【响应变量X和预测变量Y】的线性关系。
R方=cor(X,Y)^2
但是在多元线性回归模型中,因为涉及多个预测变量,所有R方就是衡量响应变量和多个预测变量之间的关系。
而相关系数,只是衡量一对变量之间的关系,所有就不能推广了。
2、多元线性回归模型
R平方=cov(y,yi)^2
其中相关系数的两个变量变成,响应值和线性回归的预测值了。当然一元线性也同样适用了。
第三:调整R方(Adjusted R-Square)
另一个公式 R-squared = 1- (RSS/(n-p-1)) / (TSS/(n-1))
因为在模型中,增加多个变量,即使事实上无关的变量,也会小幅度条R平方的值,当时其是无意义,所有我们调整了下,降低R平方的值。
简单地说就是,用r square的时候,不断添加变量能让模型的效果提升,而这种提升是虚假的。
利用adjusted r square,能对添加的非显著变量给出惩罚,也就是说随意添加一个变量不一定能让模型拟合度上升
【统计学习3】线性回归:R方(R-squared)及调整R方(Adjusted R-Square)相关推荐
- R统计绘图-多元线性回归(平均加权模型/最优子集筛选,MuMIn)
此文介绍如何使用MuMIn包使用最优子集法进行多重线性回归的模型筛选以及模型平均.多重线性回归需要进行的数据检验过程都写在R统计绘图-多重线性回归(最优子集法特征筛选,leaps)中了.大家可以自行查 ...
- 课堂笔记(7) Model fit and variable selection 模型拟合和变量选择 —— Adjusted R^2、Cp、全子集回归
目录 Basic knowledge Model fit criteria The R^2 statistic Selection criteria for comparing models - A ...
- 【统计学习系列】多元线性回归模型(六)——模型拟合质量评判:RMSE、R方、改进R方、AIC\BIC\SIC
文章目录 1. 前文回顾 2. 一些引理与离差平方和分解定理(可略) 2.1 引理1 2.2 引理2 2.3 引理3 2.4 平方和分解定理 3. 拟合优度评价指标I--均方根误差(RMSE) 4. ...
- 统计学习导论之R语言应用(三):线性回归R语言代码实战
统计学习导论(ISLR) 参考资料 The Elements of Statistical Learning An Introduction to Statistical Learning 统计学习导 ...
- 【医学信息学】《统计学习导论-基于r应用》的学习总结
以下仅为笔者在学习<统计学习导论-基于r应用>过程中的理解总结,如有错误,敬请指正 统计学习导论概述 什么是统计学习? 对一系列观测值(自变量/预测变量/X,因变量/响应变量/Y)之间的关 ...
- R统计绘图-多元线性回归(最优子集法特征筛选及模型构建,leaps)
此文为<精通机器学习:基于R>的学习笔记,书中第二章详细介绍了线性回归分析过程和结果解读. 回归分析的一般步骤: 1. 确定回归方程中的自变量与因变量. 2. 确定回归模型,建立回归方程. ...
- 统计学习导论之R语言应用(四):分类算法R语言代码实战
统计学习导论之R语言应用(ISLR) 参考资料: The Elements of Statistical Learning An Introduction to Statistical Learnin ...
- 统计学习导论 - 基于R的应用 学习笔记1
统计学习导论 - 基于R的应用 学习笔记 Chapter 1 导论 统计学习是什么: 关于估计ƒ的一系列方法 Y=f(x)+ξ f:X 提供给 Y 的系统信息,是 x 的函数 ξ:随机误差项:均值为0 ...
- ISLR统计学习导论之R语言应用(五):R语言实现交叉验证和bootstrap
统计学习导论(ISLR) 小编大四统计在读,目前保研到统计学top3高校继续攻读统计研究生. 参考资料: The Elements of Statistical Learning An Introdu ...
最新文章
- python的文件式如何操作_Python文件操作
- 如何去除Eclipse Maven插件里关于Managed version的警告消息
- SK-Learn使用NMF(非负矩阵分解)和LDA(隐含狄利克雷分布)进行话题抽取
- [Redis6]跳跃表(跳表)
- docker mysql57_docker安装mysql57
- hdoj 1015 Safecracker
- 如何实现 迭代器 可迭代对象 (2.1)
- python查找文字在图片中的位置_python实现简单图片文字识别翻译OCR
- postman测试上传图片接口步骤教程
- 虚拟机上键盘右边的数字小键盘为什么不能使用
- typecho与WordPress博客程序评测及推荐
- python请输入一个三位数输出该三位数的逆序数_编写程序,从键盘输入一个三位数,求出其逆序数并输出,例如输入123,输出321。...
- 见山只是山 见水只是水——提升对继承的认识
- 正则表达式,兼容正整数或负整数的写法
- favicon.ico制作
- Windows环境下msysgit下安装gitflow步骤。
- 建筑业数字化|数据推动建筑业变革与产业升级
- 冯·诺依曼计算机与现代计算机原理与差别
- Python 霍兰德人格分析雷达图
- 土木工程类规范下载(持续更新中...)