衡量预测变量/自变量重要性
注：预测变量=自变量；响应变量=因变量
一、响应变量为数值型，预测变量为数值型
1.1 Pearson相关系数
衡量线性关系
1.2 Spearman相关系数
变量之间近线性或者曲线相关
不适用于变量间的复杂关系
1.3 loess局部加权回归
非线性关系
采取一系列多项式回归分别对一系列的小区域建模
二、响应变量为数值型，预测变量为分类型
2.1 标准t统计量
比较两组均值，本质为信号与噪音的比例（均值差除以两组方差的函数）
假设数据正态分布
P值检验统计显著性（低P值表明显著性强）
2.2 Wilconxon秩和分析
数据不符合正态分布
2.3 方差分析
预测变量的类多于2个
方差分析探索预测变量的统计显著性，探索哪里不同可以将分类变量转化为几个0-1变量然后用t统计量检验，或者使用多重比较
方差分析需要满足正态分布与方差齐
三、响应变量为分类型，预测变量为数值型
3.1 ROC曲线下的面积
完美分离则面积为1，完全不相关则面积为0.5
当响应变量类数大于2，可以使用roc的推广，或者用一对多的方法
3.2 t统计量
四、响应变量为分类型，预测变量为分类型
4.1 优势比
二分类预测变量与二分类响应变量
4.2 Fisher确切检验
响应变量超过2类或者预测变量有2个以上层级
4.2 C4.5中的增益比
响应变量超过2类或者预测变量有2个以上层级
本文为总结，具体操作可见《应用预测建模》第18章 【衡量预测变量重要性】
Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译
衡量预测变量/自变量重要性相关推荐
- spss预测变量重要性不可用_C4.5/5.0的SPSS操作
本节我们主要介绍如何运用spss统计软件进行决策树分析,在spss statistics 中,只能选择ID3,CART及chaid 决策树,而在spss另一款专门用于机器学习建模的软件 spss mo ...
- 如何评估随机森林模型以及重要预测变量的显著性
如何评估随机森林模型以及重要预测变量的显著性 说到随机森林(random forest,RF),想必很多同学都不陌生了,毕竟这些机器学习方法目前非常流(fàn)行(làn)--白鱼同学也曾分别分享过& ...
- 如何正确衡量线性回归模型中变量的重要性
如何正确衡量线性回归模型中变量的重要性 背景 多重共线性 什么是多重共线性 为什么多重共线性会导致参数估计失败 如何判别多重共线性 解决方案 背景 在机器学习任务中,线性回归是常用的一类模型.它其实是 ...
- R语言编写自定义函数、评估回归模型预测变量的相对重要性（Relative importance）、通过在所有可能的子模型中添加一个预测变量而获得的R方的平均增加、评估预测变量的重要度、并通过点图可视化
R语言编写自定义函数.评估回归模型预测变量的相对重要性(Relative importance).通过在所有可能的子模型中添加一个预测变量而获得的R方的平均增加.来评估预测变量的重要程度.并通过点图可 ...
- 应用预测建模第六章线性回归习题6.3【缺失值插补，分层抽样，预测变量重要性，重要预测变量如何影响响应变量，多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网】
模型:多元线性回归,稳健回归,偏最小二乘回归,岭回归,lasso回归,弹性网 语言:R语言 参考书:应用预测建模 Applied Predictive Modeling (2013) by Max K ...
- r语言electricity数据集_R语言多元逐步回归模型分析房价和葡萄酒价格：选择最合适的预测变量...
包含更多的预测变量不是免费的:在系数估算的更多可变性,更难的解释以及可能包含高度依赖的预测变量方面要付出代价.确实, 对于样本大小 ,在线性模型中可以考虑 的预测变量最大数量为 p .或等效地,使用 ...
- 机器学习笔记：（时间序列中的线性回归）如何选择预测变量
当有许多可能的预测变量时,我们需要一些策略来选择用于回归模型的最佳预测变量. 1 不推荐的方法 不推荐的一种常见方法是针对特定预测变量绘制预测结果和预测变量之间的关系图,如果没有明显的关系,则从模型中 ...
- SIMCA-P计算变量投影重要性分析值（VIP）_偏最小二乘
变量投影重要性(VIP)主要用于变量筛选,基于偏最小二乘回归的有点,VIP技术可用于样本较小而且几个自变量间相关性较强的情形. 1.打开SIMCA-P软件,导入excel数据,注意数据格式 第一行是变 ...
- 利用ReliefF算法对特征变量做重要性排序，实现特征选择
利用ReliefF算法对特征变量做重要性排序,实现特征选择. 替换数据即可. 基于relieff算法的分类预测. 通过重要性排序图,选择重要的特征变量,来实现数据降维的目的. matlab语言. ID ...
最新文章
- 【FJOI2015】最小覆盖双圆问题
- assign和always的使用
- java中正则表达式并集_对Java中正则表达式的一些理解
- aspx写入mysql_Asp.net用户登陆数据库验证与注册写入数据库
- Linux系统日常维护命令
- 多址接入技术TDMA CDMA FDMA Aloha等
- matlab画转体_【求助】matlab生成旋转体？
- python登录验证码生成及自动化测试规避
- 2014 Super Training #2 F The Bridges of Kolsberg --DP
- 2012年参加油田象棋比赛的几盘棋
- SQL正则表达式、列表运算、涉及null的查询
- Max Script|多边形的控制
- 单细胞测序技术(single cell sequencing)
- [论文阅读] (19)英文论文Evaluation（实验数据集、指标和环境）如何描述及精句摘抄——以系统AI安全顶会为例
- Docker 的LNMP + Wordpress搭建
- Linux如何在文件中新建一行,linux – 如何使用sed将文本插入文件的第一行？
- 《图解HTTP》摘录
- 工程机械租赁商如何对世界各地设备进行统一集中管理
- 大象装企营销：有的装修公司的生意为什么越做越差？
- 自学Java的心路历程