双样本T检验——机器学习特征工程相关性分析实战

最近在做数据分析方面的工作，经常需要检验两组样本之间是否存在差异，所以会遇到统计学中假设检验相关的知识。在机器学习特征工程这一步，笔者最常用到的是假设检验中的卡方检验去做特征选择，因为卡方检验可以做两个及两个以上样本率( 构成比）以及两个分类变量的关联性分析。但是笔者今天想介绍一下通过T检验做机器学习中的特征工程，希望能够让大家初步了解到各种假设检验是如何在机器学习项目的特征工程发挥作用。

假设检验简介

统计学中，常见的假设检验有：T检验（Student's t Test），F检验（方差齐性检验），卡方验证等。无论任何假设检验，它们都遵循如下图所示的流程：

做两个假设：一般如果假设对象是两组样本的话，都会假设这两组样本均值相等（T检验的假设），方差满足齐次性（F检验的假设）等。而另一个假设其实就是两组样本均值不相等（T检验的假设），方差不满足齐次性（F检验的假设）等，其实这两个假设就是一对非此即彼的选项。这两个假设在教科书上就叫做原假设，和备择假设。
设置一个显著性值：通俗点理解，就是如果真实的情况偏离原假设的程度。
1.如果真实情况和原假设差异不大（P值高于显著性值），那证明原假设是对的，接受原假设。
2.如果真实情况和原假设差异太大（P值低于显著性值），那证明原假设错了，我们得拒绝原假设，接受备择假设。
显著性值的选择是个经验值

双样本T检验——机器学习特征工程相关性分析实战相关推荐

机器学习-特征工程中的特征选择
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
机器学习-特征工程中的数据预处理
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
机器学习实战 | 机器学习特征工程最全解读
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/41 本文地址:https://www.showmeai.tech/article-d ...
机器学习-特征工程中的特征降维
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
机器学习——特征工程——数据的标准化（Z-Score,Maxmin,MaxAbs,RobustScaler,Normalizer）
数据标准化是一个常用的数据预处理操作,目的是处理不同规模和量纲的数据,使其缩放到相同的数据区间和范围,以减少规模.特征.分布差异等对模型的影响. 比如线性回归模型.逻辑回归模型或包含矩阵的模型,它们会 ...
机器学习——特征工程之分类变量
机器学习--特征工程之分类变量前言分类变量的编码 1.one-hot 编码 2.虚拟编码 3.效果编码处理大型分类变量 1.特征散列化 2.分箱计数总结前言关于特征工程,已经对空值.数值型 ...
机器学习特征工程之连续变量离散化：聚类法进行分箱
机器学习特征工程之连续变量离散化:聚类法进行分箱离散化,就是把无限空间中有限的个体映射到有限的空间中: 根据用户的听音乐的数据来预测哪些歌曲更受欢迎. 假设大部分人听歌都很平均,会不停的听新的歌曲, ...
机器学习特征工程之连续变量离散化：等频分箱
机器学习特征工程之连续变量离散化:等频分箱离散化,就是把无限空间中有限的个体映射到有限的空间中: 根据用户的听音乐的数据来预测哪些歌曲更受欢迎. 假设大部分人听歌都很平均,会不停的听新的歌曲,但是有 ...
机器学习特征工程之连续变量离散化：连续变量二值化（Binarizer）
机器学习特征工程之连续变量离散化:连续变量二值化(Binarizer) 离散化,就是把无限空间中有限的个体映射到有限的空间中: 根据用户的听音乐的数据来预测哪些歌曲更受欢迎. 假设大部分人听歌都很平均 ...

双样本T检验——机器学习特征工程相关性分析实战

假设检验简介

双样本T检验——机器学习特征工程相关性分析实战相关推荐

最新文章

热门文章