【K-S检验】检验两个数据集的分布是否一致

2024-06-08 14:50:24

【K-S检验】检验两个数据集的分布是否一致

前言：在训练机器学习模型时，遇到了模型在数据集分割出来的test set上预测准确率高，但是在另一个test set数据集上预测准确率很低的情况。第一直觉是判断两个数据集的分布是否一致。

K-S检验方法

KS-test（Kolmogorov–Smirnov test）一般用来检验两个数据分布是否一致，KS检验不用假设数据的分布情况，算是一种非参数检验方法。
下图是两个数据的累积分布函数（CDF）：

代码

from scipy.stats import ks_2sampdataset_a = ['123','456']
dataset_b= ['789','12321']
result = ks_2samp(dataset_a,dataset_b).pvalueprint("pvalue between 2 datasets: {}".format(result))

我们先生成两个数据集的list，使用ks_2samp检验两个list是否来自同一个样本，首先提出假设：dataset_a和dataset_b服从相同的分布。

最终返回的结果，p-value=6.060226485128174e-18，比指定的显著水平（假设为5%）小，则我们完全可以拒绝假设：dataset_a和dataset_b不服从同一分布

p_value越大，说明两者属于同一分布的可能性越大。
p_value越小（越接近0），说明两者属于同一分布的概率越小。一般来说小于5%，就能证明原假设不成立，即dataset_a和dataset_b不服从同一分布。

注：用来比较的两个数据集的长度(size)可以不相同。

参考文献

[1] 双样本KS检验与p-value推导(Kolmogorov–Smirnov test)
[2] 使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布
[3] 5种数据同分布的检测方法
[4] 训练集/测试集分布一致性检查

【K-S检验】检验两个数据集的分布是否一致相关推荐

KS检验样本测试集和训练集分布问题
最初引入KS检验的原因:用SVM 做分类问题时,发现在测试集上跑出来的准确率等参数比在训练集高许多,经过分析,推断可能是由于训练集和测试集上的数据分布情况不一致.所以想通过KS检验一下数据分布情况. ...
怎么用Q-Q图验证数据集的分布
样本数据集在构建机器学习模型的过程中具有重要的作用,样本数据集包括训练集.验证集.测试集,其中训练集和验证集的作用是对学习模型进行参数择优,测试集是测试该模型的泛化能力. 正负样本数据集符合独立同分布 ...
实现KMO和Bartlett的球形度检验的两种方法
文章目录实现KMO和Bartlett的球形度检验的两种方法 SPSS 实现KMO和Bartlett的球形度检验第一步:选择"因子分析" 第二步:选择变量第三步:选择KMO和巴 ...
spss数据分析（平均值检验、单样本的t检验、两独立样本的t检验、配对样本的t检验）
统计方法分为描述统计和推断性统计,参数估计和假设性检验是推断性统计中的重要部分. 参数检验主要用于抽样研究方法,从总体中抽取一定的样本进行研究非参数性检验:无法准确假设时在用样本均值估计总体均值, ...
R语言Kolmogorov-Smirnov检验比较两个样本是否来自同一个分布：ks.test函数执行Kolmogorov-Smirnov检验比较两个样本是否来自同一个分布
R语言Kolmogorov-Smirnov检验比较两个样本是否来自同一个分布:ks.test函数执行Kolmogorov-Smirnov检验比较两个样本是否来自同一个分布目录
SAS学习笔记25 t检验（单个样本t检验、配对样本t检验、两个独立样本t检验及方差不齐时的t'检验）...
根据研究设计和资料的性质有单个样本t检验.配对样本t检验.两个独立样本t检验以及在方差不齐时的t'检验单样本t检验单样本t检验(one-sample t-test)又称单样本均数t检验,适用于样本 ...
t检验（独立样本t检验配对样本t检验非参检验多余两组的比较方差分析非参检验）
文章目录独立样本t检验配对样本t检验非参检验多余两组的比较方差分析非参检验独立样本t检验 library(MASS)t.test(Prob~So, data = UScrime,var. ...
R语言偏相关或者部分相关性系数计算实战：使用psych包计算（Partial Correlation）偏相关或者部分相关性系数并用建设检验检验相关性的显著性
R语言偏相关或者部分相关性系数计算实战:使用psych包计算(Partial Correlation)偏相关或者部分相关性系数并用建设检验检验相关性的显著性目录
两个数据集，本地可以关联，正式库关联不了
具体情况: 两个数据集,通过uuid相关联,左右显示. 在本地环境,数据集关联成功,但是放到正式库应用里,左边有值右边空,关联不了. 搞了整整两天,发现关联的是数据列,改成单元格就可以关联上了.

最新文章

热门文章