KS检验学习[转载]
转自:https://wenku.baidu.com/view/ccfa573a3968011ca30091d6.html
https://www.cnblogs.com/arkenstone/p/5496761.html
1.定义
Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max| f(x)- g(x)|,当实际观测值D>D(n,α)则拒绝H0,否则则接受H0假设。
KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况,可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数据分布符合特定的分布事,KS检验的灵敏度没有相应的检验来的高。在样本量比较小的时候,KS检验最为非参数检验在分析两组数据之间是否不同时相当常用。
PS:t-检验的假设是检验的数据满足正态分布,否则对于小样本不满足正态分布的数据用t-检验就会造成较大的偏差,虽然对于大样本不满足正态分布的数据而言t-检验还是相当精确有效的手段。
2.对单样本检验
3.两样本的KS检验
4.与卡方的比较
5.优势
2018-12-10更————
转自:https://www.cnblogs.com/arkenstone/p/5496761.html
1.KS原理
Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。
其原假设H0:两个数据分布一致或者数据符合理论分布。D=max| f(x)- g(x)|,当实际观测值D>D(n,α)则拒绝H0,否则则接受H0假设。
KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况,可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数据分布符合特定的分布事,KS检验的灵敏度没有相应的检验来的高。在样本量比较小的时候,KS检验最为非参数检验在分析两组数据之间是否不同时相当常用。
PS:t-检验的假设是检验的数据满足正态分布,否则对于小样本不满足正态分布的数据用t-检验就会造成较大的偏差;
虽然对于大样本不满足正态分布的数据而言t-检验还是相当精确有效的手段。
2.KS工作流程
首先观察下分析数据
1.对于以下两组数据:
controlB={1.26, 0.34, 0.70, 1.75, 50.57, 1.55, 0.08, 0.42, 0.50, 3.20, 0.15, 0.49, 0.95, 0.24, 1.37, 0.17, 6.98, 0.10, 0.94, 0.38}
treatmentB= {2.37, 2.16, 14.82, 1.73, 41.04, 0.23, 1.32, 2.91, 39.41, 0.11, 27.44, 4.51, 0.51, 4.50, 0.18, 14.68, 4.66, 1.30, 2.06, 1.19}
对于controlB,这些数据的统计描述如下:
Mean = 3.61
Median = 0.60
High = 50.6 Low = 0.08
Standard Deviation = 11.2
//可以发现这组数据并不符合正态分布, 否则大约有15%的数据会小于均值-标准差(3.61-11.2),而数据中显然没有小于0的数。
2.观察数据的累计分段函数(Cumulative Fraction Function)
对controlB数据从小到大进行排序:
sorted controlB={0.08, 0.10, 0.15, 0.17, 0.24, 0.34, 0.38, 0.42, 0.49, 0.50, 0.70, 0.94, 0.95, 1.26, 1.37, 1.55, 1.75, 3.20, 6.98, 50.57}。10%的数据(2/20)小于0.15,85%(17/20)的数据小于3。所以,对任何数x来说,其累计分段就是所有比x小的数在数据集中所占的比例。下图就是controlB数据集的累计分段图
可以看到大多数数据都几种在图片左侧(数据值比较小),这就是非正态分布的标志。为了更好的观测数据在x轴上的分布,可以对x轴的坐标进行非等分的划分。在数据都为正的时候有一个很好的方法就是对x轴进行log转换。下图就是上图做log转换以后的图:
//其实看不太懂这个log转换
最终描述出controlB与treatmentB之间的图像:
D=0.45(0.65-0.25)。
那么在R中使用ks.test()函数,得到的结果:
Two-sample Kolmogorov-Smirnov testdata: controlB and treatmentB D = 0.45, p-value = 0.03354 alternative hypothesis: two-sided
这里p<0.05,说明原假设是两个是同一个分布,这里应该说明了两者就是同一分布,我又做了个实验。
> x<-rnorm(30) > y<-rnorm(30) > ks.test(x,y) 结果: Two-sample Kolmogorov-Smirnov testdata: x and y D = 0.13333, p-value = 0.9578 alternative hypothesis: two-sided
//居然P值这么大,那么就否定原假设(二者是同样的分布),二者不是同样的分布。《-我理解错了这里!
应该是p值很大,不能否认原假设,证明二者来自同一分布。
//这就很尴尬了,明明就是正态分布啊。又做了一个检测:
> u1<-runif(30) > u2<-runif(30) > ks.test(u1,u2) 结果:Two-sample Kolmogorov-Smirnov testdata: u1 and u2 D = 0.26667, p-value = 0.2391 alternative hypothesis: two-sided
//这也很尴尬了,这两个明明就是来自于同一分布,为什么显示P值还这么大。《-我理解错了这里!
说明p值很大,不能否认原假设,证明二者来自同一分布。
对于不属于同一分布的:
> ks.test(x,u1)Two-sample Kolmogorov-Smirnov testdata: x and u1 D = 0.46667, p-value = 0.00253 alternative hypothesis: two-sided
p值倒是挺小。 那么也就是说否认了原假设H0(二者来自同一分布),二者不来自同一分布。
下面还有讲到百分比图,那个我认为作用不大,就不放在这里了。
转载于:https://www.cnblogs.com/BlueBlueSea/p/10034494.html
KS检验学习[转载]相关推荐
- spss分析方法-单样本K-S检验(转载)
参数检验的前提是关于总体分布的假设成立,但很多情况下我们无法获得有关总体分布的相关信息. 非参数检验正是一类基于这种考虑,在总体方差未知或知道甚少的情况下,利用样本数据对总体分布形态等进行推断的方法. ...
- ks检验正态分布结果_【学习】AD, RJ和KS哪种正态性检验是最好的?
MinitabUG.Minitab微课堂原创文章 转载请联系客服微信:13524041180 Minitab中的正态性检验提供了三种方法:Anderson-Darling(AD),Ryan-Joine ...
- 使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布(转载+自己笔记)
K-S检验全称: Kolmogorov-Smirnov检验 下面内容来自[1] 假设检验的基本思想: 若对总体的某个假设是真实的,那么不利于或者不能支持这一假设的事件A在一次试验中是几乎不可能发生的. ...
- ks检验与s-w 检验_「学习」AD, RJ和KS-哪种正态性检验是最好的?
Minitab中的正态性检验提供了三种方法:Anderson-Darling(AD),Ryan-Joiner(RJ)和Kolmogorov-Smirnov(KS).AD检验是默认的,那它在检验非正态的 ...
- KS检验、qq图、Scalability可扩展性
1.KS检验 Kolmogorov-Smirnov test(KS检验)是一种重要的非参数检验方法,应用非常广泛,比如之前介绍的数据库CMap,其核心算法就是借鉴KS检验. KS检验是一种统计检验方法 ...
- SPSS实现单样本K-S检验
总目录:SPSS学习整理 SPSS实现单样本K-S检验 目的 适用情景 数据处理 SPSS操作 SPSS输出结果分析 知识点 目的 检验单样本是否符合正态分布/泊松分布/均匀分布/指数分布 适用情景 ...
- matlab的k s检验,K-S 检验(Kolmogorov–Smirnov kurtosis-skewness)
本文与普通的讲述 K-S 检验的文章略有不同,分为两部分: (1). 针对大部分分布的 Kolmogorov–Smirnov 检验(真正的K-S检验) (2). 仅适用于高斯分布的基于分布曲线形状的 ...
- R假设检验之k-s检验(KOLMOGOROV AND SMIRNOV TEST)
R假设检验之k-s检验(KOLMOGOROV AND SMIRNOV TEST) 目录 R假设检验之k-s检验(KOLMOGOROV AND SMIRNOV TEST) 假设检验 假设检验的应用
- ks检验正态分布结果_统计学里的数据正态性检验
在前面的文章中讲过,很多模型的假设条件都是数据是服从正态分布的.这篇文章主要讲讲如何判断数据是否符合正态分布.主要分为两种方法:描述统计方法和统计检验方法. 01.描述统计方法 描述统计就是用描述的数 ...
最新文章
- 常用的php开发工具有哪些?
- 2021全国大学生物联网大赛记
- Unity之计时器功能(转)
- nginx生成自定义证书
- Linux应用--日志定时清理
- BZOJ2087 : [Poi2010]Sheep
- 3+1保障:高可用系统稳定性是如何炼成的?
- Java集合:Collection接口
- java下载好怎么验证_Java JDK下载、安装和验证
- 【Spring AOP】AOP 底层实现原理 —— 动态代理类的创建(JDK、CGlib)、工厂如何加工原始对象
- Spring的XML解析原理,java接口流程图
- Oracle--plsql之控制结构
- 一份优秀的大数据开发简历是怎么样的?
- 泰坦尼克号数据下载链接
- 第十五课.K均值算法
- 一年左右工作经验前端面试分享(vue 方向)
- 单片机定时器(65536-x)/256
- windows7 VCP安装失败的解决办法
- 清华大学周伯文老师课题组招聘助理教授/博士后/工程师
- SPH算法简介(一): 数学基础