【数据异常校验】拉依达准则( PauTa Criterion 或 3σ准则) 处理异常数据

拉依达准则是指先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。

这种判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提（样本>10），当测量次数少的情形用准则剔除粗大误差是不够可靠的。

3σ法则为：

数值分布在（μ-σ,μ+σ)中的概率为0.6827
数值分布在（μ-2σ,μ+2σ)中的概率为0.9545
数值分布在（μ-3σ,μ+3σ)中的概率为0.9973

可以认为，Y 的取值几乎全部集中在（μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3%.

正态分布：

深蓝色区域是距平均值小于一个标准差之内的数值范围。在正态分布中，此范围所占比率为全部数值之68%，根据正态分布，两个标准差之内的比率合起来为95%；三个标准差之内的比率合起来为99%。

算法实现：

首先需要保证需要检验的数据列大致上服从正态分布；
然后计算需要检验的数据列的标准差；
最后比较数据列的每个值，是否大于标准差的3倍；
大于3倍标准差的删除该样本。

【数据异常校验】拉依达准则( PauTa Criterion 或 3σ准则) 处理异常数据相关推荐

世界人口钟实时数据_全球人口将达80亿 2019年世界人口总数统计数据
近日,德国全球人口基金会发布统计数据:至2019年底,全球人口总数将达77.5亿,至2023年全球人口将达80亿.联合国人口预期报告估算称,2050年世界一半人口将聚集在印度及非洲等国,2027年印度 ...
后门准则(Backdoor Criterion)与前门准则(Frontdoor Criterion)
1.后门准则定义:给定有向无环图(DAG)中一对有序变量(X,Y),如果变量集合Z(可以为空)满足: Z中没有X的后代节点. Z阻断了X与Y之间的每条含有指向X的路径. 满足以上两点的Z,就称Z满 ...
matlab实现拉依达准则,拉依达准则matalb程序
页数:2 中图分类:O212 正文语种:CHI 关键词:数据分析;甑别值;拉依达准则;肖维勒准则;格拉布斯准则摘要:对测量数据进行分析,是为了及时发现错误,防止错误,数据...... 原始信号中值 ...
C#使用拉依达准则（3σ准则）剔除异常数据（.Net剔除一组数据中的奇异值）
1.问题的提出: 电池生产中,遇到一批电池的测量结果数据: 电压值电池个数电压值电池个数电压值电池个数电压值电池个数 0.056 1 4.09 1 4.146 17 4.17 ...
拉依达准则剔除数据异常
/// <summary> /// 拉依达准则剔除数据异常 /// </summary> public class DataExceptionHelpe ...
拉依达准则去除异常数据
1.Concept 拉依达准侧(Pau'ta Criteron)是先假设一组数据中只含有随机误差,首先按照一定准侧计算标准偏差,按照一定概率确定一定区间,认为不在这个区间的为异常值. 使用数据类型:数 ...
Python：使用拉依达准则（3σ准则）剔除excel表中异常数据
1.简介拉依达准则(Pau'ta Criteron)是先假设一组数据中只含有随机误差,首先按照一定准则计算标准偏差,按照一定概率确定一定区间,认为不在这个区间的为异常值.当数据呈正太分布或者近似正太 ...
matlab 基于拉依达检验法（3σ准则）实现多类别多参数的批量检验异常值与异常样本
拉依达检验法(pauta) 拉依达准则_百度百科 (baidu.com) 拉依达公式: S为样本标准差,3s水平相当于显著水平0.01,2s相当于显著水平0.05 Xp为当前检验的样本参数值,与其相减 ...
数据预处理拉依达准则 matlab,数学建模数据预处理.doc
数据预处理摘要目前,大量研究工作都集中于数据挖掘算法的探讨,而忽略了对数据预处理的研究.事实上,数据预处理对数据挖掘十分重要,而且必不可少.要使数据挖掘出有效的知识,必须为其提供干净,准确,简洁的 ...

【数据异常校验】拉依达准则( PauTa Criterion 或 3σ准则) 处理异常数据

3σ法则为：

正态分布：

算法实现：

【数据异常校验】拉依达准则( PauTa Criterion 或 3σ准则) 处理异常数据相关推荐

最新文章

热门文章