拉依达准则python实现

根据拉依达准则（3σ准则）去除异常值

3σ准则：设对被测量变量进行等精度测量，得到x1，x2，……，xn，算出其算术平均值x及剩余误差vi=xi-x（i=1,2,…,n），并按贝塞尔公式算出标准误差σ，若某个测量值xb的剩余误差vb（1<=b<=n），满足|vb|=|xb-x|>3σ，则认为xb是含有粗大误差值的坏值，应予剔除。贝塞尔公式如下：

代码如下：

import math
import matplotlib.pyplot as plt
# import numpy as np
import pandas as pd# generate random num tested
src_data = pd.read_excel('待处理数据.xlsx',sheet_name=0,header=0) # 第一张表格，第一行为列名
# pd.set_option('display.max_rows', src_data.shape[0] + 1)mean = src_data.mean()
std = src_data.std()drop_indices = []
for index, row in src_data.iterrows():# print(index, row['age'], row['gender'])tmp = (row - mean).abs() > 3 * stdif tmp.any():drop_indices.append(index)print(drop_indices)dst_data = src_data.drop(drop_indices)
# print(src_data)
writer = pd.ExcelWriter('处理后的结果.xlsx')
dst_data.to_excel(writer, 'page_1')
writer.save()

拉依达准则python实现相关推荐

拉依达准则的python代码
部分代码 import pandas as pd src_data = pd.read_excel('XXX.xls',sheet_name=0,header=0) mean = src_data.m ...
Python：使用拉依达准则（3σ准则）剔除excel表中异常数据
1.简介拉依达准则(Pau'ta Criteron)是先假设一组数据中只含有随机误差,首先按照一定准则计算标准偏差,按照一定概率确定一定区间,认为不在这个区间的为异常值.当数据呈正太分布或者近似正太 ...
matlab实现拉依达准则,拉依达准则matalb程序
页数:2 中图分类:O212 正文语种:CHI 关键词:数据分析;甑别值;拉依达准则;肖维勒准则;格拉布斯准则摘要:对测量数据进行分析,是为了及时发现错误,防止错误,数据...... 原始信号中值 ...
【数据异常校验】拉依达准则( PauTa Criterion 或 3σ准则) 处理异常数据
拉依达准则是指先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除. 这种判别处理 ...
C#使用拉依达准则（3σ准则）剔除异常数据（.Net剔除一组数据中的奇异值）
1.问题的提出: 电池生产中,遇到一批电池的测量结果数据: 电压值电池个数电压值电池个数电压值电池个数电压值电池个数 0.056 1 4.09 1 4.146 17 4.17 ...
进阶版拉依达准则（3sigm准则）的提出与应用
修正版拉依达准则的提出与应用前言一:基于实验说明异常点对模型结果的影响二:异常点的判定三:修正版拉依达准则(3σ准则) 四:理论验证五:代码实现六:总结前言在前两次文章中,我们都提到异 ...
java中算术异常值_依据拉依达准则来剔除异常值程序
java源码在下,在main主方法里的data数组里输入要测量的数据(个数长度>=10个),会判断里面有误异常值,如果有则警告 /** * @author 廖启安 * @data 2018年4月 ...
拉依达准则剔除数据异常
/// <summary> /// 拉依达准则剔除数据异常 /// </summary> public class DataExceptionHelpe ...
数据预处理拉依达准则 matlab,数学建模数据预处理.doc
数据预处理摘要目前,大量研究工作都集中于数据挖掘算法的探讨,而忽略了对数据预处理的研究.事实上,数据预处理对数据挖掘十分重要,而且必不可少.要使数据挖掘出有效的知识,必须为其提供干净,准确,简洁的 ...

拉依达准则python实现

根据拉依达准则（3σ准则）去除异常值

拉依达准则python实现相关推荐

最新文章

热门文章