Python：使用拉依达准则（3σ准则）剔除excel表中异常数据

1.简介
拉依达准则(Pau’ta Criteron)是先假设一组数据中只含有随机误差，首先按照一定准则计算标准偏差，按照一定概率确定一定区间，认为不在这个区间的为异常值。当数据呈正太分布或者近似正太分布时可以使用

2.数据集示例

3.完整处理代码

import numpy as np
import pandas as pd
#设置需读取文件的路径
datapath = "traning处理前.xlsx"
data = pd.read_excel(datapath)
# 记录方差大于3倍的值
#shape[0]记录行数，shape[1]记录列数
sigmayb = [0]*data.shape[0]
for i in range(1,data.shape[1]):print("处理第"+str(i)+"行")# 循环 每一列lie = data.iloc[:, i].to_numpy()#print(lie)mea = np.mean(lie)s = np.std(lie, ddof=1)# 计算每一列 均值 mea 标准差 sprint("均值和标准差分别为："+str(mea)+" "+str(s))#统计大于三倍方差的行for t in range(1,data.shape[0]):if (abs(lie[t]-mea) > 3*s):print(">3sigma"+" "+str(t)+" "+str(i))#将异常值置空data.iloc[t,i]=' '
#将处理后的数据存储到原文件中
data.to_excel(datapath)

4.运行结果

Python：使用拉依达准则（3σ准则）剔除excel表中异常数据相关推荐

Python办公自动化实践1：从多个excel表中提取数据并汇总到一个工作表页中,表格,抽取,sheet
Python办公自动化实践1:从多个excel表中提取数据并汇总到一个工作表页中,表格,抽取,sheet 发表时间:2020-04-26 问题:从当前目录或子目录中查询符合条件的excel表格,并从这 ...
《python 数据可视化编程实战》-从excel表中读取数据
从excel表中读取数据 #!/usr/nim/env python # _*_ coding:utf-8 _*_ import xlrd from numpy import *file1 = 'D: ...
【python】将多个tsv文件合并到excel表中
需求将某个目录下多个特定文本文件,合并到excel表中.并要求将文件名作为sheet名,每个sheet中第一行第一个单元格填写对应文件的所在路径,单元格格式使用Times New Roman. 使用 ...
python如何在exel中编程_如何使用Python以编程方式将行添加到现有Excel表中
尽管有各种各样的pythonexcel操作库和资源,但我无法找到具体的解决方案.在现在,我有一个表格存在的Excel模板文件.我想编写一个Python程序来填充这个表.对于任何现有的Excel库都可 ...
python提取excel表中的数据_用python从excel工作表中提取和操作数据
场景:我正在尝试编写一个python代码,它读取给定文件夹中的所有工作簿,获取每个工作簿的数据并将其放入单个数据帧中(每个工作簿都成为一个数据框,因此我可以单独操作它们).在问题1:对于此代码,即使 ...
【Python自动化办公】实现excel表中的数据批量导入到word指定位置（表格形式和下滑线形式）
文章目录案例1--word模板为表格案例2--word模板中带有下划线形式 python docx基本操作回到需求案例1--word模板为表格目的就是把excel中的数据,填入word模板中 ...
Python对excel操作——分类汇总278张Excel表中的数据
目录一.题目 1.描述 2.展示 ①原图 ②效果图二.分析 1.创建工作簿对象以及工作表对象 2.获取数据 3.数据存储 4.数据处理三.源码一.题目 1.描述从278张表中获取物料编号. ...
JQuery从Excel表中获取数据添加到select下拉框多选的实现
JS代码如下 function importf(excel) {var perids = [];//for循环遍历Excel表中的数据,取出需要的列for(var i = 0 ; i < exc ...
python excel对比_日常使用————python对比两个excel表中的数据
现在有两个相同的数据集的结构,把80年和2000年两个文件夹,文件名是一样的,但文件数据是不一致的80年xls格式存储,2000年使用xlrd读取数据存储在xlsx格式,使用openpyxl读取数据, ...

Python：使用拉依达准则（3σ准则）剔除excel表中异常数据

Python：使用拉依达准则（3σ准则）剔除excel表中异常数据相关推荐

最新文章

热门文章