异常值分析：3σ法则/箱型图法

文章目录

1.3σ原则(分析所得的异常值较少)
2.箱型图分析法(一般采用此方法分析异常值)

异常值是指样本中的个别值，其数值明显偏离其余的观测值。
异常值也称离群点，异常值的分析也称为离群点的分析

异常值分析 → 3σ原则 / 箱型图分析
异常值处理方法 → 删除 / 修正填补（参考缺失值的处理方法）

1.3σ原则(分析所得的异常值较少)

3σ原则：如果数据服从正态分布，异常值被定义为一组测定值中与平均值的偏差超过3倍的值 → p(|x - μ| > 3σ) ≤ 0.003

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
% matplotlib inlinedata = pd.Series(np.random.randn(10000)*100)#正态性检验
u = data.mean()
std = data.std()
print(stats.kstest(data,'norm',(u,std)))#画密度曲线，标出3σ范围
fig = plt.figure(figsize = (15,9))
ax1 = fig.add_subplot(2,1,1)
data.plot(kind = 'kde',color = 'k',ylim = [0,0.005])
plt.axvline(u-3*std,color = 'r',linestyle = '--')
plt.axvline(u+3*std,color = 'r',linestyle = '--')#画散点图，标注误差外的点
error = data[data-u > 3*std]
data_c = data[data-u < 3*std]
print('异常值共{}条'.format(len(error)))
ax2 = fig.add_subplot(2,1,2)
plt.scatter(data_c.index,data_c.values,color = 'k',alpha = 0.3)
plt.scatter(error.index,error.values,color = 'r',alpha = 0.8)

KstestResult(statistic=0.005487407035239866, pvalue=0.9240759130752987)
异常值共14条

2.箱型图分析法(一般采用此方法分析异常值)


#绘制箱型图（以内限为界）
fig = plt.figure(figsize = (15,9))
ax1 = fig.add_subplot(2,1,1)
color = dict(boxes='DarkGreen', whiskers='DarkOrange', medians='DarkBlue', caps='Gray')
data.plot.box(vert=False, grid = True,color = color,ax = ax1,label = '样本数据')#绘制散点图
st = data.describe()
q1 = st['25%']
q3 = st['75%']
iqr = q3-q1
mi = q1 - 1.5*iqr
ma = q3 + 1.5*iqr
error = data[(data<mi)|(data>ma)]
data_c1 = data[(data>=mi)&(data<=ma)]
ax2 = fig.add_subplot(2,1,2)
plt.scatter(data_c1.index,data_c1.values,color = 'k',alpha = 0.3)
plt.scatter(error.index,error.values,color = 'r',alpha = 0.8)

异常值分析：3σ法则/箱型图法相关推荐

MATLAB箱型图异常值/离群值处理（箱型图红色加号）
MATLAB箱型图异常值/离群值处理(箱型图红色加号) 博主针对污染物小时浓度值绘制了年变化的箱型图,出现了大片的较高"异常值",其实是一些高污染事件,并不属于"异常值& ...
Python 详解箱型图法剔除异常值
文章目录一.引言二.Python 实现一.引言箱型图提供了识别异常值的一个标准:异常值通常被定义为小于 Q L − 1.5 I Q R Q_{L}-1.5IQR{ } Q
matplotlib之箱型图
文章目录箱型图: boxplot函数示例说明: 扩展应用多组数据水平显示颜色填充提琴图和箱型图总结: 箱型图: 箱形图(Box plot),又称为盒须图.盒式图.盒状图或箱线图,是一种用 ...
数据分析可视化常用图介绍以及相关代码实现（箱型图、Q-Q图、Kde图、线性回归图、热力图）
文章目录前言一.箱型图是什么? 1-1.箱型图介绍 1-2.箱型图的作用 1-3.实战二.Q-Q图是什么? 2-1.Q-Q图(分位数-分位数图:quantile-quantile plot)介绍 ...
ML：通过数据预处理(分布图/箱型图/模型寻找异常值/热图/散点图/回归关系/修正分布正态化/QQ分位图/构造交叉特征/平均数编码)利用十种算法模型调优实现工业蒸汽量回归预测(交叉训练/模型融合)之详
ML之LightGBM:通过数据预处理(分布图/箱型图/模型寻找异常值/热图/散点图/回归关系/修正分布正态化/QQ分位图/构造交叉特征/平均数编码)利用十种算法模型调优实现工业蒸汽量回归预测(交叉训 ...
数据分析基础-箱型图分析
异常值分析异常值分析高大上的名字叫离群点分析,其目的就是从一个数据集中找出这个数据集不符合正常事务范畴的数据.有三种方式,简单的观测方法这个靠经验,另外两种分别是:基于正态分布的方式 3σ\sigm ...
python处理异常值--箱型图查找异常值并替换
箱型图查找异常值并替换定义为值大于上四分位或者小于下四分位的值位异常值,若是异常值,则用mean替换,项目中遇到的,但是这个可能或将0值也替换了,但是0值不是异常值,故而舍弃这种方法. import ...
跟着Cell Research学单细胞分析：箱型图、小提琴图、误差棒，总有一款适合你
联系转录组特征和表型特征是非常常见的操作,这次的视频,我以文献中一个小图为例,讲解了在均值比较中常见的箱型图.小提琴图,以及几种变形.视频已经上传B站,这是链接:跟着Cell Research学单细胞 ...
Matplotlib - 箱线图、箱型图 boxplot () 所有用法详解
目录基本用法水平箱线图,显示均值改变箱线图的形状(箱体的形状notch.异常值的形状sym) 改变箱线图的颜色(箱体边框的颜色.箱体填充色) 相较散点图和折线图,柱状图.饼图.箱线图(箱型图)是 ...

异常值分析：3σ法则/箱型图法

文章目录

1.3σ原则(分析所得的异常值较少)

2.箱型图分析法(一般采用此方法分析异常值)

异常值分析：3σ法则/箱型图法相关推荐

最新文章

热门文章