python异常值处理代码_python —

#异常值是指样本中的个别值，其数值明显偏离其余的观测值。

#异常值也称离群点，异常值的分析也称为离群点的分析

#异常值分析 → 3σ原则 / 箱型图分析

#异常值处理方法 → 删除 / 修正填补

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from scipy import stats

% matplotlib inline

# 异常值分析

# （1）3σ原则：如果数据服从正态分布，异常值被定义为一组测定值中与平均值的偏差超过3倍的值 → p(|x - μ| > 3σ) ≤ 0.003

u = data.mean() # 计算均值

std = data.std() # 计算标准差

stats.kstest(data, 'norm', (u, std))

print('均值为：%.3f，标准差为：%.3f' % (u,std))

fig = plt.figure(figsize = (10,6))

ax1 = fig.add_subplot(2,1,1)

data.plot(kind = 'kde',grid = True,style = '-k',title = '密度曲线')

plt.axvline(3*std,hold=None,color='r',linestyle="--",alpha=0.8)

plt.axvline(-3*std,hold=None,color='r',linestyle="--",alpha=0.8)

# 绘制数据密度曲线

error = data[np.abs(data - u) > 3*std]

data_c = data[np.abs(data - u) <= 3*std]

print('异常值共%i条' % len(error))

# 筛选出异常值error、剔除异常值之后的数据data_c

ax2 = fig.add_subplot(2,1,2)

plt.scatter(data_c.index,data_c,color = 'k',marker='.',alpha = 0.3)

plt.scatter(error.index,error,color = 'r',marker='.',alpha = 0.5)

plt.xlim([-10,10010])

plt.grid()

# 图表表达

image.png

# （2）箱型图分析

fig = plt.figure(figsize = (10,6))

ax1 = fig.add_subplot(2,1,1)

color = dict(boxes='DarkGreen', whiskers='DarkOrange', medians='DarkBlue', caps='Gray')

data.plot.box(vert=False, grid = True,color = color,ax = ax1,label = '样本数据')

# 箱型图看数据分布情况

# 以内限为界

image.png

s = data.describe()

print(s)

print('------')

# 基本统计量

q1 = s['25%']

q3 = s['75%']

iqr = q3 - q1

mi = q1 - 1.5*iqr

ma = q3 + 1.5*iqr

print('分位差为：%.3f，下限为：%.3f，上限为：%.3f' % (iqr,mi,ma))

[output]:

count 10000.000000

mean 0.594413

std 100.300761

min -403.701752

25% -67.282512

50% 0.169174

75% 68.517439

max 371.346823

dtype: float64

------

分位差为：135.800，下限为：-270.982，上限为：272.217

ax2 = fig.add_subplot(2,1,2)

error = data[(data < mi) | (data > ma)]

data_c = data[(data >= mi) & (data <= ma)]

print('异常值共%i条' % len(error))

# 筛选出异常值error、剔除异常值之后的数据data_c

plt.scatter(data_c.index,data_c,color = 'k',marker='.',alpha = 0.3)

plt.scatter(error.index,error,color = 'r',marker='.',alpha = 0.5)

plt.xlim([-10,10010])

plt.grid()

# 图表表达

image.png

python异常值处理代码_python —— 异常值处理相关推荐

python视频处理代码_python如何实现视频转代码视频
本文实例为大家分享了python如何实现视频转代码视频的具体代码,供大家参考,具体内容如下 # -*- coding:utf-8 -*- #coding:utf-8 import argparse i ...
python五边形的代码_python正五边形代码
python正五边形代码第一步先找规律,抽象化问题.首先我们观察到,第一行为[1],我们直接赋给一个变量:初始化数列 p = [1].核心点是这个除去首位两个 [1] 的中间部分:[p[0] + p ...
python阶乘的代码_python编码阶乘
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 需求:阶乘:也是数学里的一种术语: 阶乘指从1乘以2乘以3乘以4一直乘到所要求的 ...
python画花朵代码_python画花朵代码分享
python画花朵代码分享发布时间:2020-05-09 15:36:11 来源:亿速云阅读:295 作者:小新这篇文章主要为大家详细介绍了python画花朵代码,文中示例代码介绍的非常详细,具 ...
python 论坛爬虫代码_python博客文章爬虫实现代码
例子,python网页爬虫实例,实现博客文章抓取的python爬虫. 代码示例: #!/usr/bin/python #-*-coding:utf-8-*- # JCrawler # Author: ...
python异常值均值填充_Python 异常值分析
异常值分析是检验数据是否有录入错误以及含有不合常理的数据.忽视异常值的存在是十分危险的,不加剔除地把异常值包括进数据的计算分析过程中,对结果会产生不良影响:重视异常值的出现,分析其产生的原因,常常成为 ...
python异常值处理实例_Python异常值处理与检测
缺失值处理 pandas判断缺失值一般采用 isnull(),然而生成所有数据的true.false矩阵,对于庞大的数据很难一眼看出缺失数据的位置. 缺失值查看测试数据采用了随机生成. >&g ...
python求最大值代码_python 最大值
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 推荐使用腾讯云 api 配套的 7 种常见的编程语言 sdk,已经封装了签名和请 ...
python灰色模型代码_python 实现灰色预测 GM(1,1)模型灰色系统预测灰色预测公式推导...
来源公式推导连接关键词:灰色预测 python 实现灰色预测 GM(1,1)模型灰色系统预测灰色预测公式推导一.前言本文的目的是用Python和类对灰色预测进行封装二.原理简述 1.灰 ...

python异常值处理代码_python —— 异常值处理

python异常值处理代码_python —— 异常值处理相关推荐

最新文章

热门文章