python异常值检测的方法_Python实现非正太分布的异常值检测方式
工作中,我们经常会遇到数据异常,比如说浏览量突增猛降,交易量突增猛降,但是这些数据又不是符合正太分布的,如果用几倍西格玛就不合适,那么我们如何来判断这些变化是否在合理的范围呢?
小白查阅一些资料后,发现可以用箱形图,具体描述如下:
箱形图(英文:Box plot),又称为盒须图、盒式图、盒状图或箱线图,是一种用作显示一组数据分散情况资料的统计图。因型状如箱子而得名。箱形图最大的优点就是不受异常值的影响,能够准确稳定地描绘出数据的离散分布情况,同时也利于数据的清洗。
异常值可以设置为上四分位数的1.25倍,也可以设置为1.5倍,具体的要通过实验可得。
1、下四分位数Q1
(1)确定四分位数的位置。Qi所在位置=i(n+1)/4,其中i=1,2,3。n表示序列中包含的项数。
(2)根据位置,计算相应的四分位数。
例中:Q1所在的位置=(14+1)/4=3.75,Q1=0.25×第三项+0.75×第四项=0.25×17+0.75×19=18.5;
2、中位数(第二个四分位数)Q2中位数,即一组数由小到大排列处于中间位置的数。若序列数为偶数个,该组的中位数为中间两个数的平均数。
例中:Q2所在的位置=2(14+1)/4=7.5,Q2=0.5×第七项+0.5×第八项=0.5×25+0.5×28=26.5
3、上四分位数Q3计算方法同下四分位数。
例中:Q3所在的位置=3(14+1)/4=11.25,Q3=0.75×第十一项+0.25×第十二项=0.75×34+0.25×35=34.25。
4、上限上限是非异常范围内的最大值。
首先要知道什么是四分位距如何计算的?四分位距IQR=Q3-Q1,那么上限=Q3+1.5IQR5、下限下限是非异常范围内的最小值。下限=Q1-1.5IQR
我这里是使用上四分位数的1.5倍作为上限,下四分位数的1.5倍作为下限。
这里是拿历史一个月每天的产量和间夜量作为参考,统计出历史的箱线图的各个指标,然后将要比较的数据,来进行循环判断,若超过上限/下限那么抛出1和0.
# -*- coding: utf-8 -*-
"""
Created on Tue Apr 30 10:52:37 2019
@author: chen_lib
"""
import pandas as pd
catering_sale = 'D:/Users/chen_lib/Desktop/ceshi.csv' #读取历史数据
datax = pd.read_csv(catering_sale) #读取数据
#取出不是昨天的数据
data = datax.loc[datax['orderdate'] != datetime][:]
'''
import time
## yyyy-mm-dd格式
print (time.strftime("%Y-%m-%d"))
'''
#时间减一天
import datetime
datetime = (datetime.datetime.now()+datetime.timedelta(days=-1)).strftime("%Y-%m-%d")
#保存基本统计量,将常见的统计信息保存为数据框
statistics = data.describe()
#添加行标签 计算出每个指标的上线下线和四分位间距
statistics.loc['IQR'] = statistics.loc['75%']-statistics.loc['25%'] #四分位数间距
statistics.loc['UP'] = statistics.loc['75%'] + 1.5*statistics.loc['IQR'] #上限
statistics.loc['DAWN'] = statistics.loc['25%'] - 1.5*statistics.loc['IQR']#下限
#取出data的列名
columns = data.columns.values.tolist()
'''取出要比较的数值,放在统计信息表'''
a = data.loc[data['orderdate'] == datetime][columns[1]]#取出第一列
b = data.loc[data['orderdate'] == datetime][columns[2]]#取出第二列
statistics.loc['res'] = [a[1],b[1]]#取出需要比较的当天的数据 放入统计信息中
'''循环取出结果是否满足要求'''
ret = []
for i in range(2):
res = statistics.loc['res'][i]
max = statistics.loc['UP'][columns[i+1]]#最大值
min = statistics.loc['DAWN'][columns[i+1]]#最小值
'''
#重建三个值的索引,以便比较大小
res.index = ['ordernum']
max.index = max['ordernum']
min.index = min['ordernum']
#判断异常值,若大于最大值或者小于最小值则抛出结果为1
'''
result1 = res>max
result2 = res
if result1 =='False' or result2 == 'False':
ret.append([columns[i+1],1])
else:
ret.append([columns[i+1],0])
df = pd.DataFrame(ret)
#将文件写入excel表中
df.to_excel("d:/Users/chen_lib/Desktop/ceshi.xlsx",sheet_name="total",index=False,header=False)
以上这篇Python实现非正太分布的异常值检测方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
python异常值检测的方法_Python实现非正太分布的异常值检测方式相关推荐
- python文件操作的方法_python文件操作的方法介绍
文件操作 1.open()函数 open()函数主要用于文件处理,一般分为下面3个过程:1.打开文件 2.操作文件 3.关闭文件 常见的格式示例:f = open('note.txt','r') f. ...
- python计算图形面积的方法_python计算不规则图形面积算法
https://www.xin3721.com/eschool/pythonxin3721/ 介绍:大三上做一个医学影像识别的项目,医生在原图上用红笔标记病灶点,通过记录红色的坐标位置可以得到病灶点的 ...
- python访问数据库统一方法_Python 3.x 连接数据库(pymysql 方式)
参考:http://www.cnblogs.com/woider/p/5926744.html ==================pymysql=================== 1.PyMyS ...
- python库的安装方法_Python库的安装方法
Python库的安装方法 Python的解释器CPython是开源的,我们可以下载查看其源代码,同时,Python语言的各种库也都是开源的.利用Python语言编程,可用的库有很多,在Python官方 ...
- python相对路径import 方法_Python 从相对路径下import的方法
例如我们有如下结构的文件: pkg/ __init__.py libs/ some_lib.py __init__.py components/ code.py __init__.py 如果我们想要在 ...
- python打乱列表的方法_python打乱列表
广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 随机打乱列表中的元素自己写函数用于随机打乱列表中的元素方案一:交换法随机选取原列 ...
- python描述符魔术方法_Python类型转换的魔术方法详解
本文讨论python中将某个复杂对象转换为简单对象或数据类型的常用魔术放啊,这些在编程中是十分有用的. 1.__str__方法. 在讲解本方法前我们先打开一个jupyter notebook,随意创建 ...
- python中的请求方法_Python爬虫HTPP请求方法有哪些
HTTP请求方法 GET:请求指定的页面信息,并返回实体主体. HEAD:类似于get请求,只不过返回的响应中没有具体的内容,用于获取报头 POST:向指定资源提交数据进行处理请求(例如提交表单或者上 ...
- python创建虚拟环境的方法_Python创建virtualenv(虚拟环境)方法
本文目录 一 前言 二 通过virtualenv软件创建 三 在pycharm下创建 新建项目 四 已有项目使用和创建虚拟环境 五 参数说明 一 前言 需求: --公司之有一台服务器 -目前运行这一个 ...
最新文章
- iOS 四种保存数据的方式!
- 初学Java Web开发,请远离各种框架,从Servlet开发
- JavaScript禁用鼠标右键菜单
- 如何用业余时间成为抢手的数据人才?
- 利用ssh-copy-id无需密码登录远程服务器
- 把ueditor的 p 标签 改成a标签_每周一签·35 | 云标签使用常见问题(QA)
- leetcode48:矩阵旋转
- Castle 开发系列文章
- 视频|光学3D测量技术原理及应用
- 区块链 智能合约中获取不了时间戳 随机数怎么办
- I210网卡LINUX的mac,intel(R)I211网卡刷I210简易教程
- cocos2dx lua代码和图片资源加密和解密
- project sms / BSS / OSS / ESS / dianxin / youbian / iccid / puk / pin
- 2021年高处安装、维护、拆除考试报名及高处安装、维护、拆除复审模拟考试
- linux 效果器软件下载,盘点丨15款免费又好用的音乐制作软件
- %02x与%2x 之间的区别
- 领航云计算发展风向标,亚马逊云科技的这些硬核布局值得关注
- 苹果摊上事了,iPhone 13新机大翻车,坑害无数人
- 174. 地下城游戏;剑指 Offer 40. 最小的k个数;378. 有序矩阵中第K小的元素;703. 数据流中的第K大元素
- ASP.NET与.NET Framework和C#的关系
热门文章
- Microsoft Visual Studio International Pack
- poj 2240 Arbitrage (floyd 变形)
- shell 常用命令
- 转载:缓存 Cache
- ubuntu12.04默认gcc4.6.3,如何升级到gcc4.8
- 测验3: 基本数据类型 (第3周)
- 区块链BaaS云服务(38)点存DCpool分布式存储
- 微众WeCross 跨链平台(12)合约总结
- (chap8 确认访问用户身份的认证) DIGES认证(摘要认证)
- [小技巧]PicGo、Gitee和Typora构建在线图床