错误的参数个数或无效的参数属性值_数据处理-利用 python进行异常值分析

异常值分析是检验数据是否有录入错误数据和不合常理的数据。不加剔除的把异常值代入数据分析过程中，会对结果产生不良影响，而对异常值的分析其原因，常常成为为发现问题的而改进决策的契机。

异常值是指样本中的个别值，其数值明显偏离其余的数据。异常值通常也称为离群点，所以异常值分析也叫做离群点分析。

异常值分析通常有以下几种：

(1)简单统计量分析

最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。

(2)3σ原则

如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为，属于极个别的小概率事件

(3)箱型图分析

箱型图提供了识别异常值的一个标准：异常值通常被定义为小于或大于的值。Q1 -1.5IQR称为下四分位数，表示全部观察值中有四分之一的数据取值比它下；Q2 -1.5IQR称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数和下四分位数之差，期间包含了全部观察值的一般。

如果数据记录和属性比较多，使用人工分辨的方法就不切实际，所以这里需要编写程序来检测出含有缺失值的记录和属性以及缺失率个数和缺失率等

以下就是箱型图利用 python进行生成分析一下：

#-*- coding: utf-8 -*-

import pandas as pd

catering_sale = 'path' #餐饮数据

data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据，指定“日期”列为索引列

import matplotlib.pyplot as plt #导入图像库

plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签

plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure() #建立图像

p = data.boxplot(return_type='dict') #画箱线图，直接使用DataFrame的方法

x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签

y = p['fliers'][0].get_ydata()

y.sort() #从小到大排序，该方法直接改变原对象

#用annotate添加注释

#其中有些相近的点，注解会出现重叠，难以看清，需要一些技巧来控制。

#以下参数都是经过调试的，需要具体问题具体调试。

for i in range(len(x)):

if i>0:

plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))

else:

plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show() #展示箱线图

另外提供的参数还有平均值、标准差、最小值、最大值等。

错误的参数个数或无效的参数属性值_数据处理-利用 python进行异常值分析相关推荐

嘉立创EDA专业版--[错误] : 导线 $1N7898 连接了“全局网络名”属性值为 GND 的网络标识
错误提示:导线名称和网络标识的"全局网络名"的值应该一致立创EDA版本说明问题描述问题分析处理方案立创EDA版本说明本文使用嘉立创EDA专业版信息: 客户端版本 Win ...
java 重载 : 1.参数个数不同，2.参数类型不同
参数个数相同时,参数类型需要不同,即使是不同变量名也不行.和是和变量的个数或者是变量的类型有关系如果相同的话是覆盖会报错重载(overloading) 是在一个类里面,方法名字相同,而参数不同 ...
神经网络参数个数计算,神经网络的参数设置
如何通过人工神经网络实现图像识别 . 人工神经网络(ArtificialNeuralNetworks)(简称ANN)系统从20世纪40年代末诞生至今仅短短半个多世纪,但由于他具有信息的分布存储.并行处 ...
oracle存过传参,oracle 存储过程传参数，如果是希望传参值也被利用起来，存储过程里面虽有IN，但OUT必不可少。...
int point = 0; string MYSTATUS = ""; int kkk = 0; //存储过程的参数声明 OracleParameter[] parameters ...
【数据库】sqlite中的限制：数据库大小、表数、列数、行数、参数个数、连接数等
目录一.参考网址二.详解 1.查看.设置sqlite限制命令.limit 2.SQLite中的限制汇总 1)字符串或BLOB的最大长度 2)最大列数 3)SQL语句的最大长度 4)联接中的最大表数 ...
没有与参数列表匹配的重载函数 getline 实例_面试题：方法重载的底层原理？...
前语:微信改版后,大量读者还没养成点赞的习惯,如写得好,望大家阅读后在右下边"好看"处点个赞,以示鼓励!长期坚持原创真的很不容易,多次想放弃,坚持是一种信仰,专注是一种态度. 关于 ...
python命令行参数空格_Python 命令行参数
Python 命令行参数 Python 提供了 getopt 模块来获取命令行参数. $ python test.py arg1 arg2 arg3 Python 中也可以使用 sys 的 sys.a ...
java 可变参数列表_java的可变参数列表
关于java的可变参数列表 1.简介: java的可变参数列表是的从jdk1.5开始新增的,其英文名词varargs 2.作用可以传未知个数的参数,无需手动将参数列表装入数组 3.语法 //可变参数 ...
java 隐藏地址栏参数_要想在浏览器的地址栏上的URL中隐藏传输的参数,需要将form标签的method属性值设置为( )。 (5.0分)_学小易找答案...
[填空题]若在JSP页面的不同作用域中有相同名称的对象,且EL表达式中又省略了相应的作用域类型名,则系统将会按照 . . . 的先后顺序查找相应对象. (20.0分) [简答题]AJAX异步请求过程中 ...
五、深入理解Mybatis中的参数parameterType (传递一个简单参数，传递多个参数：@Param、使用自定义对象、按位置、使用Map)
1.1 parameterType parameterType: 接口中方法参数的类型, 类型的完全限定名或别名.这个属性是可选的,因为 MyBatis可以推断出具体传入语句的参数,默认值为未设置(u ...

错误的参数个数或无效的参数属性值_数据处理-利用 python进行异常值分析

错误的参数个数或无效的参数属性值_数据处理-利用 python进行异常值分析相关推荐

最新文章

热门文章