python异常值处理箱型图_如何利用python处理异常值？

在数据清洗阶段，我们需要找到异常值，并对其进行相应的一些处理。在python中，异常值的处理常常需要结合一些数据模型或概率分布来解决。下面做一个简单的介绍。

1.打开pycharm开发工具，在运行窗口输入命令：

import pandas as pd #导入pandas库

2.输入数据集。

data=pd.DataFrame({'name':['A','B','C','D','E','F','G'],'cost':[2,127,4,6,3,13,14],'sales':[13,18,32,54,23,33,44]})

print(data)

3.通过z-score方法判断异常值，即对原始值X进行正态标准化：(X-mean(X))/std(X)，根据计算的结果判断样本值与中心的偏离程度。

df1=data.copy()#为了不影响原始数据集，复制数据集data

print(df1)

4.按列计算均值和标准差。

df1['cost']=(df1['cost']-df1['cost'].mean())/df1['cost'].std()#标准化cost_z列

5.对sales列进行标准化。

df1['sales']=(df1['sales']-df1['sales'].mean())/df1['sales'].std()#标准化cost_z列

df1['sales']

6.查看标准化后的数据集。

print(df1)

标准化后的绝对值越大，数据越有可能异常，是否异常根据设定的阈值判断。

7.假设cost列阈值为2，通过下面的方法找到异常值。

df1['cost'].abs()>2#判断数据是否异常

data[df1['cost'].abs()>2]#取出原数据集中的异常点

python异常值处理箱型图_如何利用python处理异常值？相关推荐

Python 详解箱型图法剔除异常值
文章目录一.引言二.Python 实现一.引言箱型图提供了识别异常值的一个标准:异常值通常被定义为小于 Q L − 1.5 I Q R Q_{L}-1.5IQR{ } Q
python多个箱线图_箱线图Python
1) 箱线图,又称箱形图(boxplot)或盒式图,不同于一般的折线图.柱状图或饼图等传统图表,只是数据大小.占比.趋势等等的呈现,其包含一些统计学的均值.分位数.极值等等统计量,因此,该图信息量较大 ...
python slice函数画高维图_没想到Python还能画六维图
我们的大脑通常最多能感知三维空间,超过三维就很难想象了.尽管是三维,理解起来也很费劲,所以大多数情况下都使用二维平面. 来自维基百科不过,我们仍然可以绘制出多维空间,今天就来用 Python 的 p ...
python画车辆轨迹图_如何利用 Python 绘制酷炫的车辆轨迹 — 速度时空图？三维数据用二维图像呈现...
说明:本文系交通攻城狮原创文章,如需转载请私信联系,侵权必究. 2020,第 30 期,编程笔记建议直接阅读精编版:如何利用 Python 绘制酷炫的车辆轨迹 - 速度时空图?三维数据用二维图像呈 ...
python制作雷达图_如何利用Python matplotlib绘制雷达图
本篇文章介绍使用matplotlib绘制雷达图. 雷达图也被称为网络图,蜘蛛图,星图,蜘蛛网图,是一个不规则的多边形.雷达图可以形象地展示相同事物的多维指标,雷达图几乎随处可见,应用场景非常多. 一. ...
如何用python画出一般函数图_如何使用python的matplotlib画一元一次函数图像
python是一个很有趣的语言,可以在命令行窗口运行.python中有很多功能强大的模块,这篇经验告诉你,如何利用python的matplotlib模块,绘制一元一次函数的图像. 工具/原料 wind ...
python如何制作一个工程软件_如何利用python制作一个解压缩软件-Go语言中文社区...
如何利用python制作一个解压缩软件 python实现解压缩的重要模块就是--zipfile,其次是os 安装zipfile模块首先得安装zipfile模块,打开cmd输入一下命令即可安装 pip ...
python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...
python如何实现微信自动聊天_如何利用python实现微信智能聊天功能，具体该怎么做？...
这个实现不难,需要先安装一下itchat库,之后注册一下图灵机器人,最后就可以编程实现微信智能聊天功能了,下面我简单介绍一下实现过程,实验环境win10+python3.6+pycharm5.0,主要 ...

python异常值处理箱型图_如何利用python处理异常值？

python异常值处理箱型图_如何利用python处理异常值？相关推荐

最新文章

热门文章