python异常数据处理_python中如何处理异常值

打开pycharm开发工具，在运行窗口输入命令：import pandas as pd #导入pandas库

输入数据集。data=pd.DataFrame({'name':['A','B','C','D','E','F','G'],'cost':[2,127,4,6,3,13,14],'sales':[13,18,32,54,23,33,44]})

print(data)

通过z-score方法判断异常值，即对原始值X进行正态标准化：(X-mean(X))/std(X)，根据计算的结果判断样本值与中心的偏离程度。df1=data.copy()#为了不影响原始数据集，复制数据集data

print(df1)

按列计算均值和标准差。df1['cost']=(df1['cost']-df1['cost'].mean())/df1['cost'].std()#标准化cost_z列

对sales列进行标准化。df1['sales']=(df1['sales']-df1['sales'].mean())/df1['sales'].std()#标准化cost_z列

df1['sales']

查看标准化后的数据集。print(df1)

标准化后的绝对值越大，数据越有可能异常，是否异常根据设定的阈值判断。

假设cost列阈值为2，通过下面的方法找到异常值。df1['cost'].abs()>2#判断数据是否异常

data[df1['cost'].abs()>2]#取出原数据集中的异常点

python学习网，大量的免费python视频教程，欢迎在线学习！

python异常数据处理_python中如何处理异常值相关推荐

python异常数据处理_Python 异常处理和捕获信息教程
在学习了Python的基础数据类型和它们的相关操作方法之后,要学习的另外一个重点知识是 Python异常. 我们经常在编写程序和调试代码的过程中,有发生一些错误,为了处理和提醒用户这些错误,Pytho ...
python异常数据处理_Python数据处理：异常值处理方法之3σ原则
原标题:Python数据处理:异常值处理方法之3σ原则一.3σ原则定义异常值是指样本中的个别值,其数值明显偏离其余的观测值.异常值也称离群点,异常值的分析也称为离群点的分析. 在进行机器学习过程中 ...
python异常数据处理_Python爬虫提高之异常处理
Python爬虫框架之异常处理任何访问服务器获取数据的请求,都需要做异常处理,当然爬虫更需要我们对各种异常进行处理.只有这样才能提高爬虫的健壮性.如果我们的爬虫足够健壮,那么就能确保程序几个月不停止 ...
python编程数据处理_python数据处理实战(必看篇)
一.运行环境 1.python版本 2.7.13 博客代码均是这个版本 2.系统环境:win7 64位系统二.需求对杂乱文本数据进行处理部分数据截图如下,第一个字段是原字段,后面3个是清洗出的字 ...
python 字符串拼接_Python中拼接字符串的方法 | 萧小寒
摘要在编程语言中,几乎每种语言都有关于字符串的操作方法或函数.原因很简单,字符串做为编程语言中不可或缺的数据类型,有着不可以替代的重要性.不同的是,每种编程语言对于字符串的处理方式都有自己的特色.这 ...
python 描述性统计_Python中的基本统计：描述性统计
python 描述性统计 The field of statistics is often misunderstood, but it plays an essential role in our e ...
python wraps模块_python中 wraps 的作用
这里使用两段代码比较加入wraps装饰器后,函数打印的结果对比: 新建文件名:Testword 代码1:不加wraps装饰器 # coding=utf-8 from functools import ...
python map用法_Python中ChainMap的一种实用用法
Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发. 简而言之ChainMap:将多个字典视为一个,解锁Python超能力. Python标准库中的集合模块包含 ...
python基本统计量_Python中简单统计量的计算
本篇文章给大家带来的内容是关于Python中简单统计量的计算,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 1.这些操作都要确保已经在电脑中安装好了Anaconda集成库,如果安装好 ...

python异常数据处理_python中如何处理异常值

python异常数据处理_python中如何处理异常值相关推荐

最新文章

热门文章