Python数据分析处理（一）——处理剔除异常值以全国数学建模（CUMCM 2011 A题）为实例

由于经历一些调试，所以代码结构不一定最优，适合数据处理的新手，大神欢迎提出改进

数据来源：

http://www.mcm.edu.cn

设p为均值，s为标准差

由表三可知，元素背景值在[p-s, p+s]，所以应用到表一，将不符合的数据剔除

上代码

import numpy as np
import pandas as pd

path = "E:/Model_building/A/cumcm2011A附件_数据.xls"
s1 = pd.read_excel(path, sheet_name="附件1")
s2 = pd.read_excel(path, sheet_name="附件2")
s3 = pd.read_excel(path, sheet_name="附件3")   # 读入一个文件中的三个表
s1 = s1.values     # 转化为数值形式
s2 = s2.values
s3 = s3.values
s1 = pd.DataFrame(s1)   # 转化为dataframe形式
s2 = pd.DataFrame(s2)
s3 = pd.DataFrame(s3)
print(s1)

s1 = s1.iloc[2:, 0:5]
s2 = s2.iloc[2:, 0:9]
s3 = s3.iloc[2:, :]     # 去掉表头等不需要的部分，如表一的右边
print(s1,'\n')
print(s2,'\n')
print(s3,'\n')

l = []
for c in range(1,9):          # 将各元素标准差放到列表a = s2.iloc[: ,c].std()l.append( a )print(a,'\n')p = []
for c in range(1,9):    # 各元素均值放到列表a = s2.iloc[:, c].mean()p.append( a )for c in range(0,8):         themin = p[c] - 2*l[c]themax = p[c] + 2*l[c]print(themin, '  ', themax)s2 = s2[(s2.iloc[:, c+1] >= themin )& (s2.iloc[:, c+1] <= themax ) ]      # 选出符合的行print(s2)print('\n',s2.shape[0],'\n')

ID = pd.DataFrame(s2.iloc[:, 0])   # 表二0列单独成表
print(ID)
s1 = pd.merge(s1, ID, how="inner", right_on=0, left_on=0)    # 找出表一0列在表二0列的行，merge，join，constack进行拼接
print(s1)

path = "E:/Model_building/A/"  # 保存
s1.to_excel(path+"sheet1.xlsx")
s2.to_excel(path+"sheet2.xlsx")
s3.to_excel(path+"sheet3.xlsx")

Python数据分析处理（一）——处理剔除异常值以全国数学建模（CUMCM 2011 A题）为实例相关推荐

Python 数据分析三剑客之 NumPy（五）：数学 / 算术 / 统计 / 排序 / 条件 / 判断函数合集
CSDN 课程推荐:<Python 数据分析与挖掘>,讲师刘顺祥,浙江工商大学统计学硕士,数据分析师,曾担任唯品会大数据部担任数据分析师一职,负责支付环节的数据分析业务.曾与联想.亨氏.网 ...
【Python爬虫】2022年数学建模美赛B题数据爬取
2022年数学建模美赛B题数据爬取背景 2022年的美赛刚刚落下帷幕,该题的一个主要难点在于数据的获取.很多人无法找到有效的数据,或者是无法获取数据. 比如找到了如下米德湖的水文数据,但是发现并没有 ...
数学建模亚太赛优秀论文_泰迪杯数据分析职业技术大赛总结暨亚太地区大学生数学建模经验分享会...
相信不少同学对泰迪杯数据分析职业技能大赛.APMCM亚太地区大学生数学建模竞赛应该略有耳闻那么这泰迪杯数据分析职业技能大赛.APMCM亚太地区大学生数学建模竞赛到底是什么呢泰迪杯数据分析职业技能大 ...
数学建模用python分析gdp_【志领学院】HiMCM数学建模商业事件建模分析——活动回顾...
原标题:[志领学院]HiMCM数学建模商业事件建模分析--活动回顾 -2021- 志领学院 · 激发无限潜能 · HiMCM, 全称HighSchool Mathematical Contest i ...
2022年高教社杯全国大学生数学建模竞赛-【赛题解析篇】B题：无人机遂行编队飞行中的纯方位无源定位（附Python代码实现）
前言最近发现一个关于数学建模比较好的专栏,需要的小伙伴可移步[数学建模应用]算法实战案例精讲300篇(持续更新ing) 赛题描述无人机集群在遂行编队飞行时,为避免外界干扰,应尽可能保持电磁静默,少 ...
【数学建模】2018数学建模国赛B题 --python实现情况1
本文地址:https://blog.csdn.net/t4ngw/article/details/105307630 2018年国赛B题数据具体细节和一位同学讨论得出 code:只采用第一组数据 ...
Python 数据分析三剑客之 NumPy（六）：矩阵 / 线性代数库与 IO 操作
CSDN 课程推荐:<Python 数据分析与挖掘>,讲师刘顺祥,浙江工商大学统计学硕士,数据分析师,曾担任唯品会大数据部担任数据分析师一职,负责支付环节的数据分析业务.曾与联想.亨氏.网 ...
Python 数据分析三剑客之 NumPy（四）：字符串函数总结与对比
CSDN 课程推荐:<Python 数据分析与挖掘>,讲师刘顺祥,浙江工商大学统计学硕士,数据分析师,曾担任唯品会大数据部担任数据分析师一职,负责支付环节的数据分析业务.曾与联想.亨氏.网 ...
Python 数据分析三剑客之 NumPy（三）：数组的迭代与位运算
CSDN 课程推荐:<Python 数据分析与挖掘>,讲师刘顺祥,浙江工商大学统计学硕士,数据分析师,曾担任唯品会大数据部担任数据分析师一职,负责支付环节的数据分析业务.曾与联想.亨氏.网 ...

Python数据分析处理（一）——处理剔除异常值以全国数学建模（CUMCM 2011 A题）为实例

Python数据分析处理（一）——处理剔除异常值以全国数学建模（CUMCM 2011 A题）为实例相关推荐

最新文章

热门文章

Python数据分析处理（一）——处理剔除异常值 以全国数学建模（CUMCM 2011 A题）为实例

Python数据分析处理（一）——处理剔除异常值 以全国数学建模（CUMCM 2011 A题）为实例相关推荐

最新文章

热门文章

Python数据分析处理（一）——处理剔除异常值以全国数学建模（CUMCM 2011 A题）为实例

Python数据分析处理（一）——处理剔除异常值以全国数学建模（CUMCM 2011 A题）为实例相关推荐