pandas数据清洗的一些操作

import pandas as pd# 显示所有列,行
# pd.set_option('display.max_columns', None)
# pd.set_option('display.max_rows', None)
# pd.set_option('max_colwidth',100)# 读取文件
df = pd.read_csv("z:/clear1.csv", encoding="utf-8", low_memory=True)
print(df.head())
# 查询平方差(控制统计)
nan_mean = df.isna().mean()
nan_mean = nan_mean[nan_mean != 0].sort_values()
print(nan_mean)
# 日期格式
dt_series = pd.to_datetime(df["issue_d"])
df["year"] = dt_series.dt.year
# 筛选
df = df.loc[df["year"] >= 2014]
print(df["year"].value_counts())
# 删除
df.drop(["total_bal_ex_mort", 'tot_coll_amt', 'sub_grade'], axis=1, inplace=True)
# 删除指定内容的行
df = df[~ df['issue_d'].str.contains('issue_d')]
# 统计指定列
print(df["issue_d"].value_counts(sort=True))
print(df)
# 保存数据
df.to_csv("z:/clear1.csv", index=False, encoding="utf-8")

转载于:https://www.cnblogs.com/jumpkin1122/p/11509771.html

pandas数据清洗的一些操作相关推荐

2.pandas数据清洗
2.pandas数据清洗 pandas是用于数据清洗的库,安装配置pandas需要配置许多依赖的库,而且安装十分麻烦. 解决方法:可以用Anaconda为开发环境,Anaconda内置了许多有关数据清 ...
python能实现excel什么功能_Python pandas对excel的操作实现示例
最近经常看到各平台里都有Python的广告,都是对excel的操作,这里明哥收集整理了一下pandas对excel的操作方法和使用过程.本篇介绍 pandas 的 DataFrame 对列 (Colu ...
python pandas 读取excel 去重某一列_Python中Pandas读取修改excel操作攻略（代码示例）...
本篇文章给大家带来的内容是关于Python中Pandas读取修改excel操作攻略(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 环境:python 3.6.8 以某米赛 ...
数据科学 IPython 笔记本 7.6 Pandas 中的数据操作
7.6 Pandas 中的数据操作原文:Operating on Data in Pandas 译者:飞龙协议:CC BY-NC-SA 4.0 本节是<Python 数据科学手册>(P ...
python pandas数据清洗：sample()函数
DataFrame.sample DataFrame.sample方法主要是用来对DataFrame进行简单随机抽样的. PS:这里说的是简单随机抽样,表示是不能用来进行系统抽样.分层抽样的. Dat ...
pandas中的concat操作
文章目录前言一.表结构相同,首尾合并二.横向表连接三.交叉合并总结前言本文将介绍pandas中concat的数据合并方式,包括首位合并.横向表合并和交叉合并一.表结构相同,首尾合并 # ...
python pandas excel 排序_Python pandas对excel的操作实现示例
最近经常看到各平台里都有Python的广告,都是对excel的操作,这里明哥收集整理了一下pandas对excel的操作方法和使用过程.本篇介绍 pandas 的 DataFrame 对列 (Colu ...
Pandas数据表关联操作
pandas数据表关联操作 Pandas具有功能全面的高性能内存中连接操作,与SQL等关系数据库非常相似. Pandas提供了一个单独的merge()函数,作为DataFrame对象之间所有标准数据库 ...
python read_excel 参数_详解pandas库pd.read_excel操作读取excel文件参数整理与实例
详解pandas库pd.read_excel操作读取excel文件参数整理与实例来源:中文源码网浏览: 次日期:2019年11月5日详解pandas库pd.read_excel操作 ...
pandas数据清洗：案例详解 fillna函数填补空缺值
pandas数据清洗:fillna函数填补空缺值 1 fillna函数简介 2 填补空缺值3种方法 2.1 构建学习数据 2.2 填补特定值 2.3 用前一个非空缺值填充 2.4 用后一个非空缺值填充 ...

pandas数据清洗的一些操作

pandas数据清洗的一些操作相关推荐

最新文章

热门文章