pandas处理数据代码：分组聚合、保留重复行、删除重复行

txt转csv

import numpy as np
import pandas as pdtxt=np.loadtxt('1216.txt')txtDF=pDataFrame(txt)
txtDF.to_csv('1216.csv',index=False)

删除重复行（删除所有、保留第一次出现的重复行、保留最后一次出现的重复行)

df1=pd.read_csv('1216gg.csv')
df1=df1.astype(str)
df1.drop_duplicates(subset=['0','1','2','3','4','5','6','7','8','9'],keep='first',inplace=True)
df1.to_csv('1216ggg.csv',index=False)//subset可自定义查看哪几列重复

保留重复行

道理很简单 ：对一个csv文件df 首先去重 保留第一次出现的重复行 得到 df1其次 去除所有重复行 得到 df2df1.append(df2)
再对df1去除所有重复行 便得到df1中原来的重复行

每隔n行取一行

 data = pd.read_csv('lcy.csv')df = pd.DataFrame(data)a=[]for i in range(0,len(df),10):##每隔20行取数据a.append(i)file = df.iloc[a]f = pd.DataFrame(file)f.to_csv(r'lcy112.csv', index=False,encoding='utf_8_sig')print('ok')

分组聚合示例为分组求平均

 df1=pd.read_csv('1216gg.csv')f=df1.groupby(['1','2','3','4','5','6','7','8','9']).transform(lambda x:x.mean())f.to_csv('1216aaa.csv',index=False)

总结：pandas真的很强大本来想实现的目的，没想到pandas里都能实现

pandas处理数据代码：分组聚合、保留重复行、删除重复行相关推荐

如何使用agg函数对数据进行分组聚合
转载自知乎:侦探L 如何使用agg函数对数据进行分组聚合 - 知乎在上篇文章中,我们详细地介绍了如何使用groupby函数对数据进行分组.而在python的数据分组中,除了groupby函数之外, ...
pandas删除数据行中的重复数据行、基于dataframe所有列删除重复行、基于特定数据列或者列的作何删除重复行、删除重复行并保留重复行中的最后一行、pandas删除所有重复行（不进行数据保留）
pandas删除数据行中的重复数据行.基于dataframe所有列删除重复行.基于特定数据列或者列的作何删除重复行.删除重复行并保留重复行中的最后一行.pandas删除所有重复行(不进行数据保留) 目 ...
pandas对数据进行分组统计
pandas对数据进行分组统计文章目录 pandas对数据进行分组统计前言一.分组后进行sum操作二.分组后进行迭代操作三.分组后进行聚合agg操作四.使用自定义函数进行统计五.使用di ...
stream 多个字段分组_Python Pandas对Excel数据的分组聚合和数据透视
使用Excel进行商业数据分析的时候,最重要的就是两个手段就是vlookup函数和数据透视表.本章就讲解一下与数据透视功能相关的分组聚合和数据透视.其实分组聚合和数据透视两者基本是等价的,但由于使用的 ...
2021-03-05 pandas（合并_分组聚合_复合索引）
数据合并 join 默认情况下他是把行索引相同的数据合并到一起,以调用对象的行为准调用对象不存在的行数不合并,调用对象存在但合并对象无数据的索引位置出现NaN In [1]: import pand ...
利用 Pandas 将数据集中的某列文本拆分为多行
背景手头的项目要求用 Tableau 创建一个 story,数据集是摩拜上海城区用户使用数据.其中有一个维度的数据处理起来有点棘手. 数据格式注意 track 这个维度的数据,它表示的是在订单时间 ...
mysql 4.0 删除重复_mysql删除重复数据
最近遇到删除重复数据的问题,先分享一下解决办法,如有不完善之处还望包涵! 举例如下: mysql> select * from table03; +----+------+--------+ | ...
【shell】笔记|去重复行|删除匹配行|反选删除|反向显示|加减乘除
目录配置 bash Shell忽略命令大小写 |按"上"键显示该命令的历史 shell 删除匹配行 shell 获取结果中的第n列,第n行 grep过滤 shell 注释块 Li ...
SQL查询重复记录,删除重复记录
1.查找表中多余的重复记录,重复记录是根据单个字段(DocId)来判断 select * from TableNamewhere DocId in (select DocId from TableNa ...

pandas处理数据代码：分组聚合、保留重复行、删除重复行

pandas处理数据代码：分组聚合、保留重复行、删除重复行相关推荐

最新文章

热门文章