分组聚合

分组

groupby原理

import numpy as np
import pandas as pddf = pd.DataFrame(data = {'sex':np.random.randint(0,2,size = 300), # 0男，1⼥'class':np.random.randint(1,9,size = 300), # 1~8⼋个班'Python':np.random.randint(0,151,size = 300), # Python成绩'Keras':np.random.randint(0,151,size =300), # Keras成绩'Tensorflow':np.random.randint(0,151,size=300), # Tensorflow成绩'Java':np.random.randint(0,151,size = 300), # Java成绩'C++':np.random.randint(0,151,size = 300)}) # C++成绩
# 分组
df.sex = df.sex.map({0:"男",1:"女"})
# 整个数据分组
a = df.groupby(by="sex")
for name,group in a:print("group_name:",name)print("group_data:",group)
# 单分组
b = df.groupby(by=["sex"])["Python"]
for name,group in b:print("group_name:", name)print("group_data:",group)
# 多分组
c = df.groupby(by=["sex","class"])["Python"]
for name,group in c:print("group_name:", name)print("group_data:",group)
# 对某一列进行分组
d = df.Python.groupby(by=df["class"])
for name,group in d:print("group_name:", name)print("group_data:",group)
# 利用数据类型分组
e = df.groupby(df.dtypes,axis=1)
for name,group in e:print("group_name:", name)print("group_data:",group)
# 利用字典进行分组
f_dict = {'Python':"IT1",
'Keras':"IT1",
'Tensorflow':"IT2",
'Java':"IT2",
'C++':"IT2"
}
f = df.groupby(f_dict,axis=1)
for name,group in f:print("group_name:", name)print("group_data:",group)

分组聚合——groupby

# 单条件聚合
df.groupby(by="sex").mean()
# 多条件聚合
df.groupby(by=["sex","class"]).mean()

分组聚合——apply&transform

apply原理

transform原理

data = {'fruit': ['苹果', '苹果', '苹果', '苹果'],'year': [202209, 202209, 202208, 202208],'sales': [202202, 202201, 202204, 202203]}
df = pd.DataFrame(data)
# apply
df.groupby(by=["fruit","year"])["sales"].apply(np.max).reset_index()
# transform
df["max_sales"] = df.groupby(by=["fruit","year"])["sales"].transform(np.max)
df

分组聚合——agg

agg原理

data = {'fruit': ['苹果', '苹果', '苹果', '苹果'],'year': [202209, 202209, 202208, 202208],'sales': [202202, 202201, 202204, 202203],'amount':[212201, 212202, 212204, 212205]}
df = pd.DataFrame(data)
# agg可以同时利用多个方式进行聚合计算
df.groupby(by=["fruit","year"])["sales"].agg([np.min,np.max,pd.Series.count]).reset_index()
# 针对不同列进行不同聚合计算
df.groupby(by=["fruit","year"])["sales","amount"].agg({"sales":[('最大值',np.max),('最小值',np.min)],"amount":[("计数",pd.Series.count),("平均值",np.mean)]}).reset_index()
# 利用自定义函数
def normalize(x):return (x-x.min())/(x.max()-x.min())
df["normalize"] = df.groupby(by=["fruit","year"])["sales"].transform(normalize)
df

Python数据清洗小技巧——分组聚合相关推荐

Python数据分析小技巧：如何在Pandas中实现数据透视表?
Python数据分析小技巧:如何在Pandas中实现数据透视表? 数据透视表是数据分析中非常有用的工具,可以帮助我们快速了解数据的结构.关联和趋势.在Pandas中,我们可以使用pivot_table ...
零基础入门学习Python，这13个Python惯用小技巧一定要收藏
Python的小技巧很多,入门容易精通难!在进阶的路上,有没有什么好的技巧和好的方法,就是不断总结,不断记笔记!尤其是好的用法,就像写作文一样,好的名言警句要多背诵一些,写作的时候,肚子里的墨水多了才 ...
pythonencoding etf-8_etf iopv python 代码30个Python常用小技巧
1.原地交换两个数字x, y =10, 20 print(x, y) y, x = x, y print(x, y) 10 20 20 10 2.链状比较操作符n = 10 print(1 print ...
值得玩味儿的14个Python编程小技巧
全文共394个字,1张图,预计阅读时间5分钟. 最近的工作中经常使用Python编写一些基本解决一些NLP的小问题,在自己的工作日记里面也记录了不少的python编程中常用的小"Trick& ...
Python常用小技巧（五）——批量读取json文件
Python常用小技巧(五)--批量读取json文件前言:其实Python能够批量读取很多文件,这里,本人以json文件为例(json是标注图片时生成的文件,记录有标注的坐标和标签,友情推荐标注图片 ...
python常用小技巧（四）——批量图片改名
python常用小技巧(四)--批量图片改名前言:在日常使用中我们需要批量修改图片名字,使用Python的话就可以很快地完成这个目标一.材料准备 - os 二.程序编写 # -*- coding: ...
Python常用小技巧（二）——打开图片
Python常用小技巧(二)--打开图片前言:对于大量图片的文件夹,你很难手工去检查每张图片是否损坏,这时候就要用程序去检查每张图片是否能打开了一.材料准备 - os - PIL 二.程序编写 i ...
Python进阶小技巧2
Python进阶小技巧上一篇进阶小技巧阅读量尚可,给了我再写一篇的动力.这回讲一下:偏函数.强制关键字参数和字典相关的技巧. 1. 偏函数使用偏函数之前,首先要回答2个问题:什么是偏函数?偏函数有 ...
python dict 合并同类项_零基础入门学习Python，这13个Python惯用小技巧一定要收藏...
原标题:零基础入门学习Python,这13个Python惯用小技巧一定要收藏 Python的小技巧很多,入门容易精通难!在进阶的路上,有没有什么好的技巧和好的方法,就是不断总结,不断记笔记!尤其是好的 ...

Python数据清洗小技巧——分组聚合

分组聚合

分组

groupby原理

分组聚合——groupby

分组聚合——apply&transform

apply原理

transform原理

分组聚合——agg

agg原理

Python数据清洗小技巧——分组聚合相关推荐

最新文章

热门文章