来源:DeepHub IMBA
本文约2300字,建议阅读5分钟本文用25个示例详细介绍groupby的函数用法。

groupby是Pandas在数据分析中最常用的函数之一。它用于根据给定列中的不同值对数据点(即行)进行分组,分组后的数据可以计算生成组的聚合值。

如果我们有一个包含汽车品牌和价格信息的数据集,那么可以使用groupby功能来计算每个品牌的平均价格。

在本文中,我们将使用25个示例来详细介绍groupby函数的用法。这25个示例中还包含了一些不太常用但在各种任务中都能派上用场的操作。

这里使用的数据集是随机生成的,我们把它当作一个销售的数据集。

import pandas as pdsales = pd.read_csv("sales_data.csv")sales.head()

1、单列聚合

我们可以计算出每个店铺的平均库存数量如下:

sales.groupby("store")["stock_qty"].mean()#输出storeDaisy     1811.861702Rose       1677.680000Violet   14622.406061Name: stock_qty, dtype: float64

2、多列聚合

在一个操作中进行多个聚合。以下是我们如何计算每个商店的平均库存数量和价格。

sales.groupby("store")[["stock_qty","price"]].mean()

3、多列多个聚合

我们还可以使用agg函数来计算多个聚合值。

sales.groupby("store")["stock_qty"].agg(["mean", "max"])

4、对聚合结果进行命名

在前面的两个示例中,聚合列表示什么还不清楚。例如,“mean”并没有告诉我们它是什么的均值。在这种情况下,我们可以对聚合的结果进行命名。

sales.groupby("store").agg(  avg_stock_qty = ("stock_qty", "mean"),max_stock_qty = ("stock_qty", "max"))

要聚合的列和函数名需要写在元组中。

5、多个聚合和多个函数

sales.groupby("store")[["stock_qty","price"]].agg(["mean", "max"])

6、对不同列的聚合进行命名

sales.groupby("store").agg(avg_stock_qty = ("stock_qty", "mean"),avg_price = ("price", "mean"))

7、as_index参数

如果groupby操作的输出是DataFrame,可以使用as_index参数使它们成为DataFrame中的一列。

sales.groupby("store", as_index=False).agg(avg_stock_qty = ("stock_qty", "mean"),avg_price = ("price", "mean"))

8、用于分组的多列

就像我们可以聚合多个列一样,我们也可以使用多个列进行分组。

sales.groupby(["store","product_group"], as_index=False).agg(avg_sales = ("last_week_sales", "mean")).head()

每个商店和产品的组合都会生成一个组。

9、排序输出

可以使用sort_values函数根据聚合列对输出进行排序。

sales.groupby(["store","product_group"], as_index=False).agg(   avg_sales = ("last_week_sales", "mean")).sort_values(by="avg_sales", ascending=False).head()

这些行根据平均销售值按降序排序。

10、最大的Top N

max函数返回每个组的最大值。如果我们需要n个最大的值,可以用下面的方法:

sales.groupby("store")["last_week_sales"].nlargest(2)store      Daisy   413   1883231     947Rose   948     883263     623Violet 991   3222339   2690Name: last_week_sales, dtype: int64

11、最小的Top N

与最大值相似,也可以求最小值

sales.groupby("store")["last_week_sales"].nsmallest(2)

12、第n个值

除上面2个以外,还可以找到一组中的第n个值。

sales_sorted = sales.sort_values(by=["store","last_month_sales"], ascending=False, ignore_index=True)

找到每个店铺上个月销售排名第五的产品如下:

sales_sorted.groupby("store").nth(4)

输出包含每个组的第5行。由于行是根据上个月的销售值排序的,所以我们将获得上个月销售额排名第五的行。

13、第n个值,倒排序

也可以用负的第n项。例如," nth(-2) "返回从末尾开始的第二行。

sales_sorted.groupby("store").nth(-2)

14、唯一值

unique函数可用于查找每组中唯一的值。例如,可以找到每个组中唯一的产品代码如下:

sales.groupby("store", as_index=False).agg(unique_values = ("product_code","unique"))

15、唯一值的数量

还可以使用nunique函数找到每组中唯一值的数量。

sales.groupby("store", as_index=False).agg(number_of_unique_values = ("product_code","nunique"))

16、Lambda表达式

可以在agg函数中使用lambda表达式作为自定义聚合操作。

sales.groupby("store").agg(total_sales_in_thousands = ("last_month_sales",lambda x: round(x.sum() / 1000, 1)))

17、apply函数

使用apply函数将Lambda表达式应用到每个组。例如,我们可以计算每家店上周销售额与上个月四分之一销售额的差值的平均值,如下:

sales.groupby("store").apply(lambda x: (x.last_week_sales - x.last_month_sales / 4).mean())storeDaisy     5.094149Rose     5.326250Violet   8.965152dtype: float64

18、dropna

缺省情况下,groupby函数忽略缺失值。如果用于分组的列中缺少一个值,那么它将不包含在任何组中,也不会单独显示。所以可以使用dropna参数来改变这个行为。

让我们首先添加一个缺少存储值的新行。

sales.loc[1000] = [None, "PG2", 10000, 120, 64, 96, 15, 53]

然后计算带有dropna参数和不带有dropna参数的每个商店的平均价格,以查看差异。

sales.groupby("store")["price"].mean()storeDaisy     69.327426Rose     60.513700Violet   67.808727Name: price, dtype: float64

看看设置了缺失值参数的结果:

sales.groupby("store", dropna=False)["price"].mean()storeDaisy     69.327426Rose     60.513700Violet   67.808727NaN       96.000000Name: price, dtype: float64

groupby函数的dropna参数,使用pandas版本1.1.0或更高版本。

19、求组的个数

有时需要知道生成了多少组,这可以使用ngroups。

sales.groupby(["store", "product_group"]).ngroups18

在商店和产品组列中有18种不同值的不同组合。

20、获得一个特定分组

get_group函数可获取特定组并且返回DataFrame。

例如,我们可以获得属于存储“Daisy”和产品组“PG1”的行如下:

aisy_pg1 = sales.groupby(["store", "product_group"]).get_group(("Daisy","PG1"))daisy_pg1.head()

21、rank函数

rank函数用于根据给定列中的值为行分配秩。我们可以使用rank和groupby函数分别对每个组中的行进行排序。

sales["rank"] = sales.groupby("store"["price"].rank(ascending=False, method="dense")sales.head()

22、累计操作

们可以计算出每组的累计总和。

import numpy as npdf = pd.DataFrame({"date": pd.date_range(start="2022-08-01", periods=8, freq="D"),"category": list("AAAABBBB"),"value": np.random.randint(10, 30, size=8)})

我们可以单独创建一个列,包含值列的累计总和,如下所示:

df["cum_sum"] = df.groupby("category")["value"].cumsum()

23、expanding函数

expanding函数提供展开转换。但是对于展开以后的操作还是需要一个累计函数来堆区操作。例如它与cumsum 函数一起使用,结果将与与sum函数相同。

df["cum_sum_2"] = df.groupby("category")["value"].expanding().sum().values

24、累积平均

利用展开函数和均值函数计算累积平均。

df["cum_mean"] = df.groupby("category")["value"].expanding().mean().values

25、展开后的最大值

可以使用expand和max函数记录组当前最大值。

df["current_highest"] = df.groupby("category")["value"].expanding().max().values

在Pandas中groupby函数与aggregate函数共同构成了高效的数据分析工具。在本文中所做的示例涵盖了groupby功能的大多数用例,希望对你有所帮助。

编辑:于腾凯

25个例子学会Pandas Groupby 操作(附代码)相关推荐

  1. 数据分析利器,25个例子学会Pandas Groupby 操作!

    点击上方"菜学Python",选择"星标"公众号 超级无敌干货,第一时间送达!!! 来源丨DeepHub IMBA 大家好,我是菜鸟哥. groupby是Pan ...

  2. pandas——groupby操作

    相关知识 groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False) ...

  3. sklearn 决策树例子_决策树DecisionTree(附代码实现)

    开局一张图(网图,随便找的). 对这种类型的图很熟悉的小伙伴应该马上就看出来了,这是一颗决策树,没错今天我们的主题就是理解和实现决策树. 决策树和我们以前学过的算法稍微有点不一样,它是个树形结构.决策 ...

  4. java结束全部操作代码_Java基本的线程操作(附代码)

    啦啦啦啦,从头整理一遍java并发的内容.开始是基本的线程操作 线程状态切换: 新建线程: @Testpublic voidnewTread(){ Thread t1= new Thread(newR ...

  5. 总结了25个Pandas Groupby 经典案例!!

    大家好,我是俊欣~ groupby是Pandas在数据分析中最常用的函数之一.它用于根据给定列中的不同值对数据点(即行)进行分组,分组后的数据可以计算生成组的聚合值. 如果我们有一个包含汽车品牌和价格 ...

  6. 玩转 Pandas 的 Groupby 操作

    作者:Lemon 来源:Python数据之道 玩转 Pandas 的 Groupby 操作 大家好,我是 Lemon,今天来跟大家分享下 pandas 中 groupby 的用法. Pandas 的 ...

  7. 10分钟上手pythonpandas_【译】10分钟学会Pandas

    十分钟学会Pandas 这是关于Pandas的简短介绍主要面向新用户.你可以参考Cookbook了解更复杂的使用方法 习惯上,我们这样导入: In [1]: importpandas as pd In ...

  8. 十分钟学python-【译】10分钟学会Pandas

    十分钟学会Pandas 这是关于Pandas的简短介绍主要面向新用户.你可以参考Cookbook了解更复杂的使用方法 习惯上,我们这样导入: In [1]: importpandas as pd In ...

  9. python数据分析df_Python数据分析pandas入门!(附数据分析资料)

    Python数据分析pandas入门!(附数据分析资料) 1.pandas数据结构之DataFrame+ 这是小编准备的python数据分析资料!进群:700341555即可获取! Python数据分 ...

最新文章

  1. mysql insert 的时候时间给默认值
  2. Ajax之Jquery封装使用举例2(Json和JsonArray处理)
  3. [渝粤教育] 新疆财经大学 金融工程 参考 资料
  4. 实部和虚部高斯变量瑞利衰落matlab,瑞利衰落信道的matlab仿真.doc
  5. 我的世界javamod怎么装_我的世界MOD安装方法图文教程_我的世界MOD怎么安装_牛游戏网...
  6. 详解正向代理与反向代理
  7. 花式讲解校园网绕过认证原理
  8. 关保条例发展历程解读
  9. Timeline(时间线)
  10. BlenderGIS插件安装和排错
  11. 十一、如何挑选股票?
  12. NOI2006:金明的预算方案
  13. 在线电子书阅读微信小程序 毕业设计(1)首页
  14. 对RAM,ROM,NOR/NAND FLASH等常见内存设备类型的理解
  15. Apache2.4的安装、配置与常见的问题(Windows)
  16. 【Python】破解摩斯密码
  17. count在python中的作用,Python中这个count用法是啥
  18. MacBook pro 连接Wi-Fi时候一直显示需要wpa2密码
  19. 高德地图Amap2.0注销清除不掉内存的解决方法
  20. list的stream流常用用法

热门文章

  1. LINUX常见服务列表
  2. 单片机音频节奏灯_使LED灯随音乐闪烁的控制方法及音乐节奏闪灯技术
  3. “阿里外传”之一:阿里巴巴有只宠物,叫雅虎
  4. 【Flutter 实战】简约而不简单的计算器
  5. 深度学习的员工离职预测
  6. 服装设计要学计算机吗,学服装设计用什么电脑_服装设计师要做什么
  7. 求本利之和--C语言程序设计第三版课后习题(苏小红)
  8. 通过Opencv打开指定摄像头的方法
  9. 传智播客 PHP+H5全栈工程师课程大纲
  10. 【Python学习笔记(一)—— 初识Python】