数据聚合与分组运算——GroupBy
2019独角兽企业重金招聘Python工程师标准>>>
pandas提供了一个灵活高效的groupby功能,它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。
- 根据一个或多个键(可以是函数、数组或DataFrame列名)拆分pandas对象。
- 计算分组摘要统计,如计数、平均值、标准差,或用户自定义函数。
- 对DataFrame的列应用各种各样的函数。
- 应用组内转换或其他运算,如规格化、线性回归、排名或选取子集等。
- 计算透视表或交叉表。
- 执行分位数分析以及其他分组分析。
1、分组键可以有多种形式,且类型不必相同
- 列表或数组,其长度与待分组的轴一样。
- 表示DataFrame某个列名的值。
- 字典或Series,给出待分组轴上的值与分组名之间的对应关系。
- 函数,用于处理轴索引或索引中的各个标签。
注意:
后三种都只是快捷方式而已,其最终目的仍然是产生一组用于拆分对象的值。
2、首先来看看下面这个非常简单的表格型数据集(以DataFrame的形式):
>>> import pandas as pd >>> df = pd.DataFrame({'key1':['a', 'a', 'b', 'b', 'a'], ... 'key2':['one', 'two', 'one', 'two', 'one'], ... 'data1':np.random.randn(5), ... 'data2':np.random.randn(5)}) >>> dfdata1 data2 key1 key2 0 -0.410673 0.519378 a one 1 -2.120793 0.199074 a two 2 0.642216 -0.143671 b one 3 0.975133 -0.592994 b two 4 -1.017495 -0.530459 a one
假设你想要按key1进行分组,并计算data1列的平均值,我们可以访问data1,并根据key1调用groupby:
>>> grouped = df['data1'].groupby(df['key1']) >>> grouped <pandas.core.groupby.SeriesGroupBy object at 0x04120D70>
变量grouped是一个GroupBy对象,它实际上还没有进行任何计算,只是含有一些有关分组键df['key1']的中间数据而已,然后我们可以调用GroupBy的mean方法来计算分组平均值:
>>> grouped.mean() key1 a -1.182987 b 0.808674 dtype: float64
说明:
数据(Series)根据分组键进行了聚合,产生了一个新的Series,其索引为key1列中的唯一值。之所以结果中索引的名称为key1,是因为原始DataFrame的列df['key1']就叫这个名字。
3、如果我们一次传入多个数组,就会得到不同的结果:
>>> means = df['data1'].groupby([df['key1'], df['key2']]).mean() >>> means key1 key2 a one -0.714084two -2.120793 b one 0.642216two 0.975133 dtype: float64
通过两个键对数据进行了分组,得到的Series具有一个层次化索引(由唯一的键对组成):
>>> means.unstack() key2 one two key1 a -0.714084 -2.120793 b 0.642216 0.975133
在上面这些示例中,分组键均为Series。实际上,分组键可以是任何长度适当的数组:
>>> states = np.array(['Ohio', 'California', 'California', 'Ohio', 'Ohio']) >>> years = np.array([2005, 2005, 2006, 2005, 2006]) >>> df['data1'].groupby([states, years]).mean() California 2005 -2.1207932006 0.642216 Ohio 2005 0.2822302006 -1.017495 dtype: float64
4、此外,你还可以将列名(可以是字符串、数字或其他Python对象)用作分组将:
>>> df.groupby('key1').mean()data1 data2 key1 a -1.182987 0.062665 b 0.808674 -0.368333 >>> df.groupby(['key1', 'key2']).mean()data1 data2 key1 key2 a one -0.714084 -0.005540two -2.120793 0.199074 b one 0.642216 -0.143671two 0.975133 -0.592994
说明:
在执行df.groupby('key1').mean()时,结果中没有key2列。这是因为df['key2']不是数值数据,所以被从结果中排除了。默认情况下,所有数值列都会被聚合,虽然有时可能会被过滤为一个子集。
无论你准备拿groupby做什么,都有可能会用到GroupBy的size方法,它可以返回一个含有分组大小的Series:
>>> df.groupby(['key1', 'key2']).size() key1 key2 a one 2two 1 b one 1two 1 dtype: int64
注意:
分组键中的任何缺失值都会被排除在结果之外。
5、对分组进行迭代
GroupBy对象支持迭代,可以产生一组二元元组(由分组名和数据块组成)。看看下面这个简单的数据集:
>>> for name, group in df.groupby('key1'): ... print(name) ... print(group) ... adata1 data2 key1 key2 0 -0.410673 0.519378 a one 1 -2.120793 0.199074 a two 4 -1.017495 -0.530459 a one bdata1 data2 key1 key2 2 0.642216 -0.143671 b one 3 0.975133 -0.592994 b two
对于多重键的情况,元组的第一个元素将会是由键值组成的元组:
>>> for (k1, k2), group in df.groupby(['key1', 'key2']): ... print k1, k2 ... print group ... a onedata1 data2 key1 key2 0 -0.410673 0.519378 a one 4 -1.017495 -0.530459 a one a twodata1 data2 key1 key2 1 -2.120793 0.199074 a two b onedata1 data2 key1 key2 2 0.642216 -0.143671 b one b twodata1 data2 key1 key2 3 0.975133 -0.592994 b two
当然,你可以对这些数据片段做任何操作。有一个你可能会觉得有用的运算:将这些数据片段做成一个字典:
>>> pieces = dict(list(df.groupby('key1'))) >>> pieces['b']data1 data2 key1 key2 2 0.642216 -0.143671 b one 3 0.975133 -0.592994 b two >>> df.groupby('key1') <pandas.core.groupby.DataFrameGroupBy object at 0x0413AE30> >>> list(df.groupby('key1')) [('a', data1 data2 key1 key2 0 -0.410673 0.519378 a one 1 -2.120793 0.199074 a two 4 -1.017495 -0.530459 a one), ('b', data1 data2 key1 key2 2 0.642216 -0.143671 b one 3 0.975133 -0.592994 b two)]
groupby默认是在axis=0上进行分组的,通过设置也可以在其他任何轴上进行分组。那上面例子中的df来说,我们可以根据dtype对列进行分组:
>>> df.dtypes data1 float64 data2 float64 key1 object key2 object dtype: object >>> grouped = df.groupby(df.dtypes, axis=1) >>> dict(list(grouped)) {dtype('O'): key1 key2 0 a one 1 a two 2 b one 3 b two 4 a one, dtype('float64'): data1 data2 0 -0.410673 0.519378 1 -2.120793 0.199074 2 0.642216 -0.143671 3 0.975133 -0.592994 4 -1.017495 -0.530459}
>>> grouped <pandas.core.groupby.DataFrameGroupBy object at 0x041288F0> >>> list(grouped) [(dtype('float64'), data1 data2 0 -0.410673 0.519378 1 -2.120793 0.199074 2 0.642216 -0.143671 3 0.975133 -0.592994 4 -1.017495 -0.530459), (dtype('O'), key1 key2 0 a one 1 a two 2 b one 3 b two 4 a one)]
6、选取一个或一组列
对于由DataFrame产生的GroupBy对象,如果用一个(单个字符串)或一组(字符串数组)列名对其进行索引,就能实现选取部分列进行聚合的目的,即:
>>> df.groupby('key1')['data1'] <pandas.core.groupby.SeriesGroupBy object at 0x06615FD0> >>> df.groupby('key1')['data2'] <pandas.core.groupby.SeriesGroupBy object at 0x06615CB0> >>> df.groupby('key1')[['data2']] <pandas.core.groupby.DataFrameGroupBy object at 0x06615F10>
和以下代码是等效的:
>>> df['data1'].groupby([df['key1']]) <pandas.core.groupby.SeriesGroupBy object at 0x06615FD0> >>> df[['data2']].groupby([df['key1']]) <pandas.core.groupby.DataFrameGroupBy object at 0x06615F10> >>> df['data2'].groupby([df['key1']]) <pandas.core.groupby.SeriesGroupBy object at 0x06615E30>
尤其对于大数据集,很可能只需要对部分列进行聚合。例如,在前面那个数据集中,如果只需计算data2列的平均值并以DataFrame形式得到结果,代码如下:
>>> df.groupby(['key1', 'key2'])[['data2']].mean()data2 key1 key2 a one -0.005540two 0.199074 b one -0.143671two -0.592994 >>> df.groupby(['key1', 'key2'])['data2'].mean() key1 key2 a one -0.005540two 0.199074 b one -0.143671two -0.592994 Name: data2, dtype: float64
这种索引操作所返回的对象是一个已分组的DataFrame(如果传入的是列表或数组)或已分组的Series(如果传入的是标量形式的单个列明):
>>> s_grouped = df.groupby(['key1', 'key2'])['data2'] >>> s_grouped <pandas.core.groupby.SeriesGroupBy object at 0x06615B10> >>> s_grouped.mean() key1 key2 a one -0.005540two 0.199074 b one -0.143671two -0.592994 Name: data2, dtype: float64
7、通过字典或Series进行分组
除数组以外,分组信息还可以其他形式存在,来看一个DataFrame示例:
>>> people = pd.DataFrame(np.random.randn(5, 5), ... columns=['a', 'b', 'c', 'd', 'e'], ... index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis'] ... ) >>> peoplea b c d e Joe 0.306336 -0.139431 0.210028 -1.489001 -0.172998 Steve 0.998335 0.494229 0.337624 -1.222726 -0.402655 Wes 1.415329 0.450839 -1.052199 0.731721 0.317225 Jim 0.550551 3.201369 0.669713 0.725751 0.577687 Travis -2.013278 -2.010304 0.117713 -0.545000 -1.228323 >>> people.ix[2:3, ['b', 'c']] = np.nan
假设已知列的分组关系,并希望根据分组计算列的总计:
>>> mapping = {'a':'red', 'b':'red', 'c':'blue', ... 'd':'blue', 'e':'red', 'f':'orange'} >>> mapping {'a': 'red', 'c': 'blue', 'b': 'red', 'e': 'red', 'd': 'blue', 'f': 'orange'} >>> type(mapping) <type 'dict'>
现在,只需将这个字典传给groupby即可:
>>> by_column = people.groupby(mapping, axis=1) >>> by_column <pandas.core.groupby.DataFrameGroupBy object at 0x066150F0> >>> by_column.sum()blue red Joe -1.278973 -0.006092 Steve -0.885102 1.089908 Wes 0.731721 1.732554 Jim 1.395465 4.329606 Travis -0.427287 -5.251905
Series也有同样的功能,它可以被看做一个固定大小的映射。对于上面那个例子,如果用Series作为分组键,则pandas会检查Series以确保其索引跟分组轴是对齐的:
>>> map_series = pd.Series(mapping) >>> map_series a red b red c blue d blue e red f orange dtype: object >>> people.groupby(map_series, axis=1).count()blue red Joe 2 3 Steve 2 3 Wes 1 2 Jim 2 3 Travis 2 3
8、通过函数进行分组
相较于字典或Series,Python函数在定义分组映射关系时可以更有创意且更为抽象。任何被当做分组键的函数都会在各个索引值上被调用一次,其返回值就会被用作分组名称。
具体点说,以DataFrame为例,其索引值为人的名字。假设你希望根据人名的长度进行分组,虽然可以求取一个字符串长度数组,但其实仅仅传入len函数即可:
>> people.groupby(len).sum()a b c d e 3 2.272216 3.061938 0.879741 -0.031529 0.721914 5 0.998335 0.494229 0.337624 -1.222726 -0.402655 6 -2.013278 -2.010304 0.117713 -0.545000 -1.228323
将函数跟数组、列表、字典、Series混合使用也不是问题,因为任何东西最终都会被转换为数组:
>>> key_list = ['one', 'one', 'one', 'two', 'two'] >>> people.groupby([len, key_list]).min()a b c d e 3 one 0.306336 -0.139431 0.210028 -1.489001 -0.172998two 0.550551 3.201369 0.669713 0.725751 0.577687 5 one 0.998335 0.494229 0.337624 -1.222726 -0.402655 6 two -2.013278 -2.010304 0.117713 -0.545000 -1.228323
9、根据索引级别分组
层次化索引数据集最方便的地方在于它能够根据索引级别进行聚合。要实现该目的,通过level关键字传入级别编号或名称即可:
>>> columns = pd.MultiIndex.from_arrays([['US', 'US', 'US', 'JP', 'JP'], ... [1, 3, 5, 1, 3]], names=['cty', 'tenor']) >>> columns MultiIndex [US 1, 3, 5, JP 1, 3] >>> hier_df = pd.DataFrame(np.random.randn(4, 5), columns=columns) >>> hier_df cty US JP tenor 1 3 5 1 3 0 -0.166600 0.248159 -0.082408 -0.710841 -0.097131 1 -1.762270 0.687458 1.235950 -1.407513 1.304055 2 1.089944 0.258175 -0.749688 -0.851948 1.687768 3 -0.378311 -0.078268 0.247147 -0.018829 0.744540 >>> hier_df.groupby(level='cty', axis=1).count() cty JP US 0 2 3 1 2 3 2 2 3 3 2 3
转载于:https://my.oschina.net/Bettyty/blog/754285
数据聚合与分组运算——GroupBy相关推荐
- pandas合并groupby_pandas数据聚合与分组运算——groupby方法
简介 pandas中一类非常重要的操作是数据聚合与分组运算.通过groupby方法能够实现对数据集的拆分.统计.转换等操作,这个过程一气呵成. 在本文中,你将学到: 选取特定列分组: 对分组进行迭代: ...
- pandas 根据列名索引多列数据_Pandas 数据聚合与分组运算[groupby+apply]速查笔记
利用Pandas将数据进行分组,并将各组进行聚合或自定义函数处理. Pandas中Groupby分组与聚合过程 导入模块 import pandas as pd 缩写 df表示Dataframe对象 ...
- 【Python】GroupBy:数据聚合与分组运算
[博客地址]:https://blog.csdn.net/sunyaowu315 [博客大纲地址]:https://blog.csdn.net/sunyaowu315/article/details/ ...
- Python数据聚合和分组运算(1)-GroupBy Mechanics
前言 Python的pandas包提供的数据聚合与分组运算功能很强大,也很灵活.<Python for Data Analysis>这本书第9章详细的介绍了这方面的用法,但是有些细节不常用 ...
- 【学习】数据聚合和分组运算【groupby】
[学习]数据聚合和分组运算[groupby] 分组键可以有多种方式,且类型不必相同 列表或数组, 某长度与待分组的轴一样 表示DataFrame某个列名的值 字典或Series,给出待分组轴上的值与分 ...
- Python之数据聚合与分组运算
Python之数据聚合与分组运算 1. 关系型数据库方便对数据进行连接.过滤.转换和聚合. 2. Hadley Wickham创建了用于表示分组运算术语"split-apply-combin ...
- 类的应用python平均分_【数据科学系统学习】Python # 数据分析基本操作[四] 数据规整化和数据聚合与分组运算...
本篇内容为整理<利用Python进行数据分析>,博主使用代码为 Python3,部分内容和书本有出入. 在前几篇中我们介绍了 NumPy.pandas.matplotlib 三个库的基本操 ...
- 【学习经典】python 数据聚合与分组运算(part 2)
本文的前半部分:python 数据聚合与分组运算(part 1) 4. 透视表和交叉表 透视表(pivot table)是各种电子表格程序和其他数据分析软件中一种常见的数据汇总工具.它根据一个或多个键 ...
- vfp python_python foxpro数据聚合和分组运算——分组级运算和转换(3)
数据聚合和分组运算--分组级运算和转换(3),有需要的朋友可以参考下. 1.假设我们想要为一个DataFrame添加一个用于存放各索引分组平均值的列,一个办法是先聚合再合并: >>> ...
最新文章
- 数据库备份(存储过程)
- 继续- 管理百人研发团队的烦恼(下)
- 【数字信号处理】相关函数 ( 相关函数性质 | 相关函数共轭对称性质 | 实信号自相关函数偶对称 | 复信号自相关函数共轭对称 | 复信号互相关函数共轭对称 )
- C语言学习之编程实现:输入长方形的两个边长a, b和一个整数k。k=1时,输出长方形的周长 l; k=2时 ,输出长方形的面积s;当k=3时 , 输出长方形的周长1和面积s
- 【两种解法】基础实验4-2.2 列出叶结点 (25 分)
- 复制中含有非法字符导致的错误
- python彩票数据分析案例_天津Python人工智能课程
- k3c路由怎么设置虚拟服务器,搭建ngrok服务器!!给k3.k3c.K2.k2p路由器使用!!详细教程!!!...
- 最常用的5个Python第三方库,你知道几个?第三个97%的程序员都在用!
- WinSCP(Windows与Linux文件同步工具)使用总结
- uniapp 引入第三方包发起网络数据请求
- 北理python复试_北理考研复试-北京理工大学考研复试经验
- 我的文档 属性设置里找不到位置选项,以及目录迁移解决方案
- 数据模型及E-R模型
- nero6.0使用教程
- 单臂路由与三层交换技术
- uni-app map路线轨迹回放功能及turf.js实现缓冲区渲染(微信小程序)
- 毕业设计论文选题系统系统用例图_毕业设计论文选题系统
- 关于TI公司DSP工程调用DELAY_US()进入非法中断问题的解决
- 经验分享:一套完整的硬件电路设计该怎么做?
热门文章
- java.util.HashMap
- krpano音量控制(我们已经转移到krpano中国网站 krpano360.com)
- jQuery1.9.1源码分析--Animation模块
- pytorch---之item()
- ubuntux学习日记
- 网易java笔试题_网易笔试题详细解答(Java)
- sap成本流怎么看_SAP FICO成本结算的流程到底是怎样的?
- 熟练运用计算机进行数学教案,小学数学与信息技术整合教案
- pdf转ppt_好用的pdf转ppt(一个神站+一个神器)
- torch summary_留学论文如何5分钟搞定写作Summary,速看!