数据的聚合与分组运算
目录
一、分组与聚合的原理
二、groupby()方法拆分成组
三、数据集合
一、分组与聚合原理
(1)、分组是使用特定的条件将元数据进行划分为多个组。聚合是对每个分组中的数据执行某些操作,最后将计算结果进行整合。
(2)、过程:
拆分:将数据集按照些标准拆分为若干个组。
应用:将某个函数或方法(内置和自定义均可)应用到每个分组。
合并:将产生的新值整合到结果对象中。
二、groupby()方法拆分
(1)方法: groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,observed=False,kwargs)
参数含义:by:用于确定进行分组的依据。
axis:表示分组轴的方向,可以为0(表示按行)或(表示按列),默认为0。
level:如果某个轴是一个MultiIndex对象,则会按特定级别或多个级别分组。
as_index:表示聚合后的数据是否以组标签作为索引的DataFrame对象输出,,接受布尔值,默认为True。
sort:表示是否对分组标签进行排序,接受布尔值,默认为True。
注:通过groupby()方法执行分组操作,会返回一个GroupBy对象,该对象实际上并没有进行任何计算,只是包含一些关于分组键的中间数据而已。一般,使用Series调用groupby()方法返回的是SeriesGroupBy对象,而使用DataFrame调用groupby()方法返回的是DataFrameBy对象。
(2)、按列名进行分组:
1、代码:
import numpy as np import pandas as pddf = pd.DataFrame({"key": ['C', 'B', 'C', 'A', 'B', 'B', 'A', 'C', 'A'],"Data": [2, 4, 6, 8, 10, 1, 14, 16, 18]}) print(df) group_obj = df.groupby(by='key') print("df.groupby(by='key'):\n", group_obj)
2、如果要查看每个分组的具体内容,应该使用for循环遍历DataFrameGroupBy对象。
代码:
for i in group_obj:print(i)
(3)、按Series对象进行分组:
df= pd.DataFrame({'key1': ['A', 'A', 'B', 'B', 'A'],'kye2': ['one', 'two', 'one', 'two', 'one'],'data1': [2, 3, 4, 6, 8],'data2': [3, 5, 6, 3, 7]})
print(df)se = pd.Series(['a', 'b', 'c', 'a', 'b'])
group_obj = df1.groupby(by=se)
for i in group_obj:print(i)
(4)、按字典进行分组:
注:用字典对DataFrame进行分组时,需要确定轴的方向及字典中的映射关系,即字典中的键为列名,字典的值为自定义的分组名。
df- = DataFrame({'a': [1, 2, 4, 8, 3],'b': [9, 6, 3, 7, 5],'c': [2, 3, 4, 6, 8],'d': [3, 5, 6, 3, 7]})
mapping = {'a': '第一组', 'b': '第二组', 'c': '第三组', 'd': '第一组'}
print(df)
by_columns = df.groupby(by=mapping, axis=1)
print("by_columns:")
for i in by_columns:print(i)
(5)、按函数进行分组:在调用groupby()方法时传入了内置函数len(),表明len()函数会对行索引一列执行求长度的操作,以行索引名称的长度进行分组,则长度相同的行索引名称会分成一组。
df= DataFrame({'a': [1, 2, 4, 8, 3],'b': [9, 6, 3, 7, 5],'c': [2, 3, 4, 6, 8],'d': [3, 5, 6, 3, 7]},index=['Boy', 'Tom', 'Jok', 'Jacn', 'Helen'])
group_obj3 = df.groupby(by=len)
print("group_obj")
for i in group_obj:print(i)
三、数据聚合
(1)、如果内置方法无法满足聚合要求,则用agg()方法自定义函数
.agg(func,axis = 0,* args,** kwargs )
(2)对每一列数据应用同一个函数
def diff_max_min(x):return x.max() - x.min()
数据的聚合与分组运算相关推荐
- Python之数据聚合与分组运算
Python之数据聚合与分组运算 1. 关系型数据库方便对数据进行连接.过滤.转换和聚合. 2. Hadley Wickham创建了用于表示分组运算术语"split-apply-combin ...
- 【Python】GroupBy:数据聚合与分组运算
[博客地址]:https://blog.csdn.net/sunyaowu315 [博客大纲地址]:https://blog.csdn.net/sunyaowu315/article/details/ ...
- 类的应用python平均分_【数据科学系统学习】Python # 数据分析基本操作[四] 数据规整化和数据聚合与分组运算...
本篇内容为整理<利用Python进行数据分析>,博主使用代码为 Python3,部分内容和书本有出入. 在前几篇中我们介绍了 NumPy.pandas.matplotlib 三个库的基本操 ...
- pandas合并groupby_pandas数据聚合与分组运算——groupby方法
简介 pandas中一类非常重要的操作是数据聚合与分组运算.通过groupby方法能够实现对数据集的拆分.统计.转换等操作,这个过程一气呵成. 在本文中,你将学到: 选取特定列分组: 对分组进行迭代: ...
- Python数据聚合和分组运算(1)-GroupBy Mechanics
前言 Python的pandas包提供的数据聚合与分组运算功能很强大,也很灵活.<Python for Data Analysis>这本书第9章详细的介绍了这方面的用法,但是有些细节不常用 ...
- 《利用python进行数据分析》读书笔记--第九章 数据聚合与分组运算(一)
http://www.cnblogs.com/batteryhp/p/5046450.html 对数据进行分组并对各组应用一个函数,是数据分析的重要环节.数据准备好之后,通常的任务就是计算分组统计或生 ...
- 【学习】数据聚合和分组运算【groupby】
[学习]数据聚合和分组运算[groupby] 分组键可以有多种方式,且类型不必相同 列表或数组, 某长度与待分组的轴一样 表示DataFrame某个列名的值 字典或Series,给出待分组轴上的值与分 ...
- 【学习经典】python 数据聚合与分组运算(part 2)
本文的前半部分:python 数据聚合与分组运算(part 1) 4. 透视表和交叉表 透视表(pivot table)是各种电子表格程序和其他数据分析软件中一种常见的数据汇总工具.它根据一个或多个键 ...
- vfp python_python foxpro数据聚合和分组运算——分组级运算和转换(3)
数据聚合和分组运算--分组级运算和转换(3),有需要的朋友可以参考下. 1.假设我们想要为一个DataFrame添加一个用于存放各索引分组平均值的列,一个办法是先聚合再合并: >>> ...
最新文章
- 回滚到公共回购中的旧Git提交
- 广播与P2P通道(下) -- 方案实现
- Java线程通俗讲解
- java 检查进程是否存在
- 手把手教你用.NET Core写爬虫
- plsql只提交存储过程里的事务_plsql 存储过程 事务
- php 循环删除文件,php循环删除目录及目录下的文件
- mysql大表修改字段_mysql 如何给大表添加字段
- 139邮件服务器怎么设置,139手机邮箱的设置
- MT6575芯片原理图MT6575原理图及量产板
- 渗透测试 | IP信息收集
- Pycharm Setting Python Interpreter
- conda安装rdkit包出现的问题
- JavaScript 面向对象(二)——案列篇
- Oracle后台专家解决library cache锁争用的终极武器
- 连接远程计算机输入网络密码错误,电脑远程无法连接常见问题及解决大全
- msm8909平台JEITA配置和bat-V therm表合入
- php授权系统原理,Mysql权限系统工作原理-PHP教程,PHP基础
- AFX_EXT_CLASS
- 移动端手机详情页html,15个手机详情页设计细节,助你输出高品质页面
热门文章
- 面试题:25匹马最快3匹及扩展
- android 程序白屏,Android冷启动白屏问题
- PAT-ADVANCED1114——Family Property
- android室内地图,概述-Android 室内地图SDK | 高德地图API
- 【产品人卫朋】2022年产品人必备的13个设计类网站(1.0版)
- 朋也社区 v5.2.0 更新,新增手机号,微信登录外加主题一套
- windows快速生成ssh key
- jk触发器改为四进制_锁存器、触发器、寄存器和缓冲器的区别
- 函数声明放在头文件中,函数的定义放在实现文件中,然后在主函数中调用
- 计算机怎么进入用户模式,Win7系统怎么进入电脑安全模式?