【Python基础】高效的10个Pandas函数,你都用过吗?
文章来源于Python大数据分析,作者朱卫军
文章来源:towardsdatascience
作者:Soner Yıldırım
翻译\编辑:Python大数据分析❞
Pandas是python中最主要的数据分析库之一,它提供了非常多的函数、方法,可以高效地处理并分析数据。让pandas如此受欢迎的原因是它简洁、灵活、功能强大的语法。
这篇文章将会配合实例,讲解10个重要的pandas函数。其中有一些很常用,相信你可能用到过。还有一些函数出现的频率没那么高,但它们同样是分析数据的得力帮手。
介绍这些函数之前,第一步先要导入pandas和numpy。
import numpy as np
import pandas as pd
1. Query
Query是pandas的过滤查询函数,使用布尔表达式来查询DataFrame的列,就是说按照列的规则进行过滤操作。
用法:
pandas.DataFrame.query(self, expr, inplace = False, **kwargs)
参数作用:
expr:要评估的查询字符串;
inplace=False:查询是应该修改数据还是返回修改后的副本
kwargs:dict关键字参数
首先生成一段df:
values_1 = np.random.randint(10, size=10)
values_2 = np.random.randint(10, size=10)
years = np.arange(2010,2020)
groups = ['A','A','B','A','B','B','C','A','C','C']
df = pd.DataFrame({'group':groups, 'year':years, 'value_1':values_1, 'value_2':values_2})
df
过滤查询用起来比较简单,比如要查列value_1
<value_2
的行记录:
df.query('value_1 < value_2')
查询列year
>=2016的行记录:
df.query('year >= 2016 ')
2. Insert
Insert用于在DataFrame的指定位置中插入新的数据列。默认情况下新列是添加到末尾的,但可以更改位置参数,将新列添加到任何位置。
用法:
Dataframe.insert(loc, column, value, allow_duplicates=False)
参数作用:
loc: int型,表示插入位置在第几列;若在第一列插入数据,则 loc=0
column: 给插入的列取名,如 column='新的一列'
value:新列的值,数字、array、series等都可以
allow_duplicates: 是否允许列名重复,选择Ture表示允许新的列名与已存在的列名重复
接着用前面的df:
在第三列的位置插入新列:
#新列的值
new_col = np.random.randn(10)
#在第三列位置插入新列,从0开始计算
df.insert(2, 'new_col', new_col)
df
3. Cumsum
Cumsum是pandas的累加函数,用来求列的累加值。用法:
DataFrame.cumsum(axis=None, skipna=True, args, kwargs)
参数作用:
axis:index或者轴的名字
skipna:排除NA/null值
以前面的df为例,group列有A、B、C三组,year列有多个年份。我们只知道当年度的值value_1、value_2,现在求group分组下的累计值,比如A、2014之前的累计值,可以用cumsum函数来实现。
当然仅用cumsum函数没办法对groups (A, B, C)进行区分,所以需要结合分组函数groupby分别对(A, B, C)进行值的累加。
df['cumsum_2'] = df[['value_2','group']].groupby('group').cumsum()
df
4. Sample
Sample用于从DataFrame中随机选取若干个行或列。用法:
DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)
参数作用:
n:要抽取的行数
frac:抽取行的比例 例如frac=0.8,就是抽取其中80%
replace:是否为有放回抽样, True:有放回抽样 False:未放回抽样
weights:字符索引或概率数组
random_state :随机数发生器种子
axis:选择抽取数据的行还是列 axis=0:抽取行 axis=1:抽取列
比如要从df中随机抽取5行:
sample1 = df.sample(n=5)
sample1
从df随机抽取60%的行,并且设置随机数种子,每次能抽取到一样的样本:
sample2 = df.sample(frac=0.6,random_state=2)
sample2
5. Where
Where用来根据条件替换行或列中的值。如果满足条件,保持原来的值,不满足条件则替换为其他值。默认替换为NaN,也可以指定特殊值。
用法:
DataFrame.where(cond, other=nan, inplace=False, axis=None, level=None, errors='raise', try_cast=False, raise_on_error=None)
参数作用:
cond:布尔条件,如果 cond 为真,保持原来的值,否则替换为other
other:替换的特殊值
inplace:inplace为真则在原数据上操作,为False则在原数据的copy上操作
axis:行或列
将df中列value_1里小于5的值替换为0:
df['value_1'].where(df['value_1'] > 5 , 0)
Where是一种掩码操作。
「掩码」(英语:Mask)在计算机学科及数字逻辑中指的是一串二进制数字,通过与目标数字的按位操作,达到屏蔽指定位而实现需求。
6. Isin
Isin也是一种过滤方法,用于查看某列中是否包含某个字符串,返回值为布尔Series,来表明每一行的情况。
用法:
Series.isin(values)
或者
DataFrame.isin(values)
筛选df中year列值在['2010','2014','2017']里的行:
years = ['2010','2014','2017']
df[df.year.isin(years)]
7. Loc and iloc
Loc和iloc通常被用来选择行和列,它们的功能相似,但用法是有区别的。
用法:
DataFrame.loc[]
或者
DataFrame.iloc[]
loc:按标签(column和index)选择行和列
iloc:按索引位置选择行和列
选择df第1~3行、第1~2列的数据,使用iloc:
df.iloc[:3,:2]
使用loc:
df.loc[:2,['group','year']]1
提示:使用loc时,索引是指index值,包括上边界。iloc索引是指行的位置,不包括上边界。
选择第1、3、5行,year和value_1列:
df.loc[[1,3,5],['year','value_1']]
8. Pct_change
Pct_change是一个统计函数,用于表示当前元素与前面元素的相差百分比,两元素的区间可以调整。
比如说给定三个元素[2,3,6],计算相差百分比后得到[NaN, 0.5, 1.0],从第一个元素到第二个元素增加50%,从第二个元素到第三个元素增加100%。
用法:
DataFrame.pct_change(periods=1, fill_method=‘pad’, limit=None, freq=None, **kwargs)
参数作用:
periods:间隔区间,即步长
fill_method:处理空值的方法
对df的value_1列进行增长率的计算:
df.value_1.pct_change()
9. Rank
Rank是一个排名函数,按照规则(从大到小,从小到大)给原序列的值进行排名,返回的是排名后的名次。
比如有一个序列[1,7,5,3],使用rank从小到大排名后,返回[1,4,3,2],这就是前面那个序列每个值的排名位置。
用法:
rank(axis=0, method: str = 'average', numeric_only: Union[bool, NoneType] = None, na_option: str = 'keep', ascending: bool = True, pct: bool = False)
参数作用:
axis:行或者列
method:返回名次的方式,可选{‘average’, ‘min’, ‘max’, ‘first’, ‘dense’}
method=average 默认设置: 相同的值占据前两名,分不出谁是1谁是2,那么去中值即1.5,下面一名为第三名
method=max: 两人并列第 2 名,下一个人是第 3 名
method=min: 两人并列第 1 名,下一个人是第 3 名
method=dense: 两人并列第1名,下一个人是第 2 名
method=first: 相同值会按照其在序列中的相对位置定值ascending:正序和倒序
对df中列value_1进行排名:
df['rank_1'] = df['value_1'].rank()
df
10. Melt
Melt用于将宽表变成窄表,是 pivot透视逆转操作函数,将列名转换为列数据(columns name → column values),重构DataFrame。
简单说就是将指定的列放到铺开放到行上变成两列,类别是variable(可指定)列,值是value(可指定)列。
用法:
pandas.melt(frame, id_vars=None, value_vars=None, var_name=None, value_name='value', col_level=None)
参数作用:
frame:它是指DataFrame
id_vars [元组, 列表或ndarray, 可选]:不需要被转换的列名,引用用作标识符变量的列
value_vars [元组, 列表或ndarray, 可选]:引用要取消透视的列。如果未指定, 请使用未设置为id_vars的所有列
var_name [scalar]:指代用于”变量”列的名称。如果为None, 则使用- - frame.columns.name或’variable’
value_name [标量, 默认为’value’]:是指用于” value”列的名称
col_level [int或string, 可选]:如果列为MultiIndex, 它将使用此级别来融化
例如有一串数据,表示不同城市和每天的人口流动:
import pandas as pd
df1 = pd.DataFrame({'city': {0: 'a', 1: 'b', 2: 'c'},'day1': {0: 1, 1: 3, 2: 5},'day2': {0: 2, 1: 4, 2: 6}})
df1
现在将day1、day2列变成变量列,再加一个值列:
pd.melt(df1, id_vars=['city'])
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑获取一折本站知识星球优惠券,复制链接直接打开:https://t.zsxq.com/662nyZF本站qq群1003271085。加入微信群请扫码进群(如果是博士或者准备读博士请说明):
【Python基础】高效的10个Pandas函数,你都用过吗?相关推荐
- Python学习笔记(4)~Python基础练习之常用内置函数(1-10)
Python基础练习之常用内置函数(1-10) 1.abs() 作用 求数的绝对值或者复数的模 测试demo #!/usr/bin/python3 # abs: 求绝对值 or 复数的 ...
- python的dropna函数_Python学习教程:从Excel到Python最常用的32个Pandas函数(一)
原标题:Python学习教程:从Excel到Python最常用的32个Pandas函数(一) 本次的Python学习教程涉及pandas最常用的36个函数,通过这些函数介绍如何完成数据生成和导入.数据 ...
- python基础语法速查速学——函数
python基础语法速查速学--函数 函数的定义 def printinfo():print("-"*20)print("人生苦短,我用python")prin ...
- python基础总结--- 列表、内置函数(4-5)
文章目录 6. 列表 6.1 列表的索引和切片 6.2 修改列表的元素值 6.3 列表的常用方法 6.3.1 添加元素append 6.3.2 添加元素 extend 6.3.3 插入元素insert ...
- python基础语法(一)range函数
相关推荐: python基础语法(二)列表 文章目录 1.range()函数 2.range类型的优点 1.代码示例 1.range()函数 创建range对象的三种方式: range(stop):创 ...
- python基础12_匿名_内置函数
# 二分查找 示例 data = [1, 3, 6, 7, 9, 12, 14, 16, 17, 18, 20, 21, 22, 23, 30, 32, 33, 35, 36, 66]def bina ...
- Python基础教程(七):函数、模块
Python函数 函数是组织好的,可重复使用的,用来实现单一,或相关联功能的代码段. 函数能提高应用的模块性,和代码的重复利用率.你已经知道Python提供了许多内建函数,比如print().但你也可 ...
- python基础语法第10关作业-Python基础语法习题一
Part 1 习题 1.简述编译型与解释型语言的区别,且分别列出你知道的哪些语言属于编译型,哪些属于解释型2.执行 Python 脚本的两种方式是什么3.Pyhton 单行注释和多行注释分别用什么?4 ...
- python基础-文件操作(10)
一.什么是文件 等等这些都叫做文件,各种格式的.但不仅仅限制于这些. 二.文件的作用 大家应该听说过一句话:"好记性不如烂笔头". 不仅人的大脑会遗忘事情,计算机也会如此,比如一个 ...
最新文章
- centos7安装redmine3.4
- 三四线城市高价房内幕:开发商坐庄,中介布局,购房者盲目下注
- php设置错误,错误记录
- 3.13 判读是否是对称素数
- 【BZOJ3514】Codechef MARCH14 GERALD07加强版,LCT+主席树
- jetbrains-docker插件文档
- mysql fm999990.99999_Oracle如何显示小数点前面的0
- python导出excel数据表中追加数据_python pandas在已存在的excel中追加数据
- JS 里的数据类型及几个操作
- wpf linux 开发教程 pdf,深入浅出WPF
- 用计算机绘制阀体各零件步骤,机械制图之零件图(四)
- 因果法制体系轮回框架的崛起
- 电子知识|电源管理芯片
- Android 实现adb手机投屏
- 个性化品牌开始繁荣?为设计师和代工厂牵线的平台Maker's Row获得100万美元融资 | 36氪...
- 什么是真正的转运?常见的五种转运方法
- word excel转pdf,pdf合并,插入页码
- 灵机一栋团队小黄衫展示
- nodejs aes 加解密
- C++中的string用法