【转载】Python遍历pandas数据方法总结

转载自脚本之家
https://www.jb51.net/article/134753.htm 《Python遍历pandas数据方法总结》

贴4条常用的，其他的移步原帖链接。

列表解析方式

disftance_list = [df.iloc[i][‘high']/df.iloc[i][‘open'] for i in range(0,len(df))]

apply()方法循环方式
apply()方法可将函数应用于dataframe特定行或列。函数由lambda方式在代码中内嵌实现，lambda函数的末尾包含axis参数，用来告知Pandas将函数运用于行（axis = 1）或者列（axis = 0）。

实现代码如下：

df.apply(lambda row: row[‘high']/row[‘open'], axis =1)

Pandas series 的矢量化方式
Pandas的DataFrame、series基础单元数据结构基于链表，因此可将函数在整个链表上进行矢量化操作，而不用按顺序执行每个值。Pandas包括了非常丰富的矢量化函数库，我们可把整个series（列）作为参数传递，对整个链表进行计算。

实现代码如下：

dftest4['rate'] = dftest4['high']/dftest4['open']

Numpy arrays的矢量化方式
由于函数的矢量化实现中只使用了series的数值，因此可使用values 方法将链表从Pandas series转换为NumPy arrays，把NumPy array作为参数传递，对整个链表进行计算。

实现代码如下：

dftest5['rate'] = dftest5['high'].values/dftest5['open'].values

总结
使用timeit方法对以上几种遍历方式进行执行时间测试，测试结果如下。可以看出循环执行的速度是最慢的，iterrows()针对Pandas的dataframe进行了优化，相比直接循环有显著提升。apply()方法也是在行之间进行循环，但由于利用了类似Cython的迭代器的一系列全局优化，其效率要比iterrows高很多。NumPy arrays的矢量化运行速度最快，其次是Pandas series矢量化。由于矢量化是同时作用于整个序列的，可以节省更多的时间，相比使用标量操作更好，NumPy使用预编译的C代码在底层进行优化，同时也避免了Pandas series操作过程中的很多开销，例如索引、数据类型等等，因此，NumPy arrays的操作要比Pandas series快得多。

【转载】Python遍历pandas数据方法总结相关推荐

Python之pandas数据加载、存储
Python之pandas数据加载.存储 0. 输入与输出大致可分为三类: 0.1 读取文本文件和其他更好效的磁盘存储格式 2.2 使用数据库中的数据 0.3 利用Web API操作网络资源 1. 读 ...
python遍历数组的方法小结
这篇文章主要介绍了python遍历数组的方法,实例总结了两种Python遍历数组的技巧,非常具有实用价值,需要的朋友可以参考下本文实例总结了python遍历数组的方法.分享给大家供大家参考.具体分析 ...
[转载] Python利用pandas处理Excel数据的应用
参考链接: Python | Pandas数据比较与选择最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在做 ...
[转载] python 遍历字符串字符_python 遍历字符串(含汉字)实例详解
参考链接: Python字符串| rfind python 遍历字符串(含汉字)实例详解 python 遍历字符串(含汉字)实例详解 s = "中国china" for j in ...
[转载] Python中pandas dataframe删除一行或一列：drop函数
参考链接: Python | Pandas 数据 DataFrame 用法:DataFrame.drop(labels=None,axis=0, index=None, columns=None, i ...
[转载] Python字典的setdefault()方法
参考链接: Python字典setdefault() Python字典的setdefault()方法 (2012-06-22 02:18:05)转载▼ setdefault(key[, default ...
python遍历文件夹方法
python遍历文件夹 import os folder_path = '........' for root, dirs, files in os.walk(folder_path, True): ...
利用python下载fnl数据方法
(1)下载python,网上下载方法很多,此处不再赘述,记得下载和电脑系统版本匹配的就好: (2)去ncar官网注册 https://rda.ucar.edu/ 先进行注册,需要注意的是注册最好用教育 ...
python遍历数组的方法
python遍历数组的两种方法 1.for in arrays= ["昨天","今天","明天"]for array in arrays:p ...

【转载】Python遍历pandas数据方法总结

【转载】Python遍历pandas数据方法总结相关推荐

最新文章

热门文章