循环下标_【转】【Python效率】五种Pandas循环方法效率对比

【Python效率】五种Pandas循环方法效率对比 - 文兄的文章 - 知乎 https://zhuanlan.zhihu.com/p/80880493

正文：
如果你使用过Python及Pandas，那么你很有可能已经使用了for循环去进行某些数据分析操作。不幸的是，绝大部分Python新手使用的下标循环语句实际上是非常之慢的，即便在小数据集上也会消耗大量的运行时间。本专栏之前的一些文章已经涉及了这方面的讨论，在这篇文章中文兄进一步特意对五种不同的For Loop方法进行横向对比，使大家更加明晰自己平时写的各种For循环到底效率几何。
注意：之后代码里出现的df是一个只有一个column叫做test的dataframe。另外各方法下面的代码均只是用法举例，并不和测试速度用的代码完全一致。测试代码原文如下：

https://towardsdatascience.com/how-to-make-your-pandas-loop-71-803-times-faster-805030df4f06towardsdatascience.com

方法1：下标循环（速度等级：）

下标循环是通过循环一个下标数列，通过iloc去不断get数据，这个方法是新手最常用的但也是最慢的，在测试例子中大概需要21.9s。方法2：Iterrows循环 （速度等级：）

该循环方式是通过iterrows进行循环，ind和row分别代表了每一行的index和内容。测试例子大概需要0.07s，比起下标循环速度提升了321倍。方法3：Apply循环（速度等级：）

Apply是pandas的一个常用函数，通常的用法是内接一个lambda匿名函数，从而对dataframe的每一行都进行循环处理。在测试例子中，apply的速度为0.027s，比下标循环快了811倍。方法4：Pandas内置向量化函数（速度等级：）

Pandas为我们提供了大量的内置向量化函数，比如sum，mean就可以快速计算某一列的求和和平均。在测试例子中速度为0.00236s，比下标循环快了9280倍。方法5：Numpy向量化函数（速度等级：）

最后一种方法是将Pandas的数据转化为Numpy的Array，然后使用Numpy的内置函数进行向量化操作。在测试例子中速度为0.000305s，比下标循环快了71800倍。
下面是详细的速度对比图，来自之前链接：

Sources:
[1] https://stackoverflow.com/questions/52673285/performance-of-pandas-apply-vs-np-vectorize-to-create-new-column-from-existing-c
[2] https://en.wikipedia.org/wiki/Locality_of_reference

循环下标_【转】【Python效率】五种Pandas循环方法效率对比相关推荐

python最快的循环方法_【转】【Python效率】五种Pandas循环方法效率对比
[Python效率]五种Pandas循环方法效率对比 - 文兄的文章 - 知乎 https://zhuanlan.zhihu.com/p/80880493 正文: 如果你使用过Python及Panda ...
【Python】五种Pandas图表美化样式汇总
Pandas是一种高效的数据处理库,它以dataframe和series为基本数据类型,呈现出类似excel的二维数据. 在Jupyter中,会美化Pandas的输出.不同于IDE展示的文本形式,Ju ...
python实现反转链表讲解_基于Python实现2种反转链表方法代码实例
题目: 反转一个单链表. 示例: 输入: 1->2->3->4->5->NULL 输出: 5->4->3->2->1->NULL 进阶: 你 ...
python中五种下划线 _
python中五种下划线 "_" 单前导下划线:_var 单末尾下划线:var_ 双前导下划线:__var 双前导和末尾下划线:var 单下划线:_ 在文章结尾处,你可以找到一个简 ...
ps去水印教程_ps去水印教程，详细解析五种去水印的方法
平常我们从一些素材网站下载图片的时候,不免会带上一些水印,使图片的整体美感下降不少,今天教同学们五种去除水印的方法,相信你学习以后,有所收获,遇到喜欢的图片可以把不想要的水印去掉,不过水印是保护图片的 ...
JSP页面的五种跳转方法
JSP(Java Server Pages)是由Sun Microsystems公司倡导.许多公司参与一起建立的一种动态网页技术标准.本文主要介绍的是JSP页面的五种跳转方法,一起来看. AD: JS ...
锅炉结垢不停炉不停工在线除垢技术与7种化学清洗水垢方法优势对比
锅炉结垢不停炉不停工在线除垢技术与7种化学清洗水垢方法优势对比一.锅炉结垢的原因锅炉结垢的原因是锅炉给水中含有钙镁硬度.腐蚀形成氧化铁.硅等含结垢成分物质,结垢成分物质在炉水中不断被加热浓缩.溶解 ...
python安装pandas模块-python安装numpy和pandas的方法步骤
最近要对一系列数据做同比比较,需要用到numpy和pandas来计算,不过使用python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了.首要条件,python版本必须 ...
python3 循环写入一对多键值对_为什么Python 3.6以后字典有序并且效率更高？
在Python 3.5(含)以前,字典是不能保证顺序的,键值对A先插入字典,键值对B后插入字典,但是当你打印字典的Keys列表时,你会发现B可能在A的前面. 但是从Python 3.6开始,字典是变成 ...

循环下标_【转】【Python效率】五种Pandas循环方法效率对比

循环下标_【转】【Python效率】五种Pandas循环方法效率对比相关推荐

最新文章

热门文章