python效率计算公式_Python: Pandas运算的效率探讨以及如何选择高效的运算方式

本文就Pandas的运行效率作一个对比的测试，来探讨用哪些方式，会使得运行效率较好。

测试环境如下：

windows 7， 64位

python 3.5

pandas 0.19.2

numpy 1.11.3

jupyter notebook

需要说明的是，不同的系统，不同的电脑配置，不同的软件环境，运行结果可能有些差异。就算是同一台电脑，每次运行时，运行结果也不完全一样。

1 测试内容

测试的内容为，分别用三种方法来计算一个简单的运算过程，即 a*a+b*b 。

三种方法分别是：

python的for循环

Pandas的Series

Numpy的ndarray

首先构造一个DataFrame，数据量的大小，即DataFrame的行数，分别为10， 100， 1000， … ，直到10,000,000（一千万）。

然后在jupyter notebook中，用下面的代码分别去测试，来查看不同方法下的运行时间，做一个对比。

import pandas as pd

import numpy as np

# 100分别用 10，100，...，10,000,000来替换运行

list_a = list(range(100))

# 200分别用 20，200，...，20,000,000来替换运行

list_b = list(range(100,200))

print(len(list_a))

print(len(list_b))

df = pd.DataFrame({'a':list_a, 'b':list_b})

print('数据维度为：{}'.format(df.shape))

print(len(df))

print(df.head())

100

数据维度为：(100, 2)

100

a b

0 0 100

1 1 101

2 2 102

3 3 103

4 4 104

执行运算， a*a + b*b

Method 1: for循环

%%timeit

# 当DataFrame的行数大于等于1000000时，请用 %%time 命令

for i in range(len(df)):

df['a'][i]*df['a'][i]+df['b'][i]*df['b'][i]

100 loops, best of 3: 12.8 ms per loop

Method 2: Series

type(df['a'])

pandas.core.series.Series

%%timeit

df['a']*df['a']+df['b']*df['b']

The slowest run took 5.41 times longer than the fastest. This could mean that an intermediate result is being cached.

1000 loops, best of 3: 669 µs per loop

Method 3: ndarray

type(df['a'].values)

numpy.ndarray

%%timeit

df['a'].values*df['a'].values+df['b'].values*df['b'].values

10000 loops, best of 3: 34.2 µs per loop

2 测试结果

运行结果如下：

从运行结果可以看出，for循环明显比Series和ndarray要慢很多，并且数据量越大，差异越明显。当数据量达到一千万行时，for循环的表现也差一万倍以上。而Series和ndarray之间的差异则没有那么大。

PS： 1000万行时，for循环运行耗时特别长，各位如果要测试，需要注意下，请用 %%time 命令（只测试一次）。

下面通过图表来对比下Series和ndarray之间的表现。

从上图可以看出，当数据小于10万行时，ndarray的表现要比Series好些。而当数据行数大于100万行时，Series的表现要稍微好于ndarray。当然，两者的差异不是特别明显。

所以一般情况下，个人建议，for循环，能不用则不用，而当数量不是特别大时，建议使用ndarray（即df[‘col’].values）来进行计算，运行效率相对来说要好些。

python效率计算公式_Python: Pandas运算的效率探讨以及如何选择高效的运算方式相关推荐

python npv 计算公式_Python numpy 中常用的数据运算
Numpy 精通面向数组编程和思维方式是成为Python科学计算大牛的一大关键步骤.--<利用Python进行数据分析> Numpy(Numerical Python)是Python科学计 ...
python多进程爬虫保存数据_Python多进程爬虫东方财富盘口异动数据+Python读写Mysql与Pandas读写Mysql效率对比...
先上个图看下网页版数据.mysql结构化数据通过Python读写mysql执行时间为:1477s,而通过Pandas读写mysql执行时间为:47s,方法2速度几乎是方法1的30倍.在于IO读写上, ...
python效率提升_Python GUI开发，效率提升10倍的方法！
1 框架简介这个框架的名字叫 PySimpleGUI,它完全基于Python语言,能非常方便地开发GUI界面,代码量相比现有框架减少50%到90%.并且,它提供了极为友好的Python风格的接口,大 ...
python多线程图像识别_Python 多线程抓取图片效率对比
目的: 是学习python 多线程的工作原理,及通过抓取400张图片这种IO密集型应用来查看多线程效率对比 import requests import urlparse import os impo ...
python数字计算公式_python数的运算
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 什么是运算符? 本章节主要说明python的运算符. 举个简单的例子4 +5 = ...
python数字计算公式_Python编程5：Python中的数字和数学运算
#少儿编程# 小朋友们应该都玩过计算器,用计算器做算术,不论数字多大,它都能迅速的给出答案.而计算机不仅计算的更快,还能做更复杂的计算.计算机非常善于计算,它每秒能执行10亿次的计算. Python中 ...
python多线程效率低_Python 多进程、多线程效率比较
Python 界有条不成文的准则: 计算密集型任务适合多进程,IO 密集型任务适合多线程.本篇来作个比较. 通常来说多线程相对于多进程有优势,因为创建一个进程开销比较大,然而因为在 python 中有 ...
有没有好的python教程推荐_Python Pandas教程推荐，全网最佳，没有之一
https://zhuanlan.zhihu.com/p/29576732zhuanlan.zhihu.com 简介下面内容为github作者的Pandas学习笔记,目前是我看到最好的资料,没有之 ...
python center函数_python pandas移动窗口函数rolling的用法
超级好用的移动窗口函数最近经常使用移动窗口函数,觉得很方便,功能强大,代码简单,故将pandas中的移动窗口函数都做介绍.它都是以rolling打头的函数,后接具体的函数,来显示该移动窗口函数的功能 ...

python效率计算公式_Python: Pandas运算的效率探讨以及如何选择高效的运算方式

python效率计算公式_Python: Pandas运算的效率探讨以及如何选择高效的运算方式相关推荐

最新文章

热门文章