怎样解决python dataframe loc，iloc循环处理速度很慢的问题

1.问题说明

最近用DataFrame做大数据处理，发现处理速度特别慢，追究原因，发现是循环处理时，loc，iloc速度都特别慢，当数据量特别大得时候真的是超级慢。查很多资料，发现没有详细说明，以下为解决办法

2.问题解决

使用 Pandas.Series.apply 方法，可以对一列数据快速进行处理

Series.apply(*func*, *convert_dtype=True*, *args=()*, **\*kwds*)

函数说明：

To lunch typora from Terminal, you could add

func : function
convert_dtype : boolean, default TrueTry to find better dtype for elementwise function results. If False, leave as dtype=object
args : tuplePositional arguments to pass to function in addition to the value
Additional keyword arguments will be passed as keywords to the function

例子讲解

# 首先导入数据
>>> import pandas as pd
>>> import numpy as np
>>> series = pd.Series([20, 21, 12], index=['London','New York','Helsinki'])
>>> series
London      20
New York    21
Helsinki    12
dtype: int64# 应用1，把每个值都*2
>>> def square(x):
...     return x**2
>>> series.apply(square)
London      400
New York    441
Helsinki    144
dtype: int64
>>> series.apply(lambda x: x**2)
London      400
New York    441
Helsinki    144
dtype: int64# 应用2，相减
>>> def subtract_custom_value(x, custom_value):
...     return x-custom_value
>>> series.apply(subtract_custom_value, args=(5,))
London      15
New York    16
Helsinki     7
dtype: int64# 使用numpy library中得函数
>>> series.apply(np.log)
London      2.995732
New York    3.044522
Helsinki    2.484907
dtype: float64

3.总结

这样可以快速操作一列数据，不必循环操作每行每列数据，对于大数据处理是非常有用的

转载于:https://www.cnblogs.com/gaoss/p/7657044.html

怎样解决python dataframe loc，iloc循环处理速度很慢的问题相关推荐

python打印自动换行如何解决_解决python DataFrame 打印结果不换行问题
解决python DataFrame 打印结果不换行问题如下所示: 加入代码: pd.set_option('display.width', 5000) 补充知识:Python 实现不换行打印字符的 ...
python dataframe loc函数_python pandas.DataFrame.loc函数使用详解
官方函数 DataFrame.loc Access a group of rows and columns by label(s) or a boolean array. .loc[] is prim ...
Python的数据科学函数包(二)——pandas(series dataframe)(loc iloc ix)(csv文件)
pandas 1.pandas数据的存储相对来说比较简单,它就只有两种非常重要的数据类型,一种叫series,一种叫dataframe series是指那些一维的数据,dataframe是指那些二维的 ...
python dataframe loc函数_详解pandas DataFrame的查询方法（loc,iloc,at,iat,ix的用法和区别）...
在操作DataFrame时,肯定会经常用到loc,iloc,at等函数,各个函数看起来差不多,但是还是有很多区别的,我们一起来看下吧. 首先,还是列出一个我们用的DataFrame,注意index一列 ...
Pandas DataFrame loc []访问一组行和列
Pandas DataFrame loc[] allows us to access a group of rows and columns. We can pass labels as well a ...
python ix loc iloc_python - dataframe的iloc，ix和loc有何不同？
DataFrame的iloc,ix和loc这三种切片方法有何不同吗? 之前看过一些官方文档,但还是无法理解这三者之间的区别. 例如,假设我们要获取DataFrame的前五行.这三者内部是如何实现的?求 ...
python iloc用法_pandas.DataFrame.loc和.iloc用法详解
.loc[ ]与.iloc[ ]用法详解目录 pandas.DataFrame.loc pandas.DataFrame.iloc 注意通过.loc[ ]或者.iloc[ ]获取数据时需要注 ...
2017.06.15-2016.06.18回顾 loc/iloc/ix dataframe相关 oracle无自增去重 correl
上周最后阶段比较忙,主要是忙jd的数据测试的事情还有就是各种新产品的事情,下面回顾一下这段时间的工作. 1.上周四快下班的时候开了一个新产品的会,初步确定了风控策略,但是接近下班的时候又告诉我另外一个 ...
python的loc函数_如何在pandas中使用loc、iloc函数进行数据索引（入门篇）
在数据分析过程中,很多时候我们需要从数据表中提取出我们需要的部分,而这么做的前提是我们需要先索引出这一部分数据.今天我们就来探索一下,如何在pandas中使用loc函数和iloc函数索引数据. 今天我 ...
python loc iloc,Python pandas loc用法与iloc区别聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明...
想了解聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明的相关内容吗,Rainpages在本文为您仔细讲解Python pandas loc用法与iloc区别的相关知识和一些C ...

怎样解决python dataframe loc，iloc循环处理速度很慢的问题

怎样解决python dataframe loc，iloc循环处理速度很慢的问题

1.问题说明

2.问题解决

3.总结

怎样解决python dataframe loc，iloc循环处理速度很慢的问题相关推荐

最新文章

热门文章