python numpy和pandas库的区别_python – 来自熊猫和numpy的意思不同

简洁版本：

之所以不同,是因为在调用平均操作时,pandas会使用瓶颈(如果已安装),而不是仅仅依赖于numpy.据推测,瓶颈似乎比numpy更快(至少在我的机器上),但代价是精确度.它们碰巧匹配64位版本,但32位不同(这是有趣的部分).

长版：

通过检查这些模块的源代码来判断发生了什么是非常困难的(它们非常复杂,即使是像平均值这样的简单计算,也很难说数值计算很难).最好使用调试器来避免大脑编译和那些类型的错误.调试器不会在逻辑上出错,它会告诉你究竟发生了什么.

这是我的一些堆栈跟踪(由于没有RNG的种子,值略有不同)：

可以重现(Windows)：

>>> import numpy as np; import pandas as pd

>>> x=np.random.normal(-9.,.005,size=900000)

>>> df=pd.DataFrame(x,dtype='float32',columns=['x'])

>>> df['x'].mean()

-9.0

>>> x.mean()

-9.0000037501099754

>>> x.astype(np.float32).mean()

-9.0000029

numpy的版本没什么特别的.这是熊猫版本有点古怪.

让我们来看看df [‘x’].mean()：

>>> def test_it_2():

... import pdb; pdb.set_trace()

... df['x'].mean()

>>> test_it_2()

... # Some stepping/poking around that isn't important

(Pdb) l

2307

2308 if we have an ndarray as a value, then simply perform the operation,

2309 otherwise delegate to the object

2310

2311 """

2312 -> delegate = self._values

2313 if isinstance(delegate, np.ndarray):

2314 # Validate that 'axis' is consistent with Series's single axis.

2315 self._get_axis_number(axis)

2316 if numeric_only:

2317 raise NotImplementedError('Series.{0} does not implement '

(Pdb) delegate.dtype

dtype('float32')

(Pdb) l

2315 self._get_axis_number(axis)

2316 if numeric_only:

2317 raise NotImplementedError('Series.{0} does not implement '

2318 'numeric_only.'.format(name))

2319 with np.errstate(all='ignore'):

2320 -> return op(delegate, skipna=skipna, **kwds)

2321

2322 return delegate._reduce(op=op, name=name, axis=axis, skipna=skipna,

2323 numeric_only=numeric_only,

2324 filter_type=filter_type, **kwds)

所以我们找到了麻烦点,但现在事情变得有些奇怪了：

(Pdb) op

(Pdb) op(delegate)

-9.0

(Pdb) delegate_64 = delegate.astype(np.float64)

(Pdb) op(delegate_64)

-9.000003749978807

(Pdb) delegate.mean()

-9.0000029

(Pdb) delegate_64.mean()

-9.0000037499788075

(Pdb) np.nanmean(delegate, dtype=np.float64)

-9.0000037499788075

(Pdb) np.nanmean(delegate, dtype=np.float32)

-9.0000029

请注意,delegate.mean()和np.nanmean输出-9.0000029类型为float32,而不是-9.0作为pandas nanmean.稍微探讨一下,你可以在pandas.core.nanops中找到pandas nanmean的来源.有趣的是,它实际上似乎应该首先匹配numpy.我们来看看pandas nanmean：

(Pdb) import inspect

(Pdb) src = inspect.getsource(op).split("\n")

(Pdb) for line in src: print(line)

@disallow('M8')

@bottleneck_switch()

def nanmean(values, axis=None, skipna=True):

values, mask, dtype, dtype_max = _get_values(values, skipna, 0)

dtype_sum = dtype_max

dtype_count = np.float64

if is_integer_dtype(dtype) or is_timedelta64_dtype(dtype):

dtype_sum = np.float64

elif is_float_dtype(dtype):

dtype_sum = dtype

dtype_count = dtype

count = _get_counts(mask, axis, dtype=dtype_count)

the_sum = _ensure_numeric(values.sum(axis, dtype=dtype_sum))

if axis is not None and getattr(the_sum, 'ndim', False):

the_mean = the_sum / count

ct_mask = count == 0

if ct_mask.any():

the_mean[ct_mask] = np.nan

else:

the_mean = the_sum / count if count > 0 else np.nan

return _wrap_results(the_mean, dtype)

这是bottleneck_switch装饰器的(短)版本：

import bottleneck as bn

...

class bottleneck_switch(object):

def __init__(self, **kwargs):

self.kwargs = kwargs

def __call__(self, alt):

bn_name = alt.__name__

try:

bn_func = getattr(bn, bn_name)

except (AttributeError, NameError): # pragma: no cover

bn_func = None

...

if (_USE_BOTTLENECK and skipna and

_bn_ok_dtype(values.dtype, bn_name)):

result = bn_func(values, axis=axis, **kwds)

用alt作为pandas nanmean函数调用它,所以bn_name是’nanmean’,这是从瓶颈模块中获取的attr：

(Pdb) l

93 result = np.empty(result_shape)

94 result.fill(0)

95 return result

97 if (_USE_BOTTLENECK and skipna and

98 -> _bn_ok_dtype(values.dtype, bn_name)):

99 result = bn_func(values, axis=axis, **kwds)

100

101 # prefer to treat inf/-inf as NA, but must compute the fun

102 # twice :(

103 if _has_infs(result):

(Pdb) n

> d:\anaconda3\lib\site-packages\pandas\core\nanops.py(99)f()

-> result = bn_func(values, axis=axis, **kwds)

(Pdb) alt

(Pdb) alt.__name__

'nanmean'

(Pdb) bn_func

(Pdb) bn_name

'nanmean'

(Pdb) bn_func(values, axis=axis, **kwds)

-9.0

假装bottleneck_switch()装饰器暂时不存在.我们实际上可以看到调用手动单步执行此函数(没有瓶颈)将获得与numpy相同的结果：

(Pdb) from pandas.core.nanops import _get_counts

(Pdb) from pandas.core.nanops import _get_values

(Pdb) from pandas.core.nanops import _ensure_numeric

(Pdb) values, mask, dtype, dtype_max = _get_values(delegate, skipna=skipna)

(Pdb) count = _get_counts(mask, axis=None, dtype=dtype)

(Pdb) count

900000.0

(Pdb) values.sum(axis=None, dtype=dtype) / count

-9.0000029

但是,如果你已经安装了瓶颈,那就永远不会被调用.相反,bottleneck_switch()装饰器反而突破了nanmean函数和瓶颈版本.这就是差异所在(有趣的是它在float64的情况下是匹配的)：

(Pdb) import bottleneck as bn

(Pdb) bn.nanmean(delegate)

-9.0

(Pdb) bn.nanmean(delegate.astype(np.float64))

-9.000003749978807

据我所知,瓶颈仅用于速度.我假设他们正在使用他们的nanmean函数采用某种类型的快捷方式,但我没有对它进行过多考察(有关此主题的详细信息,请参阅@ ead的答案).您可以看到它的基准测试通常比numpy快一点：https://github.com/kwgoodman/bottleneck.显然,为这个速度付出的代价是精确的.

瓶颈实际上更快吗？

当然看起来像(至少在我的机器上).

In [1]: import numpy as np; import pandas as pd

In [2]: x=np.random.normal(-9.8,.05,size=900000)

In [3]: y_32 = x.astype(np.float32)

In [13]: %timeit np.nanmean(y_32)

100 loops, best of 3: 5.72 ms per loop

In [14]: %timeit bn.nanmean(y_32)

1000 loops, best of 3: 854 ?s per loop

对于pandas来说,在这里引入一个标志可能会很好(一个用于速度,另一个用于更好的精度,默认用于速度,因为那是当前的impl).一些用户更关心计算的准确性而不是它发生的速度.

HTH.

python numpy和pandas库的区别_python – 来自熊猫和numpy的意思不同相关推荐

python numpy和pandas库的区别_Python模块 - Numpy与Pandas
Numpy简介 Numpy是高性能科学计算和数据分析的基础包.它是pandas等其他各种工具的基础. Numpy的主要功能: ndarray,一个多维数组结构,高效且节省空间无需循环对数组数据进行快 ...
Python数据分析笔记——Numpy、Pandas库
Python数据分析--Numpy.Pandas库总第48篇 ▼ 利用Python进行数据分析中有两个重要的库是Numpy和Pandas,本章将围绕这两个库进行展开介绍. Numpy库 Numpy最 ...
四、Python数据挖掘（Pandas库）
四.Python数据挖掘(Pandas库) 目录: 四.Python数据挖掘(Pandas库) 一.Pandas 简介二.Pandas 三大结构之--DataFrame 1.DataFrame 的创 ...
Python数据分析之Pandas库
Python数据分析之Pandas库一.Pandas简介二.Pandas库的安装三.Pandas的数据结构四.Series 和 DataFrame 数据结构的使用五.其他可以参考的网站一. ...
Python强大的Pandas库—数据艺术家
Python强大的Pandas库-数据艺术家日期:2021/4/21 作者:就叫易易好了 pandas是Python中的一个库,是一个强大的分析结构化数据集. pandas中的常见的数据结构有两种: ...
python对二维数组统计某一行的去重计数_Python数据分析笔记——Numpy、Pandas库
利用Python进行数据分析中有两个重要的库是Numpy和Pandas,本章将围绕这两个库进行展开介绍. Numpy库 Numpy最重要的一个特点是就是其N维数组对象,即ndarray,ndarray ...
ubuntu下python安装pandas和numpy等依赖库版本不兼容的问题RuntimeWarning: numpy.dtype size changed...
习惯了linux下用pip install numpy及pip install pandas命令了.折腾了好久了. 上来先在python3中pip3 install numpy装了numpy,然后再p ...
python怎么导入pandas库_Python之2-Pandas数据导入导出
Pandas可以读取与存取像CSV\EXCEL\JSON\HTML\SQL数据库等格式的资料,具体如下: 一:从excel中读取数据并另存一张表 #读取excel中的数据 bill=pd.read_e ...
python包和库的区别_python的库和包
广告关闭回望2020,你在技术之路上,有什么收获和成长么?对于未来,你有什么期待么?云+社区年度征文,各种定制好礼等你! python会把.zip归档文件当成一个目录去处理,1 #首先制作归档文件: ...

python numpy和pandas库的区别_python – 来自熊猫和numpy的意思不同

python numpy和pandas库的区别_python – 来自熊猫和numpy的意思不同相关推荐

最新文章

热门文章