python - 在NumPy中快速检查NaN

我正在寻找最快的方法来检查NumPy数组np.nan != np.nan中NaN(np.nan in X)的出现.np.isnan(X)是不可能的，因为它构建了一个形状为X.shape的布尔数组，这可能是巨大的。

我尝试了np.nan in X，但这似乎不起作用，因为np.nan != np.nan。是否有快速和内存效率的方法来做到这一点？

(对于那些会问“多么巨大”的人：我说不出来。这是图书馆代码的输入验证。)

7个解决方案

135 votes

Ray的解决方案很好。 但是，在我的机器上，使用min代替min快约2.5倍：

In [13]: %timeit np.isnan(np.min(x))

1000 loops, best of 3: 244 us per loop

In [14]: %timeit np.isnan(np.sum(x))

10000 loops, best of 3: 97.3 us per loop

与min不同，sum不需要分支，这在现代硬件上往往相当昂贵。 这可能是sum更快的原因。

编辑上面的测试是在阵列中间用一个NaN进行的。

值得注意的是，在NaN存在下，min比不存在时更慢。 随着NaN越来越接近数组的开头，它似乎也变慢了。 另一方面，无论是否存在NaN以及它们位于何处，sum的吞吐量似乎都是恒定的：

In [40]: x = np.random.rand(100000)

In [41]: %timeit np.isnan(np.min(x))

10000 loops, best of 3: 153 us per loop

In [42]: %timeit np.isnan(np.sum(x))

10000 loops, best of 3: 95.9 us per loop

In [43]: x[50000] = np.nan

In [44]: %timeit np.isnan(np.min(x))

1000 loops, best of 3: 239 us per loop

In [45]: %timeit np.isnan(np.sum(x))

10000 loops, best of 3: 95.8 us per loop

In [46]: x[0] = np.nan

In [47]: %timeit np.isnan(np.min(x))

1000 loops, best of 3: 326 us per loop

In [48]: %timeit np.isnan(np.sum(x))

10000 loops, best of 3: 95.9 us per loop

NPE answered 2019-08-02T16:57:44Z

24 votes

我认为np.isnan(np.min(X))应该做你想要的。

Ray answered 2019-08-02T16:58:11Z

17 votes

即使有一个公认的答案，我想演示以下内容(在Vista上使用Python 2.7.2和Numpy 1.6.0)：

In []: x= rand(1e5)

In []: %timeit isnan(x.min())

10000 loops, best of 3: 200 us per loop

In []: %timeit isnan(x.sum())

10000 loops, best of 3: 169 us per loop

In []: %timeit isnan(dot(x, x))

10000 loops, best of 3: 134 us per loop

In []: x[5e4]= NaN

In []: %timeit isnan(x.min())

100 loops, best of 3: 4.47 ms per loop

In []: %timeit isnan(x.sum())

100 loops, best of 3: 6.44 ms per loop

In []: %timeit isnan(dot(x, x))

10000 loops, best of 3: 138 us per loop

因此，真正有效的方式可能在很大程度上取决于操作系统。 无论如何dot(.)似乎是最稳定的一个。

eat answered 2019-08-02T16:58:44Z

7 votes

这里有两种通用方法：

检查每个数组项目dot并获取dot。

应用一些保留dots(如dot)的累积操作并检查其结果。

虽然第一种方法肯定是最干净的，但是一些累积操作(特别是在BLAS中执行的那些，例如dot)的大量优化可以使这些操作非常快。 请注意，dot与其他一些BLAS操作一样，在某些条件下是多线程的。 这解释了不同机器之间的速度差异。

import numpy

import perfplot

def min(a):

return numpy.isnan(numpy.min(a))

def sum(a):

return numpy.isnan(numpy.sum(a))

def dot(a):

return numpy.isnan(numpy.dot(a, a))

def any(a):

return numpy.any(numpy.isnan(a))

def einsum(a):

return numpy.isnan(numpy.einsum('i->', a))

perfplot.show(

setup=lambda n: numpy.random.rand(n),

kernels=[min, sum, dot, any, einsum],

n_range=[2**k for k in range(20)],

logx=True,

logy=True,

xlabel='len(a)'

)

Nico Schlömer answered 2019-08-02T16:59:35Z

2 votes

如果您对numba感到满意，它可以创建快速短路(一旦找到NaN就会停止)功能：

import numba as nb

import math

@nb.njit

def anynan(array):

array = array.ravel()

for i in range(array.size):

if math.isnan(array[i]):

return True

return False

如果没有anynan，该函数可能实际上比np.min慢，我认为这是因为np.min对大型数组使用多处理：

import numpy as np

array = np.random.random(2000000)

%timeit anynan(array) # 100 loops, best of 3: 2.21 ms per loop

%timeit np.isnan(array.sum()) # 100 loops, best of 3: 4.45 ms per loop

%timeit np.isnan(array.min()) # 1000 loops, best of 3: 1.64 ms per loop

但是如果数组中有NaN，特别是如果它的位置处于低指数，那么它会快得多：

array = np.random.random(2000000)

array[100] = np.nan

%timeit anynan(array) # 1000000 loops, best of 3: 1.93 µs per loop

%timeit np.isnan(array.sum()) # 100 loops, best of 3: 4.57 ms per loop

%timeit np.isnan(array.min()) # 1000 loops, best of 3: 1.65 ms per loop

使用Cython或C扩展可以获得类似的结果，这些结果有点复杂(或者可以像anynan一样容易获得)但最终可以与我的anynan功能相同。

MSeifert answered 2019-08-02T17:00:26Z

2 votes

enter code here

使用.any()

if not np.isfinite(prop).all()

numpy.isfinite可能比isnan更好检查

if not np.isfinite(prop).all()

woso answered 2019-08-02T17:01:11Z

1 votes

与此相关的是如何找到第一次出现NaN的问题。 这是处理我所知道的最快的方法：

index = next((i for (i,n) in enumerate(iterable) if n!=n), None)

vitiral answered 2019-08-02T17:01:39Z