Python NumPy 基础：数组和向量计算

文章目录

1.1 NumPy 的ndarray：一种多维数组对象
- 创建ndarray
- ndarray数据类型
- NumPy 数组的运算
- 基本的索引和切片
- 切片索引
- 布尔型索引
- 花式索引
- 数组转置和轴对换
- 通用函数：快速的元素级数组函数
- 将条件逻辑表述为数组运算
- 数学和统计方法
- 用于布尔型数组的方法
- 排序
- 唯一化以及其它的集合逻辑
- 用于数组的文件输入输出
- 线性代数
- 随机数生成

NumPy（Numerical Python 的简称）是 Python 数值计算最重要的基础包。大多数提供科学计算的包都是用 NumPy 的数组作为构建基础。

NumPy 的部分功能如下：

ndarray，一个具有向量算术运算和复杂广播能力的快速且节省空间的多维数组。
用于对整组数据进行快速运算的标准数学函数（无需编写循环）。
用于读写磁盘数据的工具以及用于操作内存映射文件的工具。
线性代数、随机数生成以及傅里叶变换功能。
用于集成由 C、C++、Fortran 等语言编写的代码的 C API。
由于 NumPy 提供了一个简单易用的 C API，因此很容易将数据传递给由低级语言编写的外部库，外部库也能以 NumPy 数组的形式将数据返回给 Python。这个功能使 Python 成为一种包装 C/C++/Fortran 历史代码库的选择，并使被包装库拥有一个动态的、易用的接口。

NumPy 本身并没有提供多么高级的数据分析功能，理解 NumPy 数组以及面向数组的计算将有助于你更加高效地使用诸如 pandas 之类的工具。因为 NumPy 是一个很大的题目，我会在附录 A 中介绍更多 NumPy 高级功能，比如广播。

对于大部分数据分析应用而言，我最关注的功能主要集中在：

用于数据整理和清理、子集构造和过滤、转换等快速的向量化数组运算。
常用的数组算法，如排序、唯一化、集合运算等。
高效的描述统计和数据聚合/摘要运算。
用于异构数据集的合并/连接运算的数据对齐和关系型数据运算。
将条件逻辑表述为数组表达式（而不是带有if-elif-else分支的循环）。
数据的分组运算（聚合、转换、函数应用等）。。
虽然 NumPy 提供了通用的数值数据处理的计算基础，但大多数读者可能还是想将 pandas 作为统计和分析工作的基础，尤其是处理表格数据时。pandas 还提供了一些 NumPy 所没有的领域特定的功能，如时间序列处理等。

1.1 NumPy 的ndarray：一种多维数组对象

NumPy 最重要的一个特点就是其 N 维数组对象（即ndarray），该对象是一个快速而灵活的大数据集容器。你可以利用这种数组对整块数据执行一些数学运算，其语法跟标量元素之间的运算一样。

要明白 Python 是如何利用与标量值类似的语法进行批次计算，我先引入 NumPy，然后生成一个包含随机数据的小数组：

In [12]: import numpy as np# Generate some random data
In [13]: data = np.random.randn(2, 3)In [14]: data
Out[14]:
array([[-0.2047,  0.4789, -0.5194],[-0.5557,  1.9658,  1.3934]])

对其进行数学运算

In [15]: data * 10
Out[15]:
array([[ -2.0471,   4.7894,  -5.1944],[ -5.5573,  19.6578,  13.9341]])In [16]: data + data
Out[16]:
array([[-0.4094,  0.9579, -1.0389],[-1.1115,  3.9316,  2.7868]])

ndarray是一个通用的同构数据多维容器，也就是说，其中的所有元素必须是相同类型的。每个数组都有一个shape（一个表示各维度大小的元组）和一个dtype（一个用于说明数组数据类型的对象）：

In [17]: data.shape
Out[17]: (2, 3)In [18]: data.dtype
Out[18]: dtype('float64')

创建ndarray

创建数组最简单的方法是使用array函数，它接收一切序列型对象（包含其他数组），然后产生一个新的含有传入数据的numpy数组。以一个列表转换为例

In [19]: data1 = [6, 7.5, 8, 0, 1]In [20]: arr1 = np.array(data1)In [21]: arr1
Out[21]: array([ 6. ,  7.5,  8. ,  0. ,  1. ])

嵌套序列（比如一个由一组等长列表组成的列表）可以转换为多维数组

In [22]: data2 = [[1, 2, 3, 4], [5, 6, 7, 8]]In [23]: arr2 = np.array(data2)In [24]: arr2
Out[24]:
array([[1, 2, 3, 4],[5, 6, 7, 8]])

数组除了shape,dtype两个属性为还有一个属性ndim，这个属性是表明这个数组是几维数组（一般都是一维和两维数组）

In [25]: arr2.ndim
Out[25]: 2In [26]: arr2.shape
Out[26]: (2, 4)

除np.array之外，还有一些函数也可以新建数组。比如，zeros和ones分别可以创建指定长度或形状的全 0 或全 1 数组。empty可以创建一个没有任何具体值的数组。要用这些方法创建多维数组，只需传入一个表示形状的元组即可：
注意：认为np.empty会返回全 0 数组的想法是不安全的。很多情况下（如前所示），它返回的都是一些未初始化的垃圾值。

In [29]: np.zeros(10)
Out[29]: array([ 0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.])In [30]: np.zeros((3, 6))
Out[30]:
array([[ 0.,  0.,  0.,  0.,  0.,  0.],[ 0.,  0.,  0.,  0.,  0.,  0.],[ 0.,  0.,  0.,  0.,  0.,  0.]])In [31]: np.empty(10)
Out[31]:
array([6.23042070e-307, 1.42417221e-306, 1.37961641e-306, 2.22522597e-306,6.23058028e-307, 6.23053954e-307, 1.78020169e-306, 1.78021527e-306,1.02360528e-306, 1.69120281e-306]))

此外还可以通过arange创建一个arange的数组，实例如下

In [32]: np.arange(15)
Out[32]: array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14])

表 1-1 列出了一些数组创建函数。由于 NumPy 关注的是数值计算，因此，如果没有特别指定，数据类型基本都是float64（浮点数）。

ndarray数据类型

dtype（数据类型）是一个特殊的对象，它含有ndarray将一块内存解释为特定数据类型所需的信息：

In [33]: arr1 = np.array([1, 2, 3], dtype=np.float64)In [34]: arr2 = np.array([1, 2, 3], dtype=np.int32)In [35]: arr1.dtype
Out[35]: dtype('float64')In [36]: arr2.dtype
Out[36]: dtype('int32')

可以通过ndarray的astype方法转换数组的数据类型

In [37]: arr = np.array([1, 2, 3, 4, 5])In [38]: arr.dtype
Out[38]: dtype('int64')In [39]: float_arr = arr.astype(np.float64)In [40]: float_arr.dtype
Out[40]: dtype('float64')

在本例中，整数被转换成了浮点数。如果将浮点数转换成整数，则小数部分将会被截取删除：

In [41]: arr = np.array([3.7, -1.2, -2.6, 0.5, 12.9, 10.1])In [42]: arr
Out[42]: array([  3.7,  -1.2,  -2.6,   0.5,  12.9,  10.1])In [43]: arr.astype(np.int32)
Out[43]: array([ 3, -1, -2,  0, 12, 10], dtype=int32)

如果某字符串数组表示的全是数字，也可以用astype将其转换为数值形式：

In [44]: numeric_strings = np.array(['1.25', '-9.6', '42'], dtype=np.string_)In [45]: numeric_strings.astype(float)
Out[45]: array([  1.25,  -9.6 ,  42.  ])

NumPy 数组的运算

数组很重要，因为它使你不用编写循环就可以对数据执行批量运算，NumPy用户称其为向量化。
大小形同的数组任何算术运算都将作用到元素级

In [51]: arr = np.array([[1., 2., 3.], [4., 5., 6.]])In [52]: arr
Out[52]:
array([[ 1.,  2.,  3.],[ 4.,  5.,  6.]])In [53]: arr * arr
Out[53]:
array([[  1.,   4.,   9.],[ 16.,  25.,  36.]])In [54]: arr - arr
Out[54]:
array([[ 0.,  0.,  0.],[ 0.,  0.,  0.]])

数组可以和数值进行运算，运算时是数组中的每个元素都与数值进行运算。

In [55]: 1 / arr
Out[55]:
array([[ 1.    ,  0.5   ,  0.3333],[ 0.25  ,  0.2   ,  0.1667]])In [56]: arr ** 0.5
Out[56]:
array([[ 1.    ,  1.4142,  1.7321],[ 2.    ,  2.2361,  2.4495]])

大小相同的数组的比较会生成布尔型的数组，数组与数值比较也可以生成布尔型数组，原理和算术运算一致

In [57]: arr2 = np.array([[0., 4., 1.], [7., 2., 12.]])In [58]: arr2
Out[58]:
array([[  0.,   4.,   1.],[  7.,   2.,  12.]])In [59]: arr2 > arr
Out[59]:
array([[False,  True, False],[ True, False,  True]], dtype=bool)

基本的索引和切片

NumPy 数组的索引是一个内容丰富的主题，因为选取数据子集或单个元素的方式有很多。一维数组很简单。从表面上看，它们跟 Python 列表的功能差不多：

In [60]: arr = np.arange(10)In [61]: arr
Out[61]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])In [62]: arr[5]
Out[62]: 5In [63]: arr[5:8]
Out[63]: array([5, 6, 7])In [64]: arr[5:8] = 12In [65]: arr
Out[65]: array([ 0,  1,  2,  3,  4, 12, 12, 12,  8,  9])

如上所示，当你将一个数组赋值给一个切片时如（arr[5:8] = 12）这个切片的所有元素都变成这个值（数组也是这样）。
注意：和列表不同的是，数组切片是原始数组的视图，这意味着数组切片不会被复制，视图上的任何修改都会反映到原始数组上

作为例子，先创建一个arr的切片：

In [66]: arr_slice = arr[5:8]In [67]: arr_slice
Out[67]: array([12, 12, 12])

现在，当我修改arr_slice中的值，变动也会体现在原始数组arr中：

In [68]: arr_slice[1] = 12345In [69]: arr
Out[69]: array([    0,     1,     2,     3,     4,    12, 12345,    12,     8,   9])

切片[:]会给数组中的所有值赋值：(注意如果把切片赋给某个变量，然后直接给这个变量重新赋值某个值是不能改变原始数组的，只有像这种加个冒号才行，因为如果把一个数值赋值给这个变量，相当于把这个变量原来的切片给换掉了并没有改变这个切片）

In [70]: arr_slice[:] = 64In [71]: arr
Out[71]: array([ 0,  1,  2,  3,  4, 64, 64, 64,  8,  9])

如果你刚开始接触 NumPy，可能会对此感到惊讶（尤其是当你曾经用过其他热衷于复制数组数据的编程语言）。由于 NumPy 的设计目的是处理大数据，所以你可以想象一下，假如 NumPy 坚持要将数据复制来复制去的话会产生何等的性能和内存问题。

注意如果你想得到一个数组的副本而不是切片，需要使用copy()函数

对于高维数组，如果你还是像列表那样进行切片，则取的不是单个值而是一个一维数组

In [72]: arr2d = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])In [73]: arr2d[2]
Out[73]: array([7, 8, 9])

因此，可以对各个元素进行递归访问，但这样需要做的事情有点多。你可以传入一个以逗号隔开的索引列表来选取单个元素。也就是说，下面两种方式是等价的：

In [74]: arr2d[0][2]
Out[74]: 3In [75]: arr2d[0, 2]
Out[75]: 3

在多维数组中，如果省略了后面的索引，则会返回一个维度更低的数组

In [76]: arr3d = np.array([[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]])In [77]: arr3d
Out[77]:
array([[[ 1,  2,  3],[ 4,  5,  6]],[[ 7,  8,  9],[10, 11, 12]]])
#arr3d[0]是一个2×3数组：
In [78]: arr3d[0]
Out[78]:
array([[1, 2, 3],[4, 5, 6]])
#标量值和数组都可以被赋值给arr3d[0]：
In [79]: old_values = arr3d[0].copy()In [80]: arr3d[0] = 42In [81]: arr3d
Out[81]:
array([[[42, 42, 42],[42, 42, 42]],[[ 7,  8,  9],[10, 11, 12]]])In [82]: arr3d[0] = old_valuesIn [83]: arr3d
Out[83]:
array([[[ 1,  2,  3],[ 4,  5,  6]],[[ 7,  8,  9],[10, 11, 12]]])
#相似的，arr3d[1,0]可以访问索引以(1,0)开头的那些值（以一维数组的形式返回）：
In [84]: arr3d[1, 0]
Out[84]: array([7, 8, 9])
#虽然是用两步进行索引的，表达式是相同的：
In [85]: x = arr3d[1]In [86]: x
Out[86]:
array([[ 7,  8,  9],[10, 11, 12]])In [87]: x[0]
Out[87]: array([7, 8, 9])

注意，在上面所有这些选取数组子集的例子中，返回的数组都是视图。

切片索引

数组的切片索引和列表基本一致，需要注意的是多维数组切片不同维度切片要用逗号间隔，如果省略了后面的切片，则省略的切片和" ："结果一致
首先看一维数组的切片

#一维数组的切片和列表完全一致
In [88]: arr
Out[88]: array([ 0,  1,  2,  3,  4, 64, 64, 64,  8,  9])In [89]: arr[1:6]
Out[89]: array([ 1,  2,  3,  4, 64])

然后是二维数组的切片

In [88]:
arr2 = np.array([[1, 2, 3],[4, 5, 6],[7, 8, 9]])
#从结果上来看如果省略了后面维度的切片，则相当于省略的那一维度的元素全部提取也就相当于arr2[:2]和arr2[:2,:]结果一致。
#不同维度的切片用逗号“，”隔开
#如果你不想对第一个轴进行切片只想对第二个轴进行切片则可以像arr2[:,:2]进行操作（第一轴只有":"则表示取第一轴的全部元素）
arr2,arr2[:2],arr2[:2,:],arr2[:2,2],arr2[:,:2]
Out[89]:
(array([[1, 2, 3],[4, 5, 6],[7, 8, 9]]),array([[1, 2, 3],[4, 5, 6]]),array([[1, 2, 3],[4, 5, 6]]),array([3, 6]))array([[1, 2],[4, 5],[7, 8]]))

布尔型索引

像上面的索引只能单个索引或者连续成片的进行索引，而不能进行间隔的进行切片或者索引，或者进行有选择的索引，这个时候就可以使用布尔型索引达到此目标
来看这样一个例子，假设我们有一个用于存储数据的数组以及一个存储姓名的数组（含有重复项）。在这里，我将使用numpy.random中的randn函数生成一些正态分布的随机数据：

In [98]: names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])In [99]: data = np.random.randn(7, 4)In [100]: names
Out[100]:
array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'],dtype='<U4')In [101]: data
Out[101]:
array([[ 0.0929,  0.2817,  0.769 ,  1.2464],[ 1.0072, -1.2962,  0.275 ,  0.2289],[ 1.3529,  0.8864, -2.0016, -0.3718],[ 1.669 , -0.4386, -0.5397,  0.477 ],[ 3.2489, -1.0212, -0.5771,  0.1241],[ 0.3026,  0.5238,  0.0009,  1.3438],[-0.7135, -0.8312, -2.3702, -1.8608]])

假设每个名字都对应data数组中一行，我们想选出‘Bob’对应的行，和算数运算一样，数组的比较运算（如==）也是向量化的，因此对数组names和字符串"Bob"进行比较会生成一个布尔型的数组

In [102]: names == 'Bob'
Out[102]: array([ True, False, False,  True, False, False, False], dtype=bool)

这个布尔型数组可以作为索引

In [103]: data[names == 'Bob']
Out[103]:
array([[ 0.0929,  0.2817,  0.769 ,  1.2464],[ 1.669 , -0.4386, -0.5397,  0.477 ]])

这个布尔型数组必须必须和被索引的轴长度一致，而且还可以和切片，数值一起使用

In [104]: data[names == 'Bob', 2:]
Out[104]:
array([[ 0.769 ,  1.2464],[-0.5397,  0.477 ]])In [105]: data[names == 'Bob', 3]
Out[105]: array([ 1.2464,  0.477 ])

如果要选择不等于"Bob"的列，可以使用不等于号"!=“，也可以通过”~"符合，对条件进行否定

In [106]: names != 'Bob'
Out[106]: array([False,  True,  True, False,  True,  True,  True], dtype=bool)In [107]: data[~(names == 'Bob')]
Out[107]:
array([[ 1.0072, -1.2962,  0.275 ,  0.2289],[ 1.3529,  0.8864, -2.0016, -0.3718],[ 3.2489, -1.0212, -0.5771,  0.1241],[ 0.3026,  0.5238,  0.0009,  1.3438],[-0.7135, -0.8312, -2.3702, -1.8608]])

使用比较运算符生成布尔型数组，不仅可以是单个条件，而且可以使用"&"和”|“符合来进行多条件运算比较运算符例如这样的

In [110]: mask = (names == 'Bob') | (names == 'Will')In [111]: mask
Out[111]: array([ True, False,  True,  True,  True, False, False], dtype=bool)In [112]: data[mask]
Out[112]:
array([[ 0.0929,  0.2817,  0.769 ,  1.2464],[ 1.3529,  0.8864, -2.0016, -0.3718],[ 1.669 , -0.4386, -0.5397,  0.477 ],[ 3.2489, -1.0212, -0.5771,  0.1241]])

注意;通过布尔型索引选取数组中的数据，将总是创建数据的副本，即使返回一模一样的数组也是如此。
注意：注意：Python 关键字and和or在布尔型数组中无效。要使用&与|。

通过布尔型数组设置值是一种经常用到的手段。为了将data中的所有负值都设置为 0，我们只需：

In [113]: data[data < 0] = 0In [114]: data
Out[114]:
array([[ 0.0929,  0.2817,  0.769 ,  1.2464],[ 1.0072,  0.    ,  0.275 ,  0.2289],[ 1.3529,  0.8864,  0.    ,  0.    ],[ 1.669 ,  0.    ,  0.    ,  0.477 ],[ 3.2489,  0.    ,  0.    ,  0.1241],[ 0.3026,  0.5238,  0.0009,  1.3438],[ 0.    ,  0.    ,  0.    ,  0.    ]])

通过一维数组设置整行或者整列的值也可以

In [115]: data[names != 'Joe'] = 7In [116]: data
Out[116]:
array([[ 7.    ,  7.    ,  7.    ,  7.    ],[ 1.0072,  0.    ,  0.275 ,  0.2289],[ 7.    ,  7.    ,  7.    ,  7.    ],[ 7.    ,  7.    ,  7.    ,  7.    ],[ 7.    ,  7.    ,  7.    ,  7.    ],[ 0.3026,  0.5238,  0.0009,  1.3438],[ 0.    ,  0.    ,  0.    ,  0.    ]])

花式索引

花式索引（Fancy indexing）是一个 NumPy 术语，它指的是利用整数数组进行索引。假设我们有一个8×4数组：

In [117]: arr = np.empty((8, 4))In [118]: for i in range(8):.....:     arr[i] = iIn [119]: arr
Out[119]:
array([[ 0.,  0.,  0.,  0.],[ 1.,  1.,  1.,  1.],[ 2.,  2.,  2.,  2.],[ 3.,  3.,  3.,  3.],[ 4.,  4.,  4.,  4.],[ 5.,  5.,  5.,  5.],[ 6.,  6.,  6.,  6.],[ 7.,  7.,  7.,  7.]])

如果想选取一个特定顺序的行子集，只需要传入一个特定整数列表或者一维数组

In [120]: arr[[4, 3, 0, 6]]
Out[120]:
array([[ 4.,  4.,  4.,  4.],[ 3.,  3.,  3.,  3.],[ 0.,  0.,  0.,  0.],[ 6.,  6.,  6.,  6.]])

通过列表或一维数组选取特定顺序的行子集也支持使用负数从后向前索引

In [121]: arr[[-3, -5, -7]]
Out[121]:
array([[ 5.,  5.,  5.,  5.],[ 3.,  3.,  3.,  3.],[ 1.,  1.,  1.,  1.]])

一次传入多个索引数组会有一点特别。它返回的是一个一维数组，其中的元素对应各个索引元组：

In [122]: arr = np.arange(32).reshape((8, 4))In [123]: arr
Out[123]:
array([[ 0,  1,  2,  3],[ 4,  5,  6,  7],[ 8,  9, 10, 11],[12, 13, 14, 15],[16, 17, 18, 19],[20, 21, 22, 23],[24, 25, 26, 27],[28, 29, 30, 31]])In [124]: arr[[1, 5, 7, 2], [0, 3, 1, 2]]
Out[124]: array([ 4, 23, 29, 10])

最终选出的是元素(1,0)、(5,3)、(7,1)和(2,2)。无论数组是多少维的，花式索引总是一维的。
这个花式索引的行为可能会跟某些用户的预期不一样（包括我在内），选取矩阵的行列子集应该是矩形区域的形式才对。下面是得到该结果的一个办法：

In [125]: arr[[1, 5, 7, 2]][:, [0, 3, 1, 2]]
Out[125]:
array([[ 4,  7,  5,  6],[20, 23, 21, 22],[28, 31, 29, 30],[ 8, 11,  9, 10]])

记住，花式索引跟切片不一样，它总是将数据复制到新数组中。

数组转置和轴对换

转置是重塑的一种特殊形式，它返回的是源数据的视图（不会进行任何复制操作）。数组不仅有transpose方法，还有一个特殊的T属性：

In [126]: arr = np.arange(15).reshape((3, 5))In [127]: arr
Out[127]:
array([[ 0,  1,  2,  3,  4],[ 5,  6,  7,  8,  9],[10, 11, 12, 13, 14]])In [128]: arr.T
Out[128]:
array([[ 0,  5, 10],[ 1,  6, 11],[ 2,  7, 12],[ 3,  8, 13],[ 4,  9, 14]])#方法transpose可以起到同样的作用
In [128]: np.transpose(arr)
Out[128]:
array([[ 0,  5, 10],[ 1,  6, 11],[ 2,  7, 12],[ 3,  8, 13],[ 4,  9, 14]])

矩阵的转置，在进行矩阵的运算时经常遇到，比如利用np.dot函数计算矩阵的内积

In [129]: arr = np.random.randn(6, 3)In [130]: arr
Out[130]:
array([[-0.8608,  0.5601, -1.2659],[ 0.1198, -1.0635,  0.3329],[-2.3594, -0.1995, -1.542 ],[-0.9707, -1.307 ,  0.2863],[ 0.378 , -0.7539,  0.3313],[ 1.3497,  0.0699,  0.2467]])In [131]: np.dot(arr.T, arr)
Out[131]:
array([[ 9.2291,  0.9394,  4.948 ],[ 0.9394,  3.7662, -1.3622],[ 4.948 , -1.3622,  4.3437]])

对于高维数组，transpose需要一个指定转换方式的数组才行（通过数组，指定哪个轴变成哪个轴）

In [132]: arr = np.arange(16).reshape((2, 2, 4))In [133]: arr
Out[133]:
array([[[ 0,  1,  2,  3],[ 4,  5,  6,  7]],[[ 8,  9, 10, 11],[12, 13, 14, 15]]])In [134]: arr.transpose((1, 0, 2))
Out[134]:
array([[[ 0,  1,  2,  3],[ 8,  9, 10, 11]],[[ 4,  5,  6,  7],[12, 13, 14, 15]]])

这里，第一个轴被换成了第二个，第二个轴被换成了第一个，最后一个轴不变。

通用函数：快速的元素级数组函数

通用函数，是一种对数组进行元素级运算的函数，你可以将其看做简单函数（接受一个或多个标量值，并产生一个或多个标量值）的向量化包装器。
许多通用函数都是简单的元素级变体，如sqrt和exp

In [137]: arr = np.arange(10)In [138]: arr
Out[138]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])In [139]: np.sqrt(arr)
Out[139]:
array([ 0.    ,  1.    ,  1.4142,  1.7321,  2.    ,  2.2361,  2.4495,2.6458,  2.8284,  3.    ])In [140]: np.exp(arr)
Out[140]:
array([    1.    ,     2.7183,     7.3891,    20.0855,    54.5982,148.4132,   403.4288,  1096.6332,  2980.958 ,  8103.0839])

这些都是一些一元的通用函数，还有一些函数可以接受两个数组，并返回一个数组结果。例如函数add或maximum

In [141]: x = np.random.randn(8)In [142]: y = np.random.randn(8)In [143]: x
Out[143]:
array([-0.0119,  1.0048,  1.3272, -0.9193, -1.5491,  0.0222,  0.7584,-0.6605])In [144]: y
Out[144]:
array([ 0.8626, -0.01  ,  0.05  ,  0.6702,  0.853 , -0.9559, -0.0235,-2.3042])
#maximum函数用来取最大值
In [145]: np.maximum(x, y)
Out[145]:
array([ 0.8626,  1.0048,  1.3272,  0.6702,  0.853 ,  0.0222,  0.7584,   -0.6605])

这里，numpy.maximum计算了x和y中元素级别最大的元素。

虽然并不常见，但有些通用函数的确可以返回多个数组。modf就是一个例子，它是 Python 内置函数divmod的向量化版本，它会返回浮点数数组的小数和整数部分：

In [146]: arr = np.random.randn(7) * 5In [147]: arr
Out[147]: array([-3.2623, -6.0915, -6.663 ,  5.3731,  3.6182,  3.45  ,  5.0077])In [148]: remainder, whole_part = np.modf(arr)In [149]: remainder
Out[149]: array([-0.2623, -0.0915, -0.663 ,  0.3731,
0.6182,  0.45  ,  0.0077])In [150]: whole_part
Out[150]: array([-3., -6., -6.,  5.,  3.,  3.,  5.])

通用函数，可以接受一个可选参数，这个可选参数可以把处理过的数组保存到指定的数组中（如果保存到原数组中就可以直接改变原数组）

In [151]: arr
Out[151]: array([-3.2623, -6.0915, -6.663 ,  5.3731,  3.6182,  3.45  ,  5.0077])In [152]: np.sqrt(arr)
Out[152]: array([    nan,     nan,     nan,  2.318 ,  1.9022,  1.8574,  2.2378])In [153]: np.sqrt(arr, arr)
Out[153]: array([    nan,     nan,     nan,  2.318 ,  1.9022,  1.8574,  2.2378])In [154]: arr
Out[154]: array([    nan,     nan,     nan,  2.318 ,  1.9022,  1.8574,  2.2378])

下面是一些常见的通用函数

将条件逻辑表述为数组运算

numpy.where函数是三元表达式x if condition else y的向量化版本。假设我们有一个布尔数组和两个值数组：

In [165]: xarr = np.array([1.1, 1.2, 1.3, 1.4, 1.5])In [166]: yarr = np.array([2.1, 2.2, 2.3, 2.4, 2.5])In [167]: cond = np.array([True, False, True, True, False])

In [170]: result = np.where(cond, xarr, yarr)In [171]: result
Out[171]: array([ 1.1,  2.2,  1.3,  1.4,  2.5])

np.where的第二个和第三个参数不必是数组，它们都可以是标量值。在数据分析工作中，where通常用于根据另一个数组而产生一个新的数组。假设有一个由随机数据组成的矩阵，你希望将所有正值替换为 2，将所有负值替换为 -2。若利用np.where，则会非常简单

In [172]: arr = np.random.randn(4, 4)In [173]: arr
Out[173]:
array([[-0.5031, -0.6223, -0.9212, -0.7262],[ 0.2229,  0.0513, -1.1577,  0.8167],[ 0.4336,  1.0107,  1.8249, -0.9975],[ 0.8506, -0.1316,  0.9124,  0.1882]])In [174]: arr > 0
Out[174]:
array([[False, False, False, False],[ True,  True, False,  True],[ True,  True,  True, False],[ True, False,  True,  True]], dtype=bool)In [175]: np.where(arr > 0, 2, -2)
Out[175]:
array([[-2, -2, -2, -2],[ 2,  2, -2,  2],[ 2,  2,  2, -2],[ 2, -2,  2,  2]])

使用np.where，可以将标量和数组结合起来。例如，我可用常数 2 替换arr中所有正的值：

In [176]: np.where(arr > 0, 2, arr) # set only positive values to 2
Out[176]:
array([[-0.5031, -0.6223, -0.9212, -0.7262],[ 2.    ,  2.    , -1.1577,  2.    ],[ 2.    ,  2.    ,  2.    , -0.9975],[ 2.    , -0.1316,  2.    ,  2.    ]])

数学和统计方法

可以通过数组上的一组数学函数对整个数组或某个轴向的数据进行统计计算。sum、mean以及标准差std等聚合计算既可以当做数组的实例方法调用，也可以当做顶级 NumPy 函数使用。

In [177]: arr = np.random.randn(5, 4)In [178]: arr
Out[178]:
array([[ 2.1695, -0.1149,  2.0037,  0.0296],[ 0.7953,  0.1181, -0.7485,  0.585 ],[ 0.1527, -1.5657, -0.5625, -0.0327],[-0.929 , -0.4826, -0.0363,  1.0954],[ 0.9809, -0.5895,  1.5817, -0.5287]])
#作为方法使用
In [179]: arr.mean()
Out[179]: 0.19607051119998253
#作为函数调用
In [180]: np.mean(arr)
Out[180]: 0.19607051119998253
#作为方法使用
In [181]: arr.sum()
Out[181]: 3.9214102239996507

sum,mean这类函数可以接受一个axis的可选参数，用来指定计算该轴上的统计轴，最终结果是一个少一维的数组

In [182]: arr.mean(axis=1)
Out[182]: array([ 1.022 ,  0.1875, -0.502 , -0.0881,  0.3611])In [183]: arr.sum(axis=0)
Out[183]: array([ 3.1693, -2.6345,  2.2381,  1.1486])

有些方法则不进行聚合，而是产生一个由中间结果组成的数组，比如cumsum（累加函数）和cumprod（累积函数）之类的方法

In [184]: arr = np.array([0, 1, 2, 3, 4, 5, 6, 7])In [185]: arr.cumsum()
Out[185]: array([ 0,  1,  3,  6, 10, 15, 21, 28])

在多维数组中，累加函数（如cumsum）返回的是同样大小的数组，但是会根据每个低维的切片沿着标记轴计算部分聚类：

In [186]: arr = np.array([[0, 1, 2], [3, 4, 5], [6, 7, 8]])In [187]: arr
Out[187]:
array([[0, 1, 2],[3, 4, 5],[6, 7, 8]])In [188]: arr.cumsum(axis=0)
Out[188]:
array([[ 0,  1,  2],[ 3,  5,  7],[ 9, 12, 15]])In [189]: arr.cumprod(axis=1)
Out[189]:
array([[  0,   0,   0],[  3,  12,  60],[  6,  42, 336]])

表 4-5 列出了全部的基本数组统计方法。

用于布尔型数组的方法

针对布尔型数组，也有一些方法可以处理布尔型数组，在上面这些方法中，布尔值会被强制转换为 1（True）和 0（False）。因此，sum经常被用来对布尔型数组中的True值计数：

In [190]: arr = np.random.randn(100)In [191]: (arr > 0).sum() # Number of positive values
Out[191]: 42

另外还有两个方法any和all，它们对布尔型数组非常有用。any用于测试数组中是否存在一个或多个True，而all则检查数组中所有值是否都是True：

In [192]: bools = np.array([False, False, True, False])In [193]: bools.any()
Out[193]: TrueIn [194]: bools.all()
Out[194]: False

这两个方法也能用于非布尔型数组，所有非 0 元素将会被当做True。

排序

跟 Python 内置的列表类型一样，NumPy 数组也可以通过sort方法就地排序（注意是就地排序，会直接改变原来的数组）：

In [195]: arr = np.random.randn(6)In [196]: arr
Out[196]: array([ 0.6095, -0.4938,  1.24  , -0.1357,  1.43  , -0.8469])In [197]: arr.sort()In [198]: arr
Out[198]: array([-0.8469, -0.4938, -0.1357,  0.6095,  1.24  ,  1.43  ])

多维数组也可以进行排序，且是对任意维度上进行排序，只需要指定维度就可以

In [199]: arr = np.random.randn(5, 3)In [200]: arr
Out[200]:
array([[ 0.6033,  1.2636, -0.2555],[-0.4457,  0.4684, -0.9616],[-1.8245,  0.6254,  1.0229],[ 1.1074,  0.0909, -0.3501],[ 0.218 , -0.8948, -1.7415]])In [201]: arr.sort(1)In [202]: arr
Out[202]:
array([[-0.2555,  0.6033,  1.2636],[-0.9616, -0.4457,  0.4684],[-1.8245,  0.6254,  1.0229],[-0.3501,  0.0909,  1.1074],[-1.7415, -0.8948,  0.218 ]])

可以使用排序函数，计算数组的分位数

In [203]: large_arr = np.random.randn(1000)In [204]: large_arr.sort()#计算5%分位数
In [205]: large_arr[int(0.05 * len(large_arr))] # 5% quantile
Out[205]: -1.5311513550102103

唯一化以及其它的集合逻辑

NumPy 提供了一些针对一维ndarray的基本集合运算。最常用的可能要数np.unique了，它用于找出数组中的唯一值并返回已排序的结果：

In [206]: names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])In [207]: np.unique(names)
Out[207]:
array(['Bob', 'Joe', 'Will'],dtype='<U4')In [208]: ints = np.array([3, 3, 3, 2, 2, 1, 1, 4, 4])In [209]: np.unique(ints)
Out[209]: array([1, 2, 3, 4])

拿跟np.unique等价的纯 Python 代码来对比一下：

In [210]: sorted(set(names))
Out[210]: ['Bob', 'Joe', 'Will']

另一个函数np.in1d用于测试一个数组中的值在另一个数组中的成员资格，返回一个布尔型数组：

In [211]: values = np.array([6, 0, 0, 3, 2, 5, 6])In [212]: np.in1d(values, [2, 3, 6])
Out[212]: array([ True, False, False,  True,  True, False,  True], dtype=bool)

NumPy 中的集合函数请参见表 4-6。

用于数组的文件输入输出

NumPy 能够读写磁盘上的文本数据或二进制数据。np.save 和np.load是读写磁盘数组数据的两个主要函数。默认情况下，数组是以未压缩的原始二进制格式保存在扩展名为.npy的文件中的：

In [213]: arr = np.arange(10)In [214]: np.save('some_array', arr)

如果文件路径末尾没有扩展名.npy，则该扩展名会被自动加上。然后就可以通过np.load读取磁盘上的数

In [215]: np.load('some_array.npy')
Out[215]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

通过np.savez函数可以保存多个数组到一个未压缩的文件，数组以关键字的形式传入

In [216]: np.savez('array_archive.npz', a=arr, b=arr)

加载.npz文件时，你会得到一个类似字典的对象，该对象会对各个数组进行延迟加载：

In [217]: arch = np.load('array_archive.npz')In [218]: arch['b']
Out[218]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

如果要将数据压缩，可以使用numpy.savez_compressed：

In [219]: np.savez_compressed('arrays_compressed.npz', a=arr, b=arr)

线性代数

线性代数（如矩阵乘法、矩阵分解、行列式以及其他方阵数学等）是任何数组库的重要组成部分。不像某些语言（如 MATLAB），通过*对两个二维数组相乘得到的是一个元素级的积，而不是一个矩阵点积。因此，NumPy 提供了一个用于矩阵乘法的 dot 函数（既是一个数组方法也是 numpy 命名空间中的一个函数）：

In [223]: x = np.array([[1., 2., 3.], [4., 5., 6.]])In [224]: y = np.array([[6., 23.], [-1, 7], [8, 9]])In [225]: x
Out[225]:
array([[ 1.,  2.,  3.],[ 4.,  5.,  6.]])In [226]: y
Out[226]:
array([[  6.,  23.],[ -1.,   7.],[  8.,   9.]])In [227]: x.dot(y)
Out[227]:
array([[  28.,   64.],[  67.,  181.]])

x.dot(y)和np.dot(x,y)效果是一样的

In [228]: np.dot(x, y)
Out[228]:
array([[  28.,   64.],[  67.,  181.]])

一个二维数组跟一个大小合适的一维数组的矩阵点积运算之后将会得到一个一维数组：

In [229]: np.dot(x, np.ones(3))
Out[229]: array([  6.,  15.])

模块numpy.linalg 中有一组标准的矩阵分解运算以及诸如求逆和行列式之类的东西。它们跟 MATLAB 和 R 等语言所使用的是相同的行业标准线性代数库，如 BLAS、LAPACK、Intel MKL（Math Kernel Library，可能有，取决于你的 NumPy 版本）等：

In [231]: from numpy.linalg import inv, qrIn [232]: X = np.random.randn(5, 5)In [233]: mat = X.T.dot(X)In [234]: inv(mat)
Out[234]:
array([[  933.1189,   871.8258, -1417.6902, -1460.4005,  1782.1391],[  871.8258,   815.3929, -1325.9965, -1365.9242,  1666.9347],[-1417.6902, -1325.9965,  2158.4424,  2222.0191, -2711.6822],[-1460.4005, -1365.9242,  2222.0191,  2289.0575, -2793.422 ],[ 1782.1391,  1666.9347, -2711.6822, -2793.422 ,  3409.5128]])In [235]: mat.dot(inv(mat))
Out[235]:
array([[ 1.,  0., -0., -0., -0.],[-0.,  1.,  0.,  0.,  0.],[ 0.,  0.,  1.,  0.,  0.],[-0.,  0.,  0.,  1., -0.],[-0.,  0.,  0.,  0.,  1.]])In [236]: q, r = qr(mat)In [237]: r
Out[237]:
array([[-1.6914,  4.38  ,  0.1757,  0.4075, -0.7838],[ 0.    , -2.6436,  0.1939, -3.072 , -1.0702],[ 0.    ,  0.    , -0.8138,  1.5414,  0.6155],[ 0.    ,  0.    ,  0.    , -2.6445, -2.1669],[ 0.    ,  0.    ,  0.    ,  0.    ,  0.0002]])

最常用的线性代数函数。

随机数生成

numpy.random模块对 Python 内置的random进行了补充，增加了一些用于高效生成多种概率分布的样本值的函数。例如，你可以用normal来得到一个标准正态分布的4×4样本数组

In [238]: samples = np.random.normal(size=(4, 4))In [239]: samples
Out[239]:
array([[ 0.5732,  0.1933,  0.4429,  1.2796],[ 0.575 ,  0.4339, -0.7658, -1.237 ],[-0.5367,  1.8545, -0.92  , -0.1082],[ 0.1525,  0.9435, -1.0953, -0.144 ]])

而 Python 内置的random模块则只能一次生成一个样本值。从下面的测试结果中可以看出，如果需要产生大量样本值，numpy.random快了不止一个数量级：

In [240]: from random import normalvariateIn [241]: N = 1000000In [242]: %timeit samples = [normalvariate(0, 1) for _ in range(N)]
1.77 s +- 126 ms per loop (mean +- std. dev. of 7 runs, 1 loop each)In [243]: %timeit np.random.normal(size=N)
61.7 ms +- 1.32 ms per loop (mean +- std. dev. of 7 runs, 10 loops each)

这些函数生成的随机数都是伪随机数，它是根据随机种子的值，来确定生成的随机数，只要指定固定的随机种子数，则同一个函数生成的随机数是相同的。随机种子函数为，np.random.seed

In [244]: np.random.seed(1234)

numpy.random的数据生成函数使用了全局的随机种子。要避免全局状态，你可以使用numpy.random.RandomState，创建一个与其它隔离的随机数生成器：

In [245]: rng = np.random.RandomState(1234)In [246]: rng.randn(10)
Out[246]:
array([ 0.4714, -1.191 ,  1.4327, -0.3127, -0.7206,  0.8872,  0.8596,-0.6365,  0.0157, -2.2427])

下图是numpy.random中的部分函数