数据科学 IPython 笔记本 9.11 结构化数据：NumPy 的结构化数组

9.11 结构化数据：NumPy 的结构化数组

本节是《Python 数据科学手册》（Python Data Science Handbook）的摘录。

译者：飞龙

协议：CC BY-NC-SA 4.0

虽然我们的数据通常可以通过同构数组来很好地表示，但有时并非如此。本节演示了 NumPy 结构化数组和记录数组的用法，它们为复合异构数据提供了有效的存储。虽然这里展示的模式对于简单操作很有用，但像这样的场景通常适合使用 Pandas Dataframe，我们将在第三章中探索。

import numpy as np

想象一下，我们有很多人的多个数据类别（比如姓名，年龄和体重），我们希望存储这些值以便在 Python 程序中使用。可以将它们存储在三个独立的数组中：

name = ['Alice', 'Bob', 'Cathy', 'Doug']
age = [25, 45, 37, 19]
weight = [55.0, 85.5, 68.0, 61.5]

但这有点笨拙。这里没有任何东西告诉我们三个数组是相关的；如果我们可以使用单一结构来存储所有这些数据，那将更自然。NumPy 可以使用结构化数组处理这个问题，结构化数组是具有复合数据类型的数组。

回想一下，之前我们使用这样的表达式创建了一个简单的数组：

x = np.zeros(4, dtype=int)

我们可以使用复合数据类型规范，以相似方式创建结构化数组：

# 使用结构化数组的复合数据类型
data = np.zeros(4, dtype={'names':('name', 'age', 'weight'),'formats':('U10', 'i4', 'f8')})
print(data.dtype)# [('name', '<U10'), ('age', '<i4'), ('weight', '<f8')]

这里'U10'表示“最大长度为 10 的 Unicode 字符串”，'i4'表示 4 字节（即 32 位）整数，'f8'表示 8 字节（即 64 位）浮点数。我们将在下一节中讨论这些类型代码的其他选项。

现在我们已经创建了一个空的容器数组，我们可以使用我们的值列表填充数组：

data['name'] = name
data['age'] = age
data['weight'] = weight
print(data)'''
[('Alice', 25, 55.0) ('Bob', 45, 85.5) ('Cathy', 37, 68.0)('Doug', 19, 61.5)]
'''

正如我们所希望的那样，数据现在被安排在一个方便的内存块中。结构化数组的便利之处在于，你现在可以通过索引或名称来引用值：

# 获取所有名称
data['name']'''
array(['Alice', 'Bob', 'Cathy', 'Doug'], dtype='<U10')
'''# 获取数据的第一行
data[0]# ('Alice', 25, 55.0)# 获取最后一行的名称
data[-1]['name']# 'Doug'

使用布尔掩码，你甚至可以执行一些更复杂的操作，例如过滤年龄：

# 获取年龄小于 30 的名称
data[data['age'] < 30]['name']'''
array(['Alice', 'Doug'], dtype='<U10')
'''

请注意，如果你想进行任何比这些更复杂的操作，你应该考虑下一章中介绍的 Pandas 包。正如我们所看到的，Pandas 提供了Dataframe对象，它是一个构建在 NumPy 数组上的结构，它提供了各种有用的数据操作功能，类似于我们在这里展示的东西，以及更多。

创建结构化数组

可以通过多种方式规定结构化数组数据类型。之前，我们见过了字典方法：

np.dtype({'names':('name', 'age', 'weight'),'formats':('U10', 'i4', 'f8')})# dtype([('name', '<U10'), ('age', '<i4'), ('weight', '<f8')])

为清楚起见，可以使用 Python 类型或 NumPy dtype来指定数字类型：

np.dtype({'names':('name', 'age', 'weight'),'formats':((np.str_, 10), int, np.float32)})# dtype([('name', '<U10'), ('age', '<i8'), ('weight', '<f4')])

复合类型也可以指定为元组列表：

np.dtype([('name', 'S10'), ('age', 'i4'), ('weight', 'f8')])# dtype([('name', 'S10'), ('age', '<i4'), ('weight', '<f8')])

如果类型的名称对你无关紧要，则可以在逗号分隔的字符串中单独指定类型：

np.dtype('S10,i4,f8')# dtype([('f0', 'S10'), ('f1', '<i4'), ('f2', '<f8')])

缩短的字符串格式代码可能看起来令人困惑，但它们建立在简单的原则之上。第一个（可选）字符是<或>，分别表示“小端”或“大端”，并规定了有效位的顺序约定。下一个字符指定数据类型：字符，字节，整数，浮点等（参见下表）。最后一个或多个字符表示对象的大小（以字节为单位）。

字符	描述	示例
`'b'`	字节	`np.dtype('b')`
`'i'`	符号整数	`np.dtype('i4') == np.int32`
`'u'`	无符号整数	`np.dtype('u1') == np.uint8`
`'f'`	浮点	`np.dtype('f8') == np.int64`
`'c'`	复数浮点	`np.dtype('c16') == np.complex128`
`'S'`, `'a'`	字符串	`np.dtype('S5')`
`'U'`	Unicode 字符串	`np.dtype('U') == np.str_`
`'V'`	原始数据（void）	`np.dtype('V') == np.void`

更高级的复合类型

可以定义更高级的复合类型。例如，你可以创建一个类型，其中每个元素包含一个数组或矩阵。在这里，我们将创建一个带有mat成分的数据类型，该成分由3x3浮点矩阵组成：

tp = np.dtype([('id', 'i8'), ('mat', 'f8', (3, 3))])
X = np.zeros(1, dtype=tp)
print(X[0])
print(X['mat'][0])'''
(0, [[0.0, 0.0, 0.0], [0.0, 0.0, 0.0], [0.0, 0.0, 0.0]])
[[ 0.  0.  0.][ 0.  0.  0.][ 0.  0.  0.]]
'''

现在X数组中的每个元素都包含一个id和一个3x3矩阵。为什么要使用它而不是简单的多维数组，或者 Python 字典呢？原因是这个 NumPy dtype直接映射到 C 结构定义，因此包含数组内容的缓冲区，可以在适当编写的 C 程序中直接访问。

如果你发现自己为处理结构化数据的遗留 C 或 Fortran 库编写 Python 接口，你可能会发现结构化数组非常有用！

记录数组：略有不同的结构化数组

NumPy 还提供了np.recarray类，它与刚刚描述的结构化数组几乎相同，但有一个附加功能：字段可以作为属性而不是字典的键来访问。

回想一下，我们以前写过：

data['age']# array([25, 45, 37, 19], dtype=int32)

如果我们将数据视为记录数组，我们可以通过更少的敲键盘来访问它：

data_rec = data.view(np.recarray)
data_rec.age# array([25, 45, 37, 19], dtype=int32)

缺点是对于记录数组，即使使用相同的语法，访问字段会有一些额外的开销。我们在这里可以看到：

%timeit data['age']
%timeit data_rec['age']
%timeit data_rec.age'''
1000000 loops, best of 3: 241 ns per loop
100000 loops, best of 3: 4.61 µs per loop
100000 loops, best of 3: 7.27 µs per loop
'''

更方便的记号是否值得额外开销，取决于你自己的应用。

转向 Pandas

关于结构化和记录数组的这一部分，有意放在本章的最后部分，因为它很好地介绍了我们将要介绍的下一个包：Pandas。

在某些情况下，最好了解这里讨论的结构化数组，特别是在你使用 NumPy 数组来映射到 C，Fortran 或其他语言的二进制数据格式的情况下。

对于结构化数据的日常使用，Pandas 包是一个更好的选择，我们将在下一章中深入讨论它。