numpy多维数据存取

本文的主要内容是基于中国大学mooc（慕课）中的“Python数据分析与可视化”课程进行整理和总结。

a.tofile()和np.fromfile()

a.tofile(frame,sep=’’,format=’%s’)
frame:文件或者字符串；
sep:数据分割字符串，如果是空串，写入文件为二进制；
format：写入文件的格式；

a = np.arange(100).reshape(5,10,2)

a.tofile('b.dat',sep=',',format='%d')

可以看到生成的是由“,”分隔的序列文件，与CSV不同，该文件不包含任何的维度信息，只是将数组中的所有元素逐一列出，并输出到这个文件中，若不指定分隔符，会得到什么样的结果呢？

a = np.arange(100).reshape(5,10,2)

a.tofile('c.dat',format='%.1f')

此时生成的是二进制格式文件，打开后无法使用文本编辑器看懂，事实上，二进制文件会比文本文件占用更少的空间，此时可将二进制文件作为数据备份的一种方式。

如何从文本文件或者二进制文件中还原一个Numpy数组呢？可以使用如下函数命令。
np.fromfile(frame,dtype=float，count=-1,sep=’’)
frame:文件或者字符串的表示；
dtype:读取元素使用的数据类型;
count:读入元素的个数，-1表示读入整个文件；
sep:读入数据的分隔字符串,如果是空串，写入文件为二进制；

a = np.arange(100).reshape(5,10,2)

a.tofile('b.dat',sep=',',format='%d')

c = np.fromfile('b.dat',sep=',',dtype=np.int)

array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50,51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67,68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84,85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99])

c = np.fromfile('b.dat',sep=',',dtype=np.int).reshape(5,10,2)

array([[[ 0,  1],[ 2,  3],[ 4,  5],[ 6,  7],...,[94, 95],[96, 97],[98, 99]]])

在使用np.fromfile方法生成新的数组，会发现新的数组c与原数组a维度并不一样，维度信息丢失，此时需要使用reshape指定新生成数组的维度。如果使用二进制文件生成新的数组会怎么样呢？

a  = np.arange(100).reshape(5,10,2)

a.tofile('b.dat',format='%d')

c = np.fromfile('b.dat',dtype=np.int,count=-1).reshape(5,10,2)

array([[[ 0,  1],[ 2,  3],[ 4,  5],[ 6,  7],...,[94, 95],[96, 97],[98, 99]]])

可以发现，当存入和读取数据文件时，都设定sep为默认时，二进制文件也能通过fromfile方法正确读入numpy数组。除此之外，需要注意使用该方法读取文件时，a.tofile和np.fromfile需要配合使用，同时需要知道存入文件时数组的维度信息和元素类型，可以通过再写一个元数据文件来存储上述额外信息，在读入数据时，通过元文件读取元信息，便能还原数组。该方法虽然复杂，但对于大规模数据存储还是行之有效的。

Numpy 的便捷文件存取方法（np.save(),np.load()）

该方法可以很好的解决多维数据的存储问题：
np.save(fname,array)或者np.savez(fname,array)用于将数组信息写入文件。
frame:文件名，以.npy为扩展名，压缩扩展名为.npz
array:数组变量；
np.load(fname)用于读取文件信息。

a = np.arange(100).reshape(5,10,2)

np.save('a.npy',a)

b = np.load('a.npy')

array([[[ 0,  1],[ 2,  3],[ 4,  5],[ 6,  7],...,[94, 95],[96, 97],[98, 99]]])

此时b与a的内容一致，之所以上述numpy的便捷文件存取功能还原数组维度和数组变量类型信息，是因为存储的npy文件是以二进制的形式将数据存储，并且使用显式的方式将数组元信息写入第一行中，通过np.load()函数读取文件时可以通过解析第一行的元信息来还原数组。

小结

对于我们编写程序来说，如果程序中间需要使用文件进行数据缓存，save和load方法是十分有效和快捷的方法，如果希望存储的文件能够以其他的程序做数据交互和对接。那么需要使用csv文件或者多维数组的tofile方法，具体的方法选择也需要我们具体问题，再具体分析！