用Numpy读取MNIST数据集（附已经读取完成的mat文件）

MNIST是常用的手写字符数据集
可以在杨立昆的网站下载此数据集：http://yann.lecun.com/exdb/mnist/
该数据集的存储方式比较特殊，是用二进制格式存储的，以下是网站对数据集格式的说明

一共有四个文件，各自是训练集和测试集的图片数据和标签数据

可以看出，在数据集中，第一列为字节索引，第二列为对应字的类型，第三列为值，第四列为说明

在标签数据中，前4个字节用于存储magic number，是对数据类型的说明

第5-8个字节是用于存储样本数的，第9个字节开始才是数据部分，所以我们要从第9个字节开始读该文件

对于图像数据，前8个字节同上，不过其9-16个字节是用来存储图像矩阵的行列数的，所以我们要从第17个字符开始读起

Numpy里面有个函数frombuffer是用来转换字节数据的，以下是Numpy文档的说明

frombuffer函数有4个参数，第一个参数buffer是目标字节流数据，第二个参数dtype是转换后要返回的数据类型，第三个参数count是要读取的字节数，默认-1读取全部，第四个参数offset是偏移量，表示要从第几个字节开始读起，下面是转换的代码

import numpy as np
import scipy.io as siolabel_t10k_path = 't10k-labels.idx1-ubyte'
label_train_path = 'train-labels.idx1-ubyte'
img_t10k_path = 't10k-images.idx3-ubyte'
img_train_path = 'train-images.idx3-ubyte'with open(label_t10k_path, 'rb') as label_obj:label_t10k = np.frombuffer(label_obj.read(), dtype=np.uint8, offset=8)m_t10k = len(label_t10k)label_t10k = np.asarray(label_t10k).reshape(m_t10k, 1)with open(label_train_path, 'rb') as label_obj:label_train = np.frombuffer(label_obj.read(), dtype=np.uint8, offset=8)m_train = len(label_train)label_train = np.asarray(label_train).reshape(m_train, 1)with open(img_t10k_path, 'rb') as img_obj:img_t10k = np.frombuffer(img_obj.read(), dtype=np.uint8, offset=16)img_t10k = np.asarray(img_t10k).reshape(m_t10k, 784)with open(img_train_path, 'rb') as img_obj:img_train = np.frombuffer(img_obj.read(), dtype=np.uint8, offset=16)img_train = np.asarray(img_train).reshape(m_train, 784)sio.savemat('MNIST.mat', {'label_t10k':label_t10k, 'label_train':label_train, 'img_t10k':img_t10k, 'img_train':img_train})

最后将所有数据打包为mat文件方便读取

下面是已经整理完的数据集百度云链接：
链接：https://pan.baidu.com/s/18Vpk_bSriFRU–eEdBXygA
提取码：efg0

用Numpy读取MNIST数据集（附已经读取完成的mat文件）相关推荐

读取mnist数据集方法大全（train-images-idx3-ubyte.gz，train-labels.idx1-ubyte等）（python读取gzip文件）
文章目录 gzip包 keras读取mnist数据集本地读取mnist数据集下载数据集解压读取方法一方法二 gzip包读取读取bytes数据注:import导入的包如果未安装使用pip安 ...
python 读取 MNIST 数据集，并解析为图片文件
python 读取 MNIST 数据集,并解析为图片文件 MNIST 是 Yann LeCun 收集创建的手写数字识别数据集,训练集有 60,000 张图片,测试集有 10,000 张图片.数据集链接 ...
TensorFlow读取MNIST数据集错误的问题
TensorFlow读取mnist数据集错误的问题运行程序出现"URLError"错误的问题可能是服务器或路径的原因,可以自行下载数据集后,将数据集放到代码所在的文件夹下,并将 ...
Python读取MNIST数据集
MNIST数据集下载地址:http://yann.lecun.com/exdb/mnist/ 读取MINST数据集第一张图像并显示 # coding=utf-8 import numpy as np ...
十分钟搞懂Pytorch如何读取MNIST数据集
前言本文用于记录使用pytorch读取minist数据集的过程,以及一些思考和疑惑吧- 正文在阅读教程书籍<深度学习入门之Pytorch>时,文中是如此加载MNIST手写数字训练集的: ...
MNIST手写数字数据集格式，如何读取MNIST数据集？
数据集下载地址:http://yann.lecun.com/exdb/mnist/ TRAINING SET LABEL FILE (train-labels-idx1-ubyte):[offset] ...
利用numpy读取mnist数据集
读取并分析如下四个文件 'train-images-idx3-ubyte' 'train-labels-idx1-ubyte' 't10k-images-idx3-ubyte' 't10k-label ...
python调用数据集mnist_Python读取MNIST数据集
importnumpy as npimportmatplotlib.pyplot as plt'''试验transpose() def back (a,b): return a,b if __name ...
在MATLAB中读取同一路径下多个txt或mat文件
1.matlab中给我们提供了dir这个函数,十分方便.这里是读取所有txt文件,所以是dir('父目录路径\*.txt'),读取其它格式文件一样,如读取该路径下的所有png图像文件,则为dir('父 ...

用Numpy读取MNIST数据集（附已经读取完成的mat文件）

用Numpy读取MNIST数据集（附已经读取完成的mat文件）相关推荐

最新文章

热门文章