读取mnist数据集方法大全（train-images-idx3-ubyte.gz，train-labels.idx1-ubyte等）（python读取gzip文件）

文章目录

gzip包
keras读取mnist数据集
本地读取mnist数据集
- 下载数据集
- 解压读取
- - 方法一
  - 方法二
- gzip包读取
读取bytes数据

注：import导入的包如果未安装使用pip安装

gzip包

如果仅仅是读取.gz文件使用gzip包即可。
例子：当前目录有一个input.gz文件，用以下代码来读取：

import gzip
with gzip.open('input.gz') as file:all_content = file.read()

这样input.gz的文件都读取到了all_content里面

keras读取mnist数据集

from tensorflow import keras
(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()

本地读取mnist数据集

下载数据集

数据集下载地址
数据集界面：

解压读取

方法一

from mnist import MNISTmndata = MNIST('samples')images, labels = mndata.load_training()
# or
images, labels = mndata.load_testing()
index = random.randrange(0, len(images))  # choose an index ;-)
print(mndata.display(images[index]))

方法二

将.gz文件解压后读取

from mlxtend.data import loadlocal_mnist
import platformif not platform.system() == 'Windows':X, y = loadlocal_mnist(images_path='train-images.idx3-ubyte', labels_path='train-labels.idx1-ubyte')else:X, y = loadlocal_mnist(images_path='train-images.idx3-ubyte', labels_path='train-labels.idx1-ubyte')
print('Dimensions: %s x %s' % (X.shape[0], X.shape[1]))
print('\n1st row', X[0])

gzip包读取

import gzip
import numpy as np
import matplotlib.pyplot as plt with gzip.open('train-images-idx3-ubyte.gz') as all_img:all_img = all_img.read()# print(all_img[:4])
# print((len(all_img)-16)/784)
img1 = all_img[16:16+784]
img = []
for i in range(28):for j in range(28):img.append(img1[28*i+j])
#print(img)
img = np.array(img).reshape(28, 28)
print(img.shape)
plt.imshow(img)
plt.show()

读取bytes数据

参考stackoverflowConvert bytes to a string

>>> b"abcde"
b'abcde'# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8")
'abcde'

读取mnist数据集方法大全（train-images-idx3-ubyte.gz，train-labels.idx1-ubyte等）（python读取gzip文件）相关推荐

python 读取 MNIST 数据集，并解析为图片文件
python 读取 MNIST 数据集,并解析为图片文件 MNIST 是 Yann LeCun 收集创建的手写数字识别数据集,训练集有 60,000 张图片,测试集有 10,000 张图片.数据集链接 ...
TensorFlow读取MNIST数据集错误的问题
TensorFlow读取mnist数据集错误的问题运行程序出现"URLError"错误的问题可能是服务器或路径的原因,可以自行下载数据集后,将数据集放到代码所在的文件夹下,并将 ...
MNIST手写数字数据集格式，如何读取MNIST数据集？
数据集下载地址:http://yann.lecun.com/exdb/mnist/ TRAINING SET LABEL FILE (train-labels-idx1-ubyte):[offset] ...
十分钟搞懂Pytorch如何读取MNIST数据集
前言本文用于记录使用pytorch读取minist数据集的过程,以及一些思考和疑惑吧- 正文在阅读教程书籍<深度学习入门之Pytorch>时,文中是如此加载MNIST手写数字训练集的: ...
Python读取MNIST数据集
MNIST数据集下载地址:http://yann.lecun.com/exdb/mnist/ 读取MINST数据集第一张图像并显示 # coding=utf-8 import numpy as np ...
用Numpy读取MNIST数据集（附已经读取完成的mat文件）
MNIST是常用的手写字符数据集可以在杨立昆的网站下载此数据集:http://yann.lecun.com/exdb/mnist/ 该数据集的存储方式比较特殊,是用二进制格式存储的,以下是网站对数据 ...
利用numpy读取mnist数据集
读取并分析如下四个文件 'train-images-idx3-ubyte' 'train-labels-idx1-ubyte' 't10k-images-idx3-ubyte' 't10k-label ...
python调用数据集mnist_Python读取MNIST数据集
importnumpy as npimportmatplotlib.pyplot as plt'''试验transpose() def back (a,b): return a,b if __name ...
Dataset之MNIST：MNIST(手写数字图片识别+ubyte.gz文件)数据集简介、下载、使用方法(包括数据增强)之详细攻略
Dataset之MNIST:MNIST(手写数字图片识别+ubyte.gz文件)数据集简介+数据增强(将已有MNIST数据集通过移动像素上下左右的方法来扩大数据集为初始数据集的5倍) 目录 MNIST ...

读取mnist数据集方法大全（train-images-idx3-ubyte.gz，train-labels.idx1-ubyte等）（python读取gzip文件）

文章目录

gzip包

keras读取mnist数据集

本地读取mnist数据集

下载数据集

解压读取

方法一

方法二

gzip包读取

读取bytes数据

读取mnist数据集方法大全（train-images-idx3-ubyte.gz，train-labels.idx1-ubyte等）（python读取gzip文件）相关推荐

最新文章

热门文章