对于分类任务，用到的数据集是MNIST。该数据集由7w张手写数字图片构成。

加载数据集

from sklearn.datasets import fetch_openml
mnist=fetch_openml('mnist_784', version=1)
mnist.keys()

如果报错cannot import name 'fetch_openml'，可能是scikit-learn版本过低，需要升级到0.2版本以上。

升级sklearn

方法1：

在Anaconda Prompt中：

conda update scikit-learn

方法2：

下载scikit-learn包：

https://www.lfd.uci.edu/~gohlke/pythonlibs/#scikit-learn

我的Python版本是3.6.1，因此选择cp36m的。

然后在Anaconda Prompt中：

pip install D:\python机器学习\scikit_learn-0.24.0-cp36-cp36m-win_amd64.whl

查看实例

sklearn加载的数据集通常包括data键和target键。

查看这两个数组：

X,y=mnist['data'], mnist['target']

X.shape

y.shape

其中X表示data键，y表示target键（即标签）。

随机查看一个实例：

import matplotlib as mpl

import matplotlib.pyplot as plt

some_digit=X[0]

some_digit_image=some_digit.reshape(28,28)

plt.imshow(some_digit_image, cmap='binary')

plt.axis('off')

plt.show()

查看其标签：

y[0]

标签是字符型，可以将其转换成整数型：

y=y.astype(np.uint8)

创建训练集和测试集

在MNIST数据集中，前6w张图片是训练集，后1w张图片是测试集。因此：

X_train, X_test, y_train, y_test=X[:60000], X[60000:], y[:60000], y[60000:]

由于并非时间序列数据，因此可以将训练集的数据进行混洗。

训练模型

先训练一个二元分类器，目标是识别数字5，即将数字分为“5”和“非5”两个类别。

创建目标变量：

y_train_5=(y_train==5)
y_test_5=(y_test==5)

使用SGD分类器进行训练：

from sklearn.linear_model import SGDClassifier

sgd_clf=SGDClassifier(random_state=42)
sgd_clf.fit(X_train, y_train_5)

SGD即随机梯度下降，适合处理大型数据集。

进行预测：

sgd_clf.predict([some_digit])

加载MNIST数据集相关推荐

本地加载mnist数据集的方法
本地加载mnist数据集的方法: 在学习keras的过程中需要联网下载mnist,而总是在下载一半时出现连接错误报错:ConnectionResetError: [WinError 10054] 远 ...
numpy方法读取加载mnist数据集
方法来自机器之心公众号首先下载mnist数据集,并将里面四个文件夹解压出来,下载方法见前面的博客 import tensorflow as tf import numpy as np import ...
05_专家的快速入门、加载MNIST数据集、数据集切分和混淆、定义类的方式构建模型、选择优化器和损失函数、训练模型和测试模型准确率
https://tensorflow.google.cn/tutorials/quickstart/advanced 导入TensorFlow到你的程序中: import tensorflow as ...
pytorch如何加载MNIST数据集
CIFAR10和CIFAR100类似 import torchvision import torch import torchvision.transforms as transforms batch ...
加载MNIST报错：[WinError 10060] 由于连接方在一段时间后没有正确答复解决办法(亲测)
转载:https://blog.csdn.net/landcruiser007/article/details/79346982 tensorflow加载mnist数据集,一些书上和博客中的代码如下: ...
TensorFlow——本地加载fashion-mnist数据集
基本概念 Fashion MNIST:Fashion MNIST 旨在临时替代经典 MNIST 数据集,后者常被用作计算机视觉机器学习程序的"Hello, World".MNIST ...
在colab上加载minst数据集
在colab上加载minst数据集 `` // An highlighted block import numpy as np from keras.datasets import mnist fro ...
TensorFlow2数据加载与数据集
加载数据集 keras 加载在线数据集 tf.keras.datasets提供了加载在线数据集的API,其中可加载的数据集包括: boston_housing module: Boston housi ...
tensflow中加载 fashion_mnist 数据集时
在tensflow中加载 fashion_mnist 数据集时,由于网络原因.可能会长时间加载不到或报错此时我们可以通过离线的方式加载 1.首先下载数据集:fashion_mnist (下载后解压) ...
使用pytorch自定义DataSet，以加载图像数据集为例，实现一些骚操作
使用pytorch自定义DataSet,以加载图像数据集为例,实现一些骚操作总共分为四步构造一个my_dataset类,继承自torch.utils.data.Dataset 重写__getite ...

加载MNIST数据集