多层感知机从零开始实现

【代码】

# 导包
from utils import load_data_fashion_mnist, train_ch3
from mxnet import nd
from mxnet.gluon import loss as gloss

1. 获取和读取数据

使⽤Fashion-MNIST数据集，采用多层感知机对图像进⾏分类。

batch_size = 256
train_iter, test_iter = load_data_fashion_mnist(batch_size)

2. 定义模型参数

Fashion-MNIST数据集中图像形状为28 × 28，类别数为10。本节中我们依然使⽤⻓度为28 × 28 = 784的向量表⽰每⼀张图像。因此，输⼊个数为784，输出个数为10。实验中，我们设超参数隐藏单元个数为256。

num_inputs, num_outputs, num_hiddens = 784, 10, 256
W1 = nd.random.normal(scale=0.01, shape=(num_inputs, num_hiddens))
b1 = nd.zeros(num_hiddens)
W2 = nd.random.normal(scale=0.01, shape=(num_hiddens, num_outputs))
b2 = nd.zeros(num_outputs)

params = [W1, b1, W2, b2]
for param in params:param.attach_grad()

3. 定义激活函数

使⽤基础的maximum函数来实现ReLU，而⾮直接调⽤relu函数。

def relu(X):return nd.maximum(X, 0)

4. 定义模型

通过reshape函数将每张原始图像改成⻓度为num_inputs的向量。

def net(X):X = X.reshape((-1, num_inputs))H = relu(nd.dot(X, W1) + b1)return nd.dot(H, W2) + b2

5. 定义损失函数

为了得到更好的数值稳定性，我们直接使⽤Gluon提供的包括softmax运算和交叉熵损失计算的函数。

loss = gloss.SoftmaxCrossEntropyLoss()

6. 训练模型

设超参数迭代周期数为5，学习率为0.5。

num_epochs, lr = 5, 0.5
train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, params, lr)

epoch 1, loss 0.8036, train acc 0.700, test acc 0.833
epoch 2, loss 0.4897, train acc 0.819, test acc 0.846
epoch 3, loss 0.4285, train acc 0.841, test acc 0.852
epoch 4, loss 0.3948, train acc 0.854, test acc 0.865
epoch 5, loss 0.3716, train acc 0.862, test acc 0.861

多层感知机从零开始实现相关推荐

从零开始学Pytorch（三）之多层感知机的实现
多层感知机的基本知识我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念. 隐藏层下图展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5 ...
深度学习softmax与多层感知机分类模型
softmax 简单的分类问题一个简单的图像分类问题,输入图像的高和宽均为2像素,色彩为灰度.图像中的4像素分别记为x1,x2,x3,x4x_1,x_2,x_3,x_4x1,x2,x3,x4 ...
《动手实现深度学习》笔记（三）多层感知机
四. 多层感知机 4.1 简介及实现 4.1.1 简介 1. [线性模型可能出错] 仿射变换中的线性是一个很强的假设,但实际上线性模型是可能会出错的,线性意味着单调,任何特征的增大都会导致模型输出 ...
多层感知机和神经网络的区别_1.3 多层感知机
1.3 多层感知机多层感知机多层感知机的基本知识使用多层感知机图像分类的从零开始的实现使用pytorch的简洁实现含有隐藏层的神经网络,如果将两个式子联立起来,其实是等价于单层神经网络的. ...
动手学习深度学习 04：多层感知机
文章目录 01 多层感知机 1.感知机总结 2.多层感知机 2.1.隐藏层 2.1.1 线性模型可能会出错 2.1.2 在网络中加入隐藏层 2.1.3 从线性到非线性 2.1.4 通用近似定理 3. ...
深度学习笔记其三：多层感知机和PYTORCH
深度学习笔记其三:多层感知机和PYTORCH 1. 多层感知机 1.1 隐藏层 1.1.1 线性模型可能会出错 1.1.2 在网络中加入隐藏层 1.1.3 从线性到非线性 1.1.4 通用近似定理 1 ...
多层感知机总结-PyTorch
动手学深度学习-多重感知机笔记多层感知机多层感知机的从零开始实现多层感知机的简洁实现范数与权重衰减(weight decay) 暂退法(Dropout) 前向传播和反向传播梯度消失和梯度爆炸 ...
深度学习基础——多层感知机
多层感知机(Multilayer Perceptron, MLP)是最简单的深度网络.本文回顾多层感知机的相关内容及一些基本概念术语. 多层感知机为什么需要多层感知机多层感知机是对线性回归的拓展和 ...
【动手学深度学习】多层感知机（MLP）
1 多层感知机的从零开始实现 torch.nn 继续使用Fashion-MNIST图像分类数据集导入需要的包 import torch from torch import nn from d2l i ...
动手学深度学习之多层感知机
多层感知机多层感知机的基本知识深度学习主要关注多层模型.本节将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念. 隐藏层下图展示了一个多层感知机的神 ...

多层感知机从零开始实现

多层感知机从零开始实现

1. 获取和读取数据

2. 定义模型参数

3. 定义激活函数

4. 定义模型

5. 定义损失函数

6. 训练模型

多层感知机从零开始实现相关推荐

最新文章

热门文章