基于PyTorch,如何构建一个简单的神经网络
本文为 PyTorch 官方教程中:如何构建神经网络。基于 PyTorch 专门构建神经网络的子模块 torch.nn 构建一个简单的神经网络。
完整教程运行 codelab→
https://openbayes.com/console/open-tutorials/containers/OgcYkLjKw89
torch.nn 文档→
https://pytorch.org/docs/stable/nn.html
神经网络由对数据执行操作的层/模块组成。torch.nn 提供了构建神经网络所需的所有模块。
PyTorch 中的每个模块都是 nn.module 的子类。
在下面的部分中,我们将构建一个神经网络来进行10种类别的分类。
建立神经网络
神经网络由对数据执行操作的层/模块组成。torch.nn 提供了构建神经网络所需的所有模块。PyTorch 中的每个模块都是 nn.module 的子类。
在下面的部分中,我们将构建一个神经网络来进行10种类别的分类。
import osimport torchfrom torch import nnfrom torch.utils.data import DataLoaderfrom torchvision import datasets, transforms
加载训练设备
我们希望能够在硬件加速器,比如 GPU 上训练我们的模型。可以通过 torch.cuda 来检测 GPU 是否可用。
device = 'cuda' if torch.cuda.is_available() else 'cpu' #检测gpu是否可用,不可用使用cpuprint('Using {} device'.format(device)) #输出使用设备类型
定义类
我们通过 nn.Module 来定义神经网络,并在__init__ 中初始化神经网络。每个 nn.Module 子类在 forward 方法中实现对输入数据的操作。
class NeuralNetwork(nn.Module): def __init__(self): #定义网络结构 super(NeuralNetwork, self).__init__() self.flatten = nn.Flatten() self.linear_relu_stack = nn.Sequential( nn.Linear(28*28, 512), nn.ReLU(), nn.Linear(512, 512), nn.ReLU(), nn.Linear(512, 10), nn.ReLU() )def forward(self, x): #前向传播 x = self.flatten(x) logits = self.linear_relu_stack(x) return logits
在使用模型前需要先实例化模型,并将其移动到 GPU 上
model = NeuralNetwork().to(device) #实例化模型print(model)
为了在模型的输入和输出之间创建复杂的非线性映射,需要使用非线性的激活函数。
它们在线性变换后引入非线性,帮助神经网络学习各种各样的复杂映射。在这个模型中,我们在线性层之间使用 nn.ReLU,也可以使用其他激活函数来引入非线性。
X = torch.rand(1, 28, 28, device=device) #生成(1,28,28)的数据logits = model(X) #向模型输入数据pred_probab = nn.Softmax(dim=1)(logits) #调用softmax 将预测值映射为(0,1)间的概率y_pred = pred_probab.argmax(1) #最大概率对应分类print(f"Predicted class: {y_pred}")
神经网络各层说明
接下来,我们分解网络来具体讲述每一层的功能。
为了说明这一点,我们将取小批量的3个尺寸为28x28的图像样本输入网络
input_image = torch.rand(3,28,28) #生成(3,28,28)的数据print(input_image.size())
nn.Flatten 层
Flatten 层用来把多维的输入一维化,常用在从卷积层到全连接层的过渡。
nn.Flatten 层,可以将每个 28x28 图像转换 784 ($28\times 28=784$)个像素值的连续数组(批量维度保持为3)。
flatten = nn.Flatten() flat_image = flatten(input_image) #(3,28,28)转换为(3,784)print(flat_image.size())
nn.Linear 层
nn.Linear 层,即线性层,是一个使用权重和偏差对输入数据作线性变换的模块。
layer1 = nn.Linear(in_features=28*28, out_features=20) #输入(3,28*28) 输出(3,20)hidden1 = layer1(flat_image)print(hidden1.size())
nn.ReLU 层
为了在模型的输入和输出之间创建复杂的非线性映射,需要使用非线性的激活函数。它们在线性变换后引入非线性,帮助神经网络学习各种各样的复杂映射。
在这个模型中,我们在线性层之间使用 nn.ReLU,也可以使用其他激活函数来引入非线性。
print(f"Before ReLU: {hidden1}\n\n")hidden1 = nn.ReLU()(hidden1)print(f"After ReLU: {hidden1}")
nn.Sequential 层
神经网络的最后一个线性层返回 logits,即值域区间在$[-\infty,\infty]$中的原始值。这些值传递给nn.Softmax模块后,logit被缩放为$[0,1]$区间中,表示模型对每个类的预测概率。
dim参数表示每一维度进行运算的位置,运算结果相加为1。
softmax = nn.Softmax(dim=1)pred_probab = softmax(logits)
输出模型结构
神经网络中的许多层都是参数化的,即具有相关联的权重和偏差,这些参数在训练中被迭代优化。
子类 nn.Module 自动跟踪模型对象内部定义的所有字段,并使用模型的 parameters() 或 named_parameters() 方法访问所有参数。
我们可以通过模型迭代每个参数,并输出其尺寸和值。
print("Model structure: ", model, "\n\n")
for name, param in model.named_parameters(): print(f"Layer: {name} | Size: {param.size()} | Values : {param[:2]} \n")
最终输出结果可访问完整教程:
https://openbayes.com/console/open-tutorials/containers/OgcYkLjKw89
基于PyTorch,如何构建一个简单的神经网络相关推荐
- python构建简单神经网络_Python构建一个简单的神经网络,Pytorch,搭建
首先搭建一个神经网络: import torch import torch.nn.functional as F from torch.autograd import Variable import ...
- 使用 PyTorch 数据读取,JAX 框架来训练一个简单的神经网络
使用 PyTorch 数据读取,JAX 框架来训练一个简单的神经网络 本文例程部分主要参考官方文档. JAX简介 JAX 的前身是 Autograd ,也就是说 JAX 是 Autograd 升级版本 ...
- 基于python的系统构建_利用python构建一个简单的推荐系统
摘要: 快利用python构建一个属于你自己的推荐系统吧,手把手教学,够简单够酷炫. 本文将利用python构建一个简单的推荐系统,在此之前读者需要对pandas和numpy等数据分析包有所了解. 什 ...
- 基于ForkJoin构建一个简单易用的并发组件
2019独角兽企业重金招聘Python工程师标准>>> 基于ForkJoin构建一个简单易用的并发组件 在实际的业务开发中,需要用到并发编程的知识,实际使用线程池来异步执行任务的场景 ...
- 构造一个简单的神经网络,以DQN方式实现小游戏的自动控制
在之前的文章中,我们做了如下工作: 如何设计一个类flappy-bird小游戏:[python实战]使用pygame写一个flappy-bird类小游戏 | 设计思路+项目结构+代码详解|新手向 DF ...
- 快速构建一个简单的对话+问答AI (上)
文章目录 前言 part0 资源准备 基本功能 语料 停用词 问答 闲聊语料 获取 part01句的表达 表达 one-hot编码 词嵌入 大致原理 实现 简单版 复杂版 如何训练 转换后的形状 pa ...
- 一个简单的神经网络,三种常见的神经网络
BP人工神经网络方法 (一)方法原理人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统.理论和实践表明,在信息处理方面,神经网络方法比传统模式识别方法更具有优势. 人 ...
- python推荐系统-利用python构建一个简单的推荐系统
摘要: 快利用python构建一个属于你自己的推荐系统吧,手把手教学,够简单够酷炫. 本文将利用python构建一个简单的推荐系统,在此之前读者需要对pandas和numpy等数据分析包有所了解. 什 ...
- 【编译原理】构建一个简单的解释器(Let’s Build A Simple Interpreter. Part 8.)(笔记)一元运算符正负(+,-)
[编译原理]让我们来构建一个简单的解释器(Let's Build A Simple Interpreter. Part 8.) 文章目录 C语言代码(作者没提供完整的python代码,关键的改动提供了 ...
最新文章
- RHEL6基础四十三之RHEL文件共享②Samba简介
- IOS之--UI进阶--多控制器管理第一天
- 设计模式复习-工厂方法模式
- equals方法变量和常量位置区别
- Bootstrap-Table入门篇
- 合辑 | 面试必备!18篇Java面试疑难点详解
- dataTables分页组合查询 springMVC Hibernate
- Jacoco字节码植入原理(源码分析)
- 《sql语句练习1》
- UVA 1025 A Spy in the Metro DP水题
- html:(6):body标签和p标签
- 方差,平方差,标准差的区别是什么?
- 中心极限与大数定理律的关系_多元函数的极限、连续性分析
- Pytext简介:facebook的基于PyTorch的NLP框架
- python csv数据所在行_使用python获取csv文本的某行或某列数据的实例
- Linux登录的shell信息,Linux展示登录Shell信息
- 公务员学python有什么用_关于大龄中年学python的几点想法
- WebTrends 更强大、更灵活的网站分析工具
- Stata:快速转换工作路径
- UTC和GMT时间区别
热门文章
- usermod命令,用户密码管理和mkpasswd命令
- iOS网络-NSURLSessionDataTask大文件离线断点下载
- 虚拟桌面的备份恢复最佳实践 第一部分
- 线程和进程的自己觉得好的文章以及自我理解
- BZOJ 1096: [ZJOI2007]仓库建设
- 获取checkbox所选中的值
- java多线程编程01---------基本概念
- python 基础_列表的其他操作 4
- Java多线程的同步机制(synchronized)
- ubutun:从共享文件夹拷贝文件尽量使用cp命令而不是CTRL+C/V