Pytorch之Optim（优化器）

使用优化器,接收损失函数的结果,并调整网络参数,完成反向传播

根据示例

optimizer = torch.optim.SGD(module.parameters(), lr=0.01, momentum=0.9)

然后根据提示,清空梯度>网络前传>计算损失>反向传播>优化网络参数

在运行区域引入库和之前的Module

if __name__ == '__main__':module = Module()loss = nn.CrossEntropyLoss()optimizer = torch.optim.SGD(module.parameters(), lr=0.01, momentum=0.9)running_loss = 0.0for imgs, targets in dataloader:optimizer.zero_grad()outputs = module(imgs)result_loss = loss(outputs, targets)result_loss.backward()optimizer.step()running_loss = running_loss + result_lossprint(running_loss)

再因为优化器一般不只是优化一次,迭代完所有训练集只是完成了网络（对于该数据集）的一次优化,优化的次数就是俗称的epoch,一般都是在外面再写个循环完成迭代

if __name__ == '__main__':module = Module()loss = nn.CrossEntropyLoss()optimizer = torch.optim.SGD(module.parameters(), lr=0.01, momentum=0.9)for epoch in range(12):running_loss = 0.0for imgs, targets in dataloader:optimizer.zero_grad()outputs = module(imgs)result_loss = loss(outputs, targets)result_loss.backward()optimizer.step()running_loss = running_loss + result_lossprint(running_loss)

运行获得以下结果

然后由于CPU实在是太慢,加入GPU

if __name__ == '__main__':module = Module()loss = nn.CrossEntropyLoss()if torch.cuda.is_available():module = module.cuda()loss = loss.cuda()optimizer = torch.optim.SGD(module.parameters(), lr=0.01, momentum=0.9)for epoch in range(12):running_loss = 0.0for imgs, targets in dataloader:if torch.cuda.is_available():imgs = imgs.cuda()targets = targets.cuda()optimizer.zero_grad()outputs = module(imgs)result_loss = loss(outputs, targets)result_loss.backward()optimizer.step()running_loss = running_loss + result_lossprint(running_loss)

最后放一下完整的代码

import torch
import torchvision
from torch import nn
from torch.nn import Sequential, Conv2d, MaxPool2d, Flatten, Linear
from torch.utils.data import DataLoaderdataset = torchvision.datasets.CIFAR10("CIFAR10", train=False, transform=torchvision.transforms.ToTensor(),download=True)dataloader = DataLoader(dataset, batch_size=1)class Module(nn.Module):def __init__(self):super(Module, self).__init__()self.model = Sequential(Conv2d(3, 16, 5),MaxPool2d(2, 2),Conv2d(16, 32, 5),MaxPool2d(2, 2),Flatten(),  # 注意一下,线性层需要进行展平处理Linear(32*5*5, 120),Linear(120, 84),Linear(84, 10))def forward(self, x):x = self.model(x)return x

Pytorch之Optim（优化器）相关推荐

【PyTorch】Optim 优化器
文章目录五.Optim 优化器 1.SGD 五.Optim 优化器参考文档:https://pytorch.org/docs/stable/optim.html 1.SGD 参考文档:https: ...
pytorch adagrad_【学习笔记】Pytorch深度学习—优化器（二）
点击文末阅读原文,体验感更好哦! 前面学习过了Pytorch中优化器optimizer的基本属性和方法,优化器optimizer的主要功能是 "管理模型中的可学习参数,并利用参数的梯度gr ...
pytorch 7 optimizer 优化器加速训练
pytorch 7 optimizer 优化器加速训练 import torch import torch.utils.data as Data import torch.nn.functional ...
pytorch学习十 ---- 优化器
1.什么是优化器? 首先我们回忆一下机器学习的五大模块:数据.模型.损失函数.优化器.迭代训练在损失函数中我们会得到一个loss值,即真实标签与预测标签的差异值,对于loss我们通常会采用pytor ...
Pytorch框架之优化器 Optimizer
Pytorch框架之优化器 Optimizer 基本用法优化器主要是在模型训练阶段对模型可学习参数进行更新, 常用优化器有 SGD,RMSprop,Adam等优化器初始化时传入传入模型的可学习参数 ...
PyTorch 中 torch.optim优化器的使用
一.优化器基本使用方法建立优化器实例循环: 清空梯度向前传播计算Loss 反向传播更新参数示例: from torch import optim input = ..... optimiz ...
『PyTorch』第十一弹_torch.optim优化器每层定制参数
一.简化前馈网络LeNet 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 im ...
PyTorch 学习笔记（七）：PyTorch的十个优化器
本文截取自<PyTorch 模型训练实用教程>,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial 文章目录 1 torch. ...
adam优化_PyTorch 学习笔记（七）：PyTorch的十个优化器
本文截取自<PyTorch 模型训练实用教程>,获取全文pdf请点击: tensor-yu/PyTorch_Tutorialgithub.com PyTorch提供了十种优化器,在这里就 ...
PyTorch的十个优化器（SGD，ASGD，Rprop，Adagrad，Adadelta，RMSprop，Adam(AMSGrad)，Adamax，SparseAdam，LBFGS）
本文截取自<PyTorch 模型训练实用教程>,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial 文章目录 1 torch. ...

Pytorch之Optim（优化器）

Pytorch之Optim（优化器）相关推荐

最新文章

热门文章