五、Optim 优化器

参考文档：https://pytorch.org/docs/stable/optim.html

1、SGD

参考文档：https://pytorch.org/docs/stable/generated/torch.optim.SGD.html#torch.optim.SGD

import torch.optim
import torchvision
from torch import nn
from torch.nn import Sequential, Conv2d, MaxPool2d, Flatten, Linear, CrossEntropyLoss
from torch.utils.data import DataLoaderdataset = torchvision.datasets.CIFAR10("../data", train=False, transform=torchvision.transforms.ToTensor(),download=True)dataloader = DataLoader(dataset, batch_size=1)class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self, x):x = self.model1(x)return xloss = CrossEntropyLoss()tudui = Tudui()optim = torch.optim.SGD(tudui.parameters(), lr=0.01)  # 优化器

For循环1：

for data in dataloader:imgs, targets = dataoutput = tudui(imgs)result_loss = loss(output, targets)optim.zero_grad()  # 清零result_loss.backward()  # 反向传播optim.step()  # 调优print(result_loss)

Files already downloaded and verified
tensor(2.3287, grad_fn=<NllLossBackward0>)
tensor(2.3879, grad_fn=<NllLossBackward0>)
tensor(2.2987, grad_fn=<NllLossBackward0>)
...

For循环2：

for epoch in range(20):running_loss = 0.0for data in dataloader:imgs, targets = dataoutput = tudui(imgs)result_loss = loss(output, targets)optim.zero_grad()result_loss.backward()optim.step()running_loss += result_lossprint(running_loss)

Files already downloaded and verified
tensor(18592.4395, grad_fn=<AddBackward0>)
tensor(16118.4756, grad_fn=<AddBackward0>)
tensor(15450.5898, grad_fn=<AddBackward0>)
...

【PyTorch】Optim 优化器相关推荐

[源码解析] PyTorch分布式优化器(1)----基石篇
[源码解析] PyTorch分布式优化器(1)----基石篇文章目录 [源码解析] PyTorch分布式优化器(1)----基石篇 0x00 摘要 0x01 从问题出发 1.1 示例 1.2 问题点 ...
简单粗暴PyTorch之优化器
优化器一.优化器属性与方法二.pytorch中的优化器一.优化器属性与方法 pytorch的优化器: 管理并更新模型中可学习参数的值,使得模型输出更接近真实标签导数:函数在指定坐标轴上的变化 ...
PyTorch 中 torch.optim优化器的使用
一.优化器基本使用方法建立优化器实例循环: 清空梯度向前传播计算Loss 反向传播更新参数示例: from torch import optim input = ..... optimiz ...
『PyTorch』第十一弹_torch.optim优化器每层定制参数
一.简化前馈网络LeNet 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 im ...
Pytorch的优化器推荐
Pytorch中有四种常用的优化器,SGD.Momentum.RMSProp.Adam,那我们该如何选择呢. 1.SGD 参数介绍: --lr(float) :学习率 --momentum(float ...
【Pytorch的优化器总结归纳】
文章目录 1.SGD(随机梯度下降) 2.ASGD(随机平均梯度下降) 3.AdaGrad算法 4.AdaDelta算法 5.Rprop(弹性反向传播) 6.RMSProp(Root Mean Squ ...
Pytorch的优化器总结归纳
pytorch的几类优化器笔记总结自: https://pytorch.org/docs/stable/optim.html 在博客https://www.jianshu.com/p/39dac1e ...
Pytorch：优化器、损失函数与深度神经网络框架
Pytorch: 优化器.损失函数与深度神经网络框架 Copyright: Jingmin Wei, Pattern Recognition and Intelligent System, Schoo ...
PyTorch(13)---优化器_随机梯度下降法
优化器:随机梯度下降法反向传播-梯度下降 import torch import torchvision from torch import nn from torch.nn import Conv ...

【PyTorch】Optim 优化器

文章目录

五、Optim 优化器

1、SGD

【PyTorch】Optim 优化器相关推荐

最新文章

热门文章