pytorch之object.grad.zero

object.grad.zero_()的意思是清0object的梯度值。
下面做个实验。

x = torch.arange(4.0)
x.requires_grad_(True)
x.grad
# 注意此时为None，不为0
y = 2 * torch.dot(x, x)
y.backward()
x.grad
# tensor([ 0.,  4.,  8., 12.])
x.grad.zero_()
x.grad
# tensor([0., 0., 0., 0.])

在默认情况下，PyTorch会累积梯度，我们需要清除之前的值，假如不清0会出现什么现象，看下面的实验。

x = torch.arange(5.0)
x.requires_grad_(True)
y = 2 * torch.dot(x, x)
y.backward()
x.grad
# Out[58]: tensor([ 0.,  4.,  8., 12., 16.])
z = 2 * torch.dot(x, x)
z.backward()
x.grad
# Out[61]: tensor([ 0.,  8., 16., 24., 32.])，结果不对

那么上面这个错误结果是怎么来的呢？
PyTorch会累积梯度，tensor([ 0., 8., 16., 24., 32.]) = tensor([ 0., 4., 8., 12., 16.]) + tensor([ 0., 4., 8., 12., 16.])得到的结果；
所以下面这段代码的意思是迭代param时不需要构建计算图，并且迭代完成后就把param.grad清0，因为再一次调用sgd时就是下一个batch得到的param.grad，batch和batch是没有关系的。

def sgd(params, lr, batch_size):  #@save"""小批量随机梯度下降。"""with torch.no_grad():for param in params:param -= lr * param.grad / batch_sizeparam.grad.zero_()

参考资料

https://zh-v2.d2l.ai/chapter_preliminaries/autograd.html；

pytorch之object.grad.zero_()相关推荐

【pytorch】|tensor grad
计算图与动态图机制计算图是用来描述运算的有向无环图.计算图有两个主要元素:结点(Node)和边(Edge).结点表示数据,如向量,矩阵,张量:边表示运算,如加减乘除卷积等. 下面用计算图表示:y = ...
Pytorch:ToTensor(object)类
PyTorch在做一般的深度学习图像处理任务时,先使用dataset类和dataloader类读入图片,在读入的时候需要做transform变换,其中transform一般都需要ToTensor()操 ...
[转]一文解释PyTorch求导相关 (backward, autograd.grad)
PyTorch是动态图,即计算图的搭建和运算是同时的,随时可以输出结果:而TensorFlow是静态图. 在pytorch的计算图里只有两种元素:数据(tensor)和运算(operation) 运 ...
Pytorch的grad、backward()、zero_grad()
grad 梯度什么样的tensor有grad? pytorch中只有torch.float和复杂类型才能有grad. x = torch.tensor([1, 2, 3, 4], requires_ ...
PyTorch－Adam优化算法原理，公式，应用
概念:Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重.Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jim ...
笔记 | PyTorch安装及入门教程
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文内容概述如何安装PyTorch以及PyTorch的一些简单操作 ...
pytorch adagrad_【学习笔记】Pytorch深度学习—优化器（二）
点击文末阅读原文,体验感更好哦! 前面学习过了Pytorch中优化器optimizer的基本属性和方法,优化器optimizer的主要功能是 "管理模型中的可学习参数,并利用参数的梯度gr ...
PyTorch官方教程中文版：入门强化教程代码学习
PyTorch之数据加载和处理 from __future__ import print_function, division import os import torch import pandas ...
[PyTorch] 译+注：一个例子，让你明白PyTorch框架
文章目录 Introduction Motivation Table of Contents A Simple Regression Problem (一个简单的线性回归) Data Generati ...

pytorch之object.grad.zero_()

pytorch之object.grad.zero_()相关推荐

最新文章

热门文章