pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时为 True 才会保存 grad

根据下面的代码和输出，不难发现在 loss 执行完 backward 操作之后
只有那些 requires_grad 和 is_leaf 的属性同时为 True 的 Tensor 才会有 grad 属性。
不满足上面的条件也想要保存 grad，见这篇博文 Pytorch关于requires_grad_(True)的理解。

而根据这篇文章
Tesor 在下面几种情况下，才会是 leaf

# Creating the graph
x = torch.tensor([1.,2.,3.], requires_grad = True)
y = torch.tensor([4.,5.,6.], requires_grad = True)
z = x+y
loss = (z*z).sum()
loss.backward() #Computes the gradientprint("x requires_grad",x.requires_grad)
print('x is_leaf',x.is_leaf)
print('x grad_data',x.grad.data)print("\ny requires_grad",y.requires_grad)
print('y is_leaf',y.is_leaf)
print('y grad_data',y.grad.data) print("\nz requires_grad",z.requires_grad)
print('z is_leaf',z.is_leaf)print("\nloss requires_grad",loss.requires_grad)
print('loss is_leaf',loss.is_leaf)print('loss grad_data',loss.grad.data)
print('z grad_data',z.grad.data)

输出：

x requires_grad True
x is_leaf True
x grad_data tensor([10., 14., 18.])y requires_grad True
y is_leaf True
y grad_data tensor([10., 14., 18.])z requires_grad True
z is_leaf Falseloss requires_grad True
loss is_leaf FalseFile "xx.py", line 27, in <module>print('loss grad_data',loss.grad.data) #Prints '3' which is dz/dx
AttributeError: 'NoneType' object has no attribute 'data'z grad_data 也是一样的报错，就不贴上来了

pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时为 True 才会保存 grad相关推荐

创建一个Rectangle类。添加两个属性width、height，分别表示宽度和高度，添加计算矩形的周长和面积的方法。测试输出一个矩形的周长和面积。
[Java]创建一个Rectangle类添加两个属性width.height,分别表示宽度和高度,添加计算矩形的周长和面积的方法.测试输出一个矩形的周长和面积. /*作者:龙蝶 *日期:2020年4 ...
Java中实现根据一个List中的数据的两个属性相同划分为同一类
场景有一个List,每一个元素是一个对象,根据每个对象的两个属性是否相同划分为同一类,即两个属性都相同时才划为同一类. 并将同类中的num属性进行累加. 如图: 根据material_number ...
定义类MyProgram，包含两个属性：一个是private的整型属性data、一个是private的String类型属性str，重写toString,equals
题目: 定义一个类MyProgram,包含两个属性:一个是private的整型属性data.一个是private的String类型属性str,封装这两个属性的四个方法setData( )和getDat ...
Pytorch——如何创建一个tensor与索引和切片(二)
1.两种常见的随机初始化 (1) rand函数 rander函数就是随机的使用0和1的均值分布来初始化,也就是说它从零和一的空间中随机的均匀的sample出来,这样数据就回均匀的分布在0和1之间. t ...
【pytorch】|tensor grad
计算图与动态图机制计算图是用来描述运算的有向无环图.计算图有两个主要元素:结点(Node)和边(Edge).结点表示数据,如向量,矩阵,张量:边表示运算,如加减乘除卷积等. 下面用计算图表示:y = ...
pytorch中tensor、backward一些总结
目录说明 Tensor Tensor的创建 Tensor(张量)基本数据类型与常用属性 Tensor的自动微分设置不可积分计算 pytorch 计算图 backward一些细节该文章解决问题如下 ...
PyTorch：tensor、torch.nn、autograd、loss等神经网络学习手册（持续更新）
PyTorch1:tensor2.torch.nn.autograd.loss等神经网络学习手册(持续更新) 链接:画图.读写图片文章目录一.tensor 二.完整训练过程:数据.模型.可学习参数 ...
pytorch方法,Tensor及其基本操作_重点
由于之前的草稿都没了,现在只有重写-. 我好痛苦本章只是对pytorch的常规操作进行一个总结,大家看过有脑子里有印象就好,知道有这么个东西,需要的时候可以再去详细的看,另外也还是需要在实战中多运用 ...
pytorch学习笔记 1. pytorch基础 tensor运算
pytorch与tensorflow是两个近些年来使用最为广泛的机器学习模块.开个新坑记录博主学习pytorch模块的过程,不定期更新学习进程. 文章较为适合初学者,欢迎对代码和理解指点讨论,下面进入 ...

pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时为 True 才会保存 grad

pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时为 True 才会保存 grad相关推荐

最新文章

热门文章

pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时 为 True 才会保存 grad

pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时 为 True 才会保存 grad相关推荐

最新文章

热门文章

pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时为 True 才会保存 grad

pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时为 True 才会保存 grad相关推荐