PyTorch中 detach() 、detach_()和 data 的区别

1.介绍

在使用PyTorch的过程中，我们经常会遇到detach() 、detach_()和 data这三种类别，如果你不详细分析它们的使用场所，的确是很容易让人懵逼。

1）detach()与detach_()

在x->y->z传播中，如果我们对y进行detach()，梯度还是能正常传播的，但如果我们对y进行detach_()，就把x->y->z切成两部分：x和y->z，x就无法接受到后面传过来的梯度

2）detach()和data

共同点：x.data（x.detach()）返回和 x 的相同数据 tensor, 这个新的tensor和原来的tensor（即x）是共用数据的，一者改变，另一者也会跟着改变，且require s_grad = False

不同点： x.data 不能被 autograd 追踪求微分，即使被改了也能错误求导，而x.detach()则不行

2.代码

import torcha = torch.tensor([1, 2, 3.], requires_grad=True)
print(a)
out = a.tanh()
print(out)
c = out.data  # 需要走注意的是，通过.data “分离”得到的的变量会和原来的变量共用同样的数据，而且新分离得到的张量是不可求导的，c发生了变化，原来的张量也会发生变化
c.zero_() # 改变c的值，原来的out也会改变
print(c.requires_grad)
print(c)
print(out.requires_grad)
print(out)
print("----------------------------------------------")out.sum().backward()  # 对原来的out求导，
print(a.grad)  # 不会报错，但是结果却并不正确#输出
tensor([1., 2., 3.], requires_grad=True)
tensor([0.7616, 0.9640, 0.9951], grad_fn=<TanhBackward>)
False
tensor([0., 0., 0.])
True
tensor([0., 0., 0.], grad_fn=<TanhBackward>)
----------------------------------------------
tensor([1., 1., 1.])

import torcha = torch.tensor([1, 2, 3.], requires_grad=True)
print(a)
out = a.tanh()
print(out)
c = out.detach()  # 需要走注意的是，通过.detach() “分离”得到的的变量会和原来的变量共用同样的数据，而且新分离得到的张量是不可求导的，c发生了变化，原来的张量也会发生变化
c.zero_()  # 改变c的值，原来的out也会改变
print(c.requires_grad)
print(c)
print(out.requires_grad)
print(out)
print("----------------------------------------------")out.sum().backward()  # 对原来的out求导，
print(a.grad)  # 此时会报错，错误结果参考下面,显示梯度计算所需要的张量已经被“原位操作inplace”所更改了。# 输出
tensor([1., 2., 3.], requires_grad=True)
tensor([0.7616, 0.9640, 0.9951], grad_fn=<TanhBackward>)
False
tensor([0., 0., 0.])
True
tensor([0., 0., 0.], grad_fn=<TanhBackward>)
----------------------------------------------
Traceback (most recent call last):File "E:/python/TCL/entropy_coding_project/test_code/test27.py", line 15, in <module>out.sum().backward()  # 对原来的out求导，File "D:\ProgramData\Anaconda3\lib\site-packages\torch\tensor.py", line 107, in backwardtorch.autograd.backward(self, gradient, retain_graph, create_graph)File "D:\ProgramData\Anaconda3\lib\site-packages\torch\autograd\__init__.py", line 93, in backwardallow_unreachable=True)  # allow_unreachable flag
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [3]], which is output 0 of TanhBackward, is at version 1; expected version 0 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

PyTorch中 detach() 、detach_()和 data 的区别相关推荐

【pytorch】.detach() .detach_() 和 .data==＞用于切断反向传播
当我们再训练网络的时候可能希望保持一部分的网络参数不变,只对其中一部分的参数进行调整: 或者只训练部分分支网络,并不让其梯度对主网络的梯度造成影响, 这时候我们就需要使用detach()函数来切断一 ...
axios中的params和data的区别
axios中的params和data是用来携带请求参数的两个属性. params是用来携带请求参数的,它以key-value的形式放在URL后面,是一个对象. data是用来携带请求数据的,它以key ...
PyTorch中 tensor.detach() 和 tensor.data 的区别
原文链接请参考:https://dreamhomes.top/posts/201906081516/ PyTorch0.4中,.data 仍保留,但建议使用 .detach(), 区别在于 .data ...
pytorch .detach() .detach_() 和 .data用于切断反向传播
参考:https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-autograd/#detachsource 当我们再训 ...
pytorch：.detach()、.detach_()的作用和区别
文章目录 pytorch的两个函数:.detach()..detach_()的作用和区别一.torch.detach() 二.tensor.detach_() 补充:requires_grad.gr ...
简单介绍pytorch中分布式训练DDP使用 (结合实例，快速入门)
文章目录 DDP原理 pytorch中DDP使用相关的概念使用流程如何启动 torch.distributed.launch spawn调用方式针对实例voxceleb_trainer多卡介绍 ...
pytorch中的.detach()和detach_()和.data和.cpu()和.item()的深入详解与区别联系
detach().detach_()和data detach()与detach_() 在x->y->z传播中,如果我们对y进行detach(),梯度还是能正常传播的: 但如果我们对y进行d ...
pytorch中的.detach和.data深入详解
前言:这两个方法都可以用来从原有的计算图中分离出某一个tensor,有相似的地方,也有不同的地方,下面来比较性的看一看.PyTorch0.4以及之后的版本中,.data 仍保留,但建议使用 .deta ...
detach detach_ pytorch
pytorch中的detach和detach_ pytorch 的 Variable 对象中有两个方法,detach和 detach_ : detach 官方文档中,对这个方法是这么介绍的. 返回一个 ...
pytorch网络冻结的三种方法区别：detach、requires_grad、with_no_grad
pytorch网络冻结的三种方法区别:detach.requires_grad.with_no_grad 文章目录 pytorch网络冻结的三种方法区别:detach.requires_grad.wi ...

PyTorch中 detach() 、detach_()和 data 的区别

1.介绍

2.代码

PyTorch中 detach() 、detach_()和 data 的区别相关推荐

最新文章

热门文章