python中backward是什么意思_python-PyTorch函数中的下划线后缀是什么意思...

您已经回答了自己的问题,即下划线表示PyTorch中的就地操作.但是,我想简要指出为什么就地操作会出现问题：

>首先,在大多数情况下,建议在PyTorch网站上不要使用就地操作.除非在沉重的内存压力下工作,否则在大多数情况下,不使用就地操作会更有效率.

https://pytorch.org/docs/stable/notes/autograd.html#in-place-operations-with-autograd

>其次,在使用就地操作时可能会出现计算梯度的问题：

Every tensor keeps a version counter, that is incremented every time

it is marked dirty in any operation. When a Function saves any tensors

for backward, a version counter of their containing Tensor is saved as

well. Once you access self.saved_tensors it is checked, and if it is

greater than the saved value an error is raised. This ensures that if

you’re using in-place functions and not seeing any errors, you can be

sure that the computed gradients are correct.

07001

这是从您发布的答案中摘录并经过稍微修改的示例：

首先是就地版本：

import torch

a = torch.tensor([2, 4, 6], requires_grad=True, dtype=torch.float)

adding_tensor = torch.rand(3)

b = a.add_(adding_tensor)

c = torch.sum(b)

c.backward()

print(c.grad_fn)

导致此错误：

---------------------------------------------------------------------------

RuntimeError Traceback (most recent call last)

2 a = torch.tensor([2, 4, 6], requires_grad=True, dtype=torch.float)

3 adding_tensor = torch.rand(3)

----> 4 b = a.add_(adding_tensor)

5 c = torch.sum(b)

6 c.backward()

RuntimeError: a leaf Variable that requires grad has been used in an in-place operation.

其次,非就地版本：

import torch

a = torch.tensor([2, 4, 6], requires_grad=True, dtype=torch.float)

adding_tensor = torch.rand(3)

b = a.add(adding_tensor)

c = torch.sum(b)

c.backward()

print(c.grad_fn)

哪个工作得很好-输出：

因此,作为总结,我只想指出要在PyTorch中谨慎使用就地操作.

python中backward是什么意思_python-PyTorch函数中的下划线后缀是什么意思...相关推荐

【Python 函数前的下划线】
目录 1. 函数前的下划线的分类 2. 两种下划线的区别 1. 函数前的下划线的分类 Python函数前的下划线分为单下划线和双下划线两种: # 单下划线 def _add():...return# ...
成功解决在word文件的表格中当输文字时自动出现加红色和下划线
成功解决在word文件的表格中当输文字时自动出现加红色和下划线目录解决问题解决思路解决方法解决问题成功解决在word文件的表格中当输文字时自动出现加红色和下划线解决思路在输入文字的时候 ...
python处理pdf提取指定数据_python从PDF中提取数据的示例
01 前言数据是数据科学中任何分析的关键,大多数分析中最常用的数据集类型是存储在逗号分隔值(csv)表中的干净数据.然而,由于可移植文档格式(pdf)文件是最常用的文件格式之一,因此每个数据科学家都 ...
python编程试题单词倒排_Python:将句子中的单词全部倒排过来，但单词的字母顺序不变...
早上看到好友未央的一篇博文<一道google的测试工程师笔试题>,内容如下: 这是去年面试google测试工程师的一道题,题目如下: 设计一个函数,使用任意语言,完成以下功能: 一个句子, ...
python判断网页密码加密方式_Python模拟网页中javascript加密与验证的相关处理
在做网络爬虫的过程中你是否一些在这方面做的很好的网站,你向知道他是通过哪些相关的操作做出这么好的网站,以下就是文章的相关内容的具体介绍,希望你浏览完下面的内容会有所收获.Python模拟网页的java ...
python线程池回调函数_python回调函数中使用多线程的方法
下面的demo是根据需求写的简单测试脚本 #!/usr/bin/env python # coding: utf-8 # 第一个列表为依赖组件和版本号,后面紧跟负责人名称 # 接着出现第二个以来组建列 ...
python在不同系统代码区别_python不同系统中打开方法
在Linux.Windows.Mac OS的命令行窗口或Shell窗口,执行python命令,启动Python交互式解释器.交互式解释器会等待用户输入Python语句.输入Python语句并回车,解释 ...
python中reversed是什么意思_Python reversed函数及使用方法解析
Python reversed函数及使用方法解析有些时候,程序需要进行反向遍历,此时可通过 reversed() 函数,该函数可接收各种序列(元组.列表.区间等)参数,然后返回一个"反序排 ...
python的发展及应用前景论文_Python在物联网中的应用与发展综述
123 Python 在物联网中的应用与发展综述陈光辉 (北京信息科技大学自动化学院,北京 100091) 摘要:文章主要介绍了物联网的产生与发展和对人们生活与社会生产的促进作用,以及我国物联网发 ...
python读取txt中的一列称为_Python读取文本中的数字
作者:金良(golden1314521@gmail.com) csdn博客:http://blog.csdn.net/u012176591 1.例程1 先看文本内容形式: 1404796773468 ...

python中backward是什么意思_python-PyTorch函数中的下划线后缀是什么意思...

python中backward是什么意思_python-PyTorch函数中的下划线后缀是什么意思...相关推荐

最新文章

热门文章