【torch.no_grad()】

torch.no_grad是一个类，pytorch官网描述如下：

一个上下文管理器，disable梯度计算。disable梯度计算对于推理是有用的，当你确认不会调用Tensor.backward()的时候。这可以减少计算所用内存消耗。这个模式下，每个计算结果的requires_grad=False，尽管输入的requires_grad=True。

上下文管理器是thread local的，不会影响其它线程的计算。

x = torch.tensor([1.], requires_grad=True)
with torch.no_grad():y = x * 2
y.requires_grad  # False

也可以作为装饰器。

@torch.no_grad()
def doubler(x):return x * 2
z = doubler(x)
z.requires_grad  # False

在我们对模型进行验证的时候，可以使用下面两种格式：

model.eval()
with torch.no_grad():pass

或者使用装饰器

@torch.no_grad()
def eval():...

【torch.no_grad()】相关推荐

【Torch笔记】计算图与动态图
[Torch笔记]计算图与动态图 1 什么是计算图? 计算图(Computational Graph)是用来描述运算的有向无环图,主要由节点和边组成.节点表示数据,如向量.矩阵.张量,边表示运算, ...
【Torch笔记】Tensor 简介与创建方法
[Torch笔记]Tensor 1 什么是 Tensor? Tensor,又称张量,它是矩阵向任意维度的推广. [Tensor 与 Variable(目前已弃用,但最好了解一下)] Variable ...
【Torch笔记】autograd自动求导系统
[Torch笔记]autograd自动求导系统 Pytorch 提供的自动求导系统 autograd,我们不需要手动地去计算梯度,只需要搭建好前向传播的计算图,然后使用 autograd 计算梯度即可 ...
【torch.optim】优化器的使用 / 学习率的调整 / SWA策略
torch.optim torch.optim是实现各种优化算法的包.大多数常用的方法都已得到支持,而且接口足够通用,因此将来还可以轻松集成更复杂的方法. 优化器使用优化器为了使用一个优化器,必须 ...
【Torch API】pytorch 中torch.ones_like和torch.zeros_like函数详解
torch.ones_like函数和torch.zeros_like函数的基本功能是根据给定张量,生成与其形状相同的全1张量或全0张量,示例如下: input = torch.rand(2, 3) p ...
【Torch API】torch.nonzero用法详解
torch.nonzero(input, *, out=None, as_tuple=False) → LongTensor or tuple of LongTensors 功能:用于输出数组的非零值 ...
【深度学习】with torch.no_grad的作用
with open("1.txt") as file:data = file.read() 总结with工作原理: (1)紧跟with后面的语句被求值后,返回对象的"–e ...
【Pytorch】model.train()和model.eval()用法和区别，以及model.eval()和torch.no_grad()的区别
model.train() 启用 Batch Normalization 和 Dropout 如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model. ...
【pytorch】 grad、grad_fn、requires_grad()、with torch.no_grad() 、net.train()、net.eval()：记录一次奇怪的debug经历
刚开始接触pytorch框架时,最让我觉得神奇的就是它居然可以–自动求导 ! 于是我开始尝试理解内部的运行机制,但很快放弃了,直接当成黑盒使用-- 最近又遇到一个奇怪的bug,让我不得不去学一下 ...

【torch.no_grad()】

【torch.no_grad()】相关推荐

最新文章

热门文章