【Torch笔记】autograd自动求导系统

Pytorch 提供的自动求导系统 autograd，我们不需要手动地去计算梯度，只需要搭建好前向传播的计算图，然后使用 autograd 计算梯度即可。

torch.autograd.backward() 可自动求取梯度：

tensors：用于求导的张量，如 loss
retain_graph：保存计算图
create_graph：创建导数计算图，用于高阶求导
grad_tensors：多梯度权重

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)a = torch.add(w, x)
b = torch.add(w, 1)
y = torch.mul(a, b)y.backward()        ## 实际调用的就是 torch.autograd.backward()
print(w.grad)## tensor([5.])

torch.autograd.grad() 可用于求取梯度：

outputs：用于求导的张量，如 loss
inputs：需要梯度的张量
create_graph：创建导数计算图，用于高阶求导
retain_graph：保存计算图
grad_outputs：多梯度权重

import torch
# flag = True
flag = True
if flag:x = torch.tensor([3.], requires_grad=True)y = torch.pow(x, 2)     # y = x**2grad_1 = torch.autograd.grad(y, x, create_graph=True)   # grad_1 = dy/dx = 2x = 2 * 3 = 6print(grad_1)grad_2 = torch.autograd.grad(grad_1[0], x)              # grad_2 = d(dy/dx)/dx = d(2x)/dx = 2print(grad_2)

autograd 小贴士：

梯度不会自动清零，所以通常需要手动清零 w.grad.zero_()

依赖于叶子结点的节点，requires_grad 默认为 True

叶子结点不可执行 in-place

【Torch笔记】autograd自动求导系统相关推荐

PyTorch 笔记Ⅱ——PyTorch 自动求导机制
文章目录 Autograd: 自动求导机制张量(Tensor) 梯度使用PyTorch计算梯度数值 Autograd 简单的自动求导复杂的自动求导 Autograd 过程解析扩展Autogra ...
Pytorch Autograd (自动求导机制)
Introduce Pytorch Autograd库 (自动求导机制) 是训练神经网络时,反向误差传播(BP)算法的核心. 本文通过logistic回归模型来介绍Pytorch的自动求导机制.首先, ...
[PyTorch] autograd 自动求导
文章目录 1. autograd 注意事项 backward() 梯度累加 2. 标量求导 3. 张量求导例1 例2 1. autograd 注意事项 backward() backwad() 函数 ...
autograd库测试笔记-（一个基于Numpy的自动求导库）
导入 autograd 库,同时导入这个库里的numpy(应该是作者自己把numpy放入了这个库的命名空间里面)以及逐项求导elementwise_grad. from autograd import ...
PyTorch基础（二）-----自动求导Autograd
一.前言上一篇文章中提到PyTorch提供了两个重要的高级功能,分别是: 具有强大的GPU加速的张量计算(如NumPy) 包含自动求导系统的的深度神经网络第一个特性我们会在之后的学习中用到,这里暂 ...
autograd-自动求导系统
torch.autograd 权值的更新需要求解梯度,pytorch提供了自动求导系统,我们只需要搭建前向传播计算图,由autograd的方法就可以得到所有张量的梯度. 其中最常用的方法是backwa ...
Pytorch学习（一）—— 自动求导机制
现在对 CNN 有了一定的了解,同时在 GitHub 上找了几个 examples 来学习,对网络的搭建有了笼统地认识,但是发现有好多基础 pytorch 的知识需要补习,所以慢慢从官网 API 进行 ...
Pytorch教程入门系列4----Autograd自动求导机制
系列文章目录文章目录系列文章目录前言一.Autograd是什么? 二.Autograd的使用方法 1.在tensor中指定 2.重要属性三.Autograd的进阶知识 1.动态计算图 2.梯 ...
Autograd：自动求导
2019年年初,ApacheCN组织志愿者翻译了PyTorch1.0版本中文文档(github地址),同时也获得了PyTorch官方授权,我相信已经有许多人在中文文档官网上看到了.不过目前校对还缺人手 ...

【Torch笔记】autograd自动求导系统

【Torch笔记】autograd自动求导系统

【Torch笔记】autograd自动求导系统相关推荐

最新文章

热门文章