pytorch学习 -- 反向传播backward

pytorch学习 – 反向传播backward

入门学习pytorch，在查看pytorch代码时对autograd的backard函数的使用和具体原理有些疑惑，在查看相关文章和学习后，简单说下我自身的理解：

backward函数属于torch.autograd函数库，在深度学习过程中对函数进行反向传播，计算输出变量关于输入变量的梯度。其输入变量自然应满足autograd 的要求，为Variable类型而不是tensor类型。

常见的使用方法为：

y.backward()

此时分为两种情况，当y为标量时，对y进行反向传播则不需要任何输入变量，个人理解是即默认此时y为网络输出的最后一层，其再没有上一层变量关于其的梯度了（因为为标量）。当y为非标量Variable类型时，根据pytorch中文官网的介绍，“backward的输入参数是此operation的输出的值的梯度，backward的返回值是此operation输入值的梯度。”，对于这句话，我个人的理解是因为输出仍未非标量，所以其还在传播过程中，pytorch需要知道该变量上一级关于其的梯度，我们不妨设上一级的变量为L，我们神经网络的链式法则为：

可见，最终x的梯度即又上面的公式得出，dL/dy即是我们需要给定的backward函数的输入，dy/dx可由函数直接算出。

ok，举个简单的例子：

运行结果：

由提到的公式可以得到，

x.grads 为 dL/dy*dy/dx = [1,2,3,4,5]2x, 结果正如所料。

PS：

1.关于求梯度，只有我们定义的Variable的梯度会被放在 .grad 属性中，其余 Variable 的梯度不会被保存在 .grad 属性中

2.自己定义Variable的时候，记得Variable(Tensor, requires_grad = True),这样才会被求梯度，不然的话，是不会求梯度的

可以参考https://zhuanlan.zhihu.com/p/29923090

pytorch学习 -- 反向传播backward相关推荐

Pytorch的反向传播backward()详解
在Pytorch中,我们有时候会进行多个loss的回传,然而回传中,会发生一些错误.例如: RuntimeError: Trying to backward through the graph a s ...
pytorch 入门学习反向传播-4
pytorch 入门学习反向传播反向传播 import numpy as np import matplotlib.pyplot as plt import torchdef forward(x): ...
人工智能-作业1：PyTorch实现反向传播
人工智能-作业1:PyTorch实现反向传播人工智能-作业1:PyTorch实现反向传播环境配置: 计算过程反向传播 PyTorch Autograd自动求导人工智能-作业1:PyTorch实 ...
【2021-2022 春学期】人工智能-作业1：PyTorch实现反向传播
1 安装pycharm,配置好python开发环境 PyCharm 安装教程(Windows) | 菜鸟教程 (runoob.com) 2 安装pytorch PyTorch 3 使用pytorch实 ...
Pytorch(三) --反向传播
整体上来说,和上一节的梯度下降法差不多,不过这次是用Pytorch实现的,调用了其中的一些方法. 需要注意的事项: ①Tensor中包含data和grad,其中data和grad也是Tensor.在更 ...
pytorch loss反向传播出错
今天在使用pytorch进行训练,在运行 loss.backward() 误差反向传播时出错 : RuntimeError: grad can be implicitly created only f ...
李宏毅《机器学习》笔记 DAY4 深度学习反向传播
目录深度学习的三个步骤 Step1:神经网络(Neural network) 完全连接前馈神经网络全链接前馈网络矩阵计算(Matrix Operation) Step2:模型评估(Goodnes ...
深度学习---反向传播算法
装载原文:https://www.cnblogs.com/yeluzi/p/7418291.html 一. 一种基于矩阵运算快速计算神经网络输出的方法在介绍反向传播之前,先介绍怎么利用矩阵运算快速的 ...
【Pytorch】反向传播为NaN报错的排查解决方法，RuntimeError: Function ‘BmmBackward0‘ returned nan values
最近在训练模型的过程中,反复出现方向传播至为NaN的报错,报错信息如下所示: File "/home/fu/anaconda3/envs/torch/lib/python3.7/site-p ...

pytorch学习 -- 反向传播backward

pytorch学习 -- 反向传播backward相关推荐

最新文章

热门文章