梯度累加是什么意思-详解

每次看到“梯度是累加的，所以需要清除梯度”这句话都感觉云里雾里，貌似懂了实际没懂，原来竟是这么简单的意思！

1、直接上代码：

import torchx = torch.Tensor([1, 2, 3])
x.requires_grad_()
print(x)
y = x**2# 连续调用backward时，需要retain_graph=True确保计算图暂时不被释放
y.sum().backward(retain_graph=True)
print(x.grad)
y.sum().backward()
print(x.grad)  # 如果梯度不归零的话，梯度是累加的

运行结果是：

tensor([1., 2., 3.], requires_grad=True)
tensor([2., 4., 6.])
tensor([ 4.,  8., 12.])

第一次调用backward反向传播，结果是（2 4 6），中间没有梯度清零，第二次调用backward反向传播，又有了一波结果（2 4 6），加在之前的结果上就得了（4 8 12）

2、接下来，我们在两次调用之间加一个梯度清零操作看看：

import torchx = torch.Tensor([1, 2, 3])
x.requires_grad_()
print(x)
y = x**2y.sum().backward(retain_graph=True)  # 连续调用backward时，需要retain_graph=True确保计算图暂时不被释放
print(x.grad)
x.grad.zero_()
y.sum().backward()
print(x.grad)  # 如果梯度不归零的话，梯度是累加的

运行结果是：

tensor([1., 2., 3.], requires_grad=True)
tensor([2., 4., 6.])
tensor([2., 4., 6.])

梯度累加是什么意思-详解相关推荐

python中backward_pytorch的梯度计算以及backward方法详解
基础知识 tensors: tensor在pytorch里面是一个n维数组.我们可以通过指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯度.在pytorch中一般叫做d ...
python中累加函数_对Python实现累加函数的方法详解
对Python实现累加函数的方法详解发布时间:2020-10-26 00:02:44 来源:脚本之家阅读:120 作者:岚漾忆雨这个需求比较奇怪,要求实现Sum和MagaSum函数,实现以下功能 ...
残差连接（及梯度消失网络退化）详解
本文就说说用残差连接解决梯度消失和网络退化的问题. 一.背景 1)梯度消失问题我们发现很深的网络层,由于参数初始化一般更靠近0,这样在训练的过程中更新浅层网络的参数时,很容易随着网络的深入而导致梯度 ...
机器学习--详解基于梯度下降的Logistic回归算法原理
先给出Logistic回归的sigmod函数数学表达式: 很简单的表达式,再看看它的性质,当时,,因此当时,,因此 Logistic回归之所以称为Logistic是因为只有两个状态即0和1,这也是数 ...
梯度消失和梯度爆炸问题及其解决方法详解
梯度不稳定概念和解决方法梯度消失和梯度爆炸问题概念原理详解解决方法更改激活函数(Relu.Leaky-Relu.P-Relu等) 权重初始化加入BN层(Batch Normalizatio ...
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG) 优化算法
深度学习优化函数详解系列目录深度学习优化函数详解(0)– 线性回归问题深度学习优化函数详解(1)– Gradient Descent 梯度下降法深度学习优化函数详解(2)– SGD 随机梯度下降 ...
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG)
深度学习优化函数详解系列目录本系列课程代码,欢迎star: https://github.com/tsycnh/mlbasic 深度学习优化函数详解(0)-- 线性回归问题深度学习优化函数详解(1 ...
GBDT！深入浅出详解梯度提升决策树
AI有道一个有情怀的公众号 1 Adaptive Boosted Decision Tree Random Forest的算法流程我们之前已经详细介绍过,就是先通过bootstrapping&quo ...
方向梯度直方图（Histogram Of Gradient）详解
特征描述子(Feature Descriptor) 特征描述子就是图像的表示,抽取了有用的信息,丢掉了不相关的信息.通常特征描述子会把一个w*h*3(宽高3,3个channel)的图像转换成一个长度为 ...

梯度累加是什么意思-详解

梯度累加是什么意思-详解相关推荐

最新文章

热门文章