pytorch tensor 梯度

在使用backward()之前，默认为None，使用之后累加grad

1.创建可求导的tensor

import torch
x = torch.randn(3,4,requires_grad=True)
# x = torch.randn(3,4)
# x.requires_grad=True

2.可grad的tensor计算得来的tensor也可grad

import torch
x = torch.randn(3,4,requires_grad=True)
b = torch.randn(3,4,requires_grad=True)
y = x + b
z = y.sum()
x.requires_grad, b.requires_grad, y.requires_grad, z.requires_grad
z.backward()
x.grad, b.grad, y.grad, z.grad

3.多次求导，grad会累加
所以在实际中要每次迭代清空grad

import torch
x = torch.randn(3,4,requires_grad=True)
b = torch.randn(3,4,requires_grad=True)
y = x + b
z = y.sum()
x.requires_grad, b.requires_grad, y.requires_grad, z.requires_grad
z.backward(retain_graph=True)
x.grad, b.grad, y.grad, z.grad
-------------------------------
(tensor([[1., 1., 1., 1.],[1., 1., 1., 1.],[1., 1., 1., 1.]]), tensor([[1., 1., 1., 1.],[1., 1., 1., 1.],[1., 1., 1., 1.]]), None, None)
-------------------------------
z.backward(retain_graph=True)
x.grad, b.grad, y.grad, z.grad
--------------------------------
(tensor([[2., 2., 2., 2.],[2., 2., 2., 2.],[2., 2., 2., 2.]]), tensor([[2., 2., 2., 2.],[2., 2., 2., 2.],[2., 2., 2., 2.]]), None, None)
---------------------------------

参考：
https://pytorch.org/docs/stable/autograd.html#torch.Tensor.grad

pytorch tensor 梯度相关推荐

pytorch得到梯度计算结果
借助pytorch可以很方便的计算梯度,但需要明确的是: 只有float类型的Tensor才可以只有最后是一个标量才可以求导,就是最后的值只有大小,不能自带方向文章目录逐步计算梯度完整代码参 ...
python numpy.arry, pytorch.Tensor及原生list相互转换
文章目录 python numpy.arry, pytorch.Tensor及原生list相互转换 1 原生list转numpy list 2 numpy.array 转原生list 3 numpy. ...
pytorch tensor求向量的模长
想要求pytorch tensor中某个2048维度的向量的模长,可以先相乘,然后再用sum求和. 假设 v是一个2048维的向量,则可以利用一下两个语句求出模长的平方. sq = v * vsum_ ...
PyTorch Tensor 的形状
PyTorch Tensor 的形状标量 (Scalar) 向量 (Vector) 矩阵 (Matrix) 图片展示标量 (Scalar) 标量 (Scalar) 由一个值组成. (0维) # S ...
Pytorch - 使用opencv-python解码视频文件并将视频帧转换为Pytorch tensor作为网络模型输入数据
1 视频文件作为网络模型的输入数据越来越多的神经网络模型开始以视频作为训练数据,比如基于视频数据的行为识别等等,这就需要我们将视频转换为可适用的张量,本文将以pytorch为例,展示一下视频数据转换 ...
bert pytorch源码_【PyTorch】梯度爆炸、loss在反向传播变为nan
点击上方"MLNLP",选择"星标"公众号重磅干货,第一时间送达作者丨CV路上一名研究僧知乎专栏丨深度图像与视频增强地址丨https://zhuanla ...
pytorch的梯度计算以及backward方法
基础知识 tensors: tensor在pytorch里面是一个n维数组.我们可以通过指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯度.在pytorch中一般叫做d ...
Pytorch(5)-梯度反向传播
自动求梯度 1. 函数对自变量x求梯度--ax^2+b 2. 网络对参数w求梯度- loss(w,x) 3. 自动求梯度的底层支持--torch.autograd 3.1 Variable 3.1.1 ...
pytorch tensor查找0_Pytorch简单教程
2019 年,ML 框架之争只剩两个实力玩家:PyTorch 和 TensorFlow.研究者大批涌向 PyTorch,而业界的首选仍然是 TensorFlow. Pytorch和TensorFlow ...

pytorch tensor 梯度

pytorch tensor 梯度相关推荐

最新文章

热门文章