【Pytorch】backward()简单理解

backward()是反向传播求梯度，具体实现过程如下

import torchx=torch.tensor([1,2,3],requires_grad=True,dtype=torch.double)
y=x**2
z=y.mean()
z.backward()
print(x.grad)

结果

tensor([0.6667, 1.3333, 2.0000], dtype=torch.float64)

有几个重要的点：

1.必须要加上requires_grad=True才能求

2. 一般来说，需要标量才能求梯度。

3.具体过程如下：

z是一个标量（1*1矩阵）分别对x1，x2，x3求偏导，再代入x1，x2，x3的数值，就是如上程序输出的结果

【Pytorch】backward()简单理解相关推荐

PyTorch 学习笔记（六）：PyTorch hook 和关于 PyTorch backward 过程的理解 call
您的位置首页 PyTorch 学习笔记系列 PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解发布: 2017年8月4日 7,195阅读 ...
Pytorch的backward()相关理解
Pytorch的backward()相关理解最近一直在用pytorch做GAN相关的实验,pytorch 框架灵活易用,很适合学术界开展研究工作. 这两天遇到了一些模型参数寻优的问题,才发现自己对 ...
PyTorch搭建简单神经网络实现回归和分类
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 安装 PyTorch 会安装两个模块,一个是torch,一个 torchvision, tor ...
Deep Reinforcement Learning: Pong from Pixels翻译和简单理解
原文链接: http://karpathy.github.io/2016/05/31/rl/ 文章目录原文链接: 前言 Policy-Gradient结构流程图 Deep Reinforcement ...
【入门】Pytorch实现简单的图片分类器
系列文章目录 [入门]Pytorch实现简单的图片分类器 [入门]GPU训练图片分类器文章目录系列文章目录前言导入库数据归一化查看训练集构造网络定义损失函数和优化器开始训练查看分类 ...
【pytorch】简单BP神经网络用于通用分类任务的代码模板
概述最近正在学习智能信息处理课程,接触到了一些有关深度学习pytorch的简单应用,pytorch作为python中最常见的深度学习任务工具应用也非常广泛. 如果小伙伴们对神经网络部分相关理论知识比 ...
android 点击事件消费,Android View事件分发和消费源码简单理解
Android View事件分发和消费源码简单理解前言: 开发过程中觉得View事件这块是特别烧脑的,看了好久,才自认为看明白.中间上网查了下singwhatiwanna粉丝的读书笔记,有种茅塞顿开 ...
【转载】Deep learning：十九(RBM简单理解)
Deep learning:十九(RBM简单理解) 这篇博客主要用来简单介绍下RBM网络,因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成,所以对RBM的理解有利于我 ...
学习：双机热备、集群、负载均衡、SQL故障转移群集简单理解（转）
双机热备.集群.负载均衡.SQL故障转移群集简单理解平常,大家常提到几个技术名词:双机热备.集群.负载均衡.SQL故障转移群集.这里,就我的理解,和大家简单探讨下,有不足或错误之处还请各位指出! 这些 ...

【Pytorch】backward()简单理解

【Pytorch】backward()简单理解相关推荐

最新文章

热门文章