pytorch GradScale 梯度缩放算子

很早前就想弄这东西，正好有空。
这个东西可以很方便的缩放指定层或指定Tensor的梯度。与调整对应变量的学习率一个效果。
Stylegan 里面 MapNet 使用了另外一种基于权重缩放的学习率缩放方式，算了，效果差不多。

有两个方便的方法可以实现。

使用 Tensor.register_hook 来调整

import torchx = torch.ones(1, dtype=torch.float32, requires_grad=True)y = x + 0
y.backward()
# 可以看到 x.grad 值为1
print(x.item(), y.item(), x.grad.item())del x.grady = x + 0
y.register_hook(lambda g: g*0.1)
y.backward()
# 可以看到 x.grad 值为0.1，成功缩放梯度
print(x.item(), y.item(), x.grad.item())

写一个反传算子来实现

import torch
import torch.autogradclass GradScaleOp(torch.autograd.Function):@staticmethoddef forward(ctx, x, scale):scale = torch.as_tensor(scale, dtype=x.dtype, device=x.device)ctx.save_for_backward(scale)return x@staticmethoddef backward(ctx, grad_output):s, = ctx.saved_tensorsreturn grad_output * s, Nonegradscale = GradScaleOp.applyx = torch.ones(1, dtype=torch.float32, requires_grad=True)y = x + 0
y.backward()
# 可以看到 x.grad 值为1
print(x.item(), y.item(), x.grad.item())del x.grady = x + 0
y = gradscale(y, 0.1)
y.backward()
# 可以看到 x.grad 值为0.1，成功缩放梯度
print(x.item(), y.item(), x.grad.item())

pytorch GradScale 梯度缩放算子相关推荐

梯度消失、梯度爆炸、过拟合问题之神经网络应对方案：数据预处理、批量归一化、非饱和激活函数、梯度缩放和梯度裁剪、权重初始化、提前终止、集成学习、l1l2、Dropout
数据预处理.批量归一化Batch Normalization.非饱和激活函数.梯度缩放(Gradient Scaling)和梯度裁剪(Gradient Clipping).权重初始化(Xavier+H ...
pytorch得到梯度计算结果
借助pytorch可以很方便的计算梯度,但需要明确的是: 只有float类型的Tensor才可以只有最后是一个标量才可以求导,就是最后的值只有大小,不能自带方向文章目录逐步计算梯度完整代码参 ...
Pytorch(5)-梯度反向传播
自动求梯度 1. 函数对自变量x求梯度--ax^2+b 2. 网络对参数w求梯度- loss(w,x) 3. 自动求梯度的底层支持--torch.autograd 3.1 Variable 3.1.1 ...
OpenCV--033_2: 图像梯度--Sobel算子
索贝尔算子(Sobel operator) 主要用作边缘检测,在技术上,它是一离散性差分算子,用来运算图像亮度函数的灰度之近似值.在图像的任何一点使用此算子,将会产生对应的灰度矢量或是其法矢量. So ...
数字图像处理：（1）图像梯度以及算子应用
1.数学意义上的梯度在理解图像梯度是什么的时候,我们首先要回忆一下以前学习过得梯度是什么? 见链接: https://blog.csdn.net/m0_37957160/article/detail ...
bert pytorch源码_【PyTorch】梯度爆炸、loss在反向传播变为nan
点击上方"MLNLP",选择"星标"公众号重磅干货,第一时间送达作者丨CV路上一名研究僧知乎专栏丨深度图像与视频增强地址丨https://zhuanla ...
pytorch的梯度计算以及backward方法
基础知识 tensors: tensor在pytorch里面是一个n维数组.我们可以通过指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯度.在pytorch中一般叫做d ...
11-图像梯度-Sobel算子
图像梯度是指图像某像素在x和y两个方向上的变化率(与相邻像素比较),是一个二维向量,由2个分量组成,X轴的变化.Y轴的变化 . 其中X轴的变化是指当前像素右侧(X加1)的像素值减去当前像素左侧(X减1 ...
深度学习笔记--pytorch从梯度下降到反向传播BP到线性回归实现，以及API调用和手写数据集的实现
梯度下降和反向传播目标知道什么是梯度下降知道什么是反向传播 1. 梯度是什么? 梯度:是一个向量,导数+变化最快的方向(学习的前进方向) 回顾机器学习收集数据 x x x ,构建机器学习模型 ...

pytorch GradScale 梯度缩放算子

pytorch GradScale 梯度缩放算子相关推荐

最新文章

热门文章