pytorch中LambdaLR的作用

这个东西是为了可以按照我们的策略lr_lambda（其实就是一个自定义的函数，这个函数以训练epoch为输入，学习率倍率系数为输出），随着训练趟数的增加，而学习率在不断变化，通常，学习率是在变小。

scheduler=torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=- 1, verbose=False)

我们只需要传入前两个即可，后面两个默认即可。

optimizer, lr_lambda,

我们关注的是上面第二个策略函数，第一个是预先定义好的，不需要管。

这是一个以训练epoch为输入，学习率倍率系数为输出的函数，一般用匿名函数：

set_lr=lambda epoch: 0.95 ** epoch上面匿名函数等价于：
def set_lr(epoch):return 0.95 ** epoch换自变量也可以，但是pytorch系统自动传入的就是epoch。下面的x还是epoch。
def set_lr(x):return 0.95 ** x

可以看到，随着epoch增大，上述返回的倍率因子变小。然后将最开始的学习率0.001乘以这个倍率因子，学习率就变小了。

我最近见到的一个常用的调整学习率的函数如下：

set_lr = lambda epoch: ((1 + math.cos(epoch * math.pi / epoch_num)) / 2) * (1 - 0.01) + 0.01上面这个相当于是x~[0,1],随着epoch增大，服从cos递减，从1到0.
倍率因子的最终结果为：x+0.01(1-x)一个比较有趣的现象是epoch总量训练到一半时，上面的倍率因子大概也是初始学习率的一半，因为cos=0，
但因为后面加了一项比较小的数，所以会比一半略多。

pytorch中LambdaLR的作用相关推荐

Pytorch中apply函数作用
pytorch中的model.apply(fn)会递归地将函数fn应用到父模块的每个子模块submodule,也包括model这个父模块自身.经常用于初始化init_weights的操作.如下appl ...
Pytorch中.new()的作用
目录一.作用二.使用方法三.具体代码四.实际应用(添加噪声) 一.作用创建一个新的Tensor,该Tensor的type和device都和原有Tensor一致,且无内容. 二.使用方法如果 ...
PyTorch中Variable变量与torch.autograd.Variable
一.了解Variable 顾名思义,Variable就是变量的意思.实质上也就是可以变化的量,区别于int变量,它是一种可以变化的变量,这正好就符合了反向传播,参数更新的属性. 具体来说,在pyt ...
PyTorch中Variable变量
一.了解Variable 顾名思义,Variable就是变量的意思.实质上也就是可以变化的量,区别于int变量,它是一种可以变化的变量,这正好就符合了反向传播,参数更新的属性. 具体来说,在pyt ...
pytorch中model.eval的作用
pytorch中model.eval()的作用问题描述: torch.onnx.export()导出onnx模型后,利用onnxruntime加载onnx模型后,其输出结果与原始.pth模型的输出结 ...
python batchnorm2d_BatchNorm2d原理、作用及其pytorch中BatchNorm2d函数的参数讲解
BN原理.作用: 函数参数讲解: BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) 1. ...
Lesson 15.2 学习率调度在PyTorch中的实现方法
Lesson 15.2 学习率调度在PyTorch中的实现方法学习率调度作为模型优化的重要方法,也集成在了PyTorch的optim模块中.我们可以通过下述代码将学习率调度模块进行导入. fro ...
pytorch中调整学习率的lr_scheduler机制
pytorch中调整学习率的lr_scheduler机制 </h1><div class="clear"></div><div class ...
pytorch中如何处理RNN输入变长序列padding
一.为什么RNN需要处理变长输入假设我们有情感分析的例子,对每句话进行一个感情级别的分类,主体流程大概是下图所示: 思路比较简单,但是当我们进行batch个训练数据一起计算的时候,我们会遇到多个训练 ...

pytorch中LambdaLR的作用

pytorch中LambdaLR的作用相关推荐

最新文章

热门文章