Pytorch 一种调整学习率的思路

一般来说，在模型训练的后期，学习率就可以适当调低一些，以获得更好的训练效果。

需要准备记录这些参数：

epochs_since_improvement：如果一个新的epoch并没有降低loss，则其加一；反之，则清零
decays_since_improvement：如果触发了一次学习率调整，则其加一；而如果一个新的epoch下loss降低，则清零
shrink_factor：收缩因子，控制学习率的缩小速度。默认为0.6，decay每加1，则再乘0.6，加快学习率的收缩速度

准备学习率调整函数：

def adjust_learning_rate(optimizer, shrink_factor):print("\nDECAYING learning rate.")for param_group in optimizer.param_groups:param_group['lr'] = param_group['lr'] * shrink_factorprint("The new learning rate is %f\n" % (optimizer.param_groups[0]['lr'],))

其实就是取出优化器的lr参数进行修改。

调用：

if epochs_since_improvement == 10:break
if epochs_since_improvement > 0 and epochs_since_improvement % 2 == 0:checkpoint = 'BEST_checkpoint.tar'checkpoint = torch.load(checkpoint)model = checkpoint['model']optimizer = checkpoint['optimizer']decays_since_improvement += 1print("\nDecays since last improvement: %d\n" % (decays_since_improvement,))adjust_learning_rate(optimizer, 0.6 ** decays_since_improvement)

Pytorch 一种调整学习率的思路相关推荐

【深度学习】图解 9 种PyTorch中常用的学习率调整策略
learning rate scheduling 学习率调整策略 01 LAMBDA LR 将每个参数组的学习率设置为初始lr乘以给定函数.当last_epoch=-1时,将初始lr设置为初始值. t ...
pytorch中调整学习率的lr_scheduler机制
pytorch中调整学习率的lr_scheduler机制 </h1><div class="clear"></div><div class ...
PyTorch学习之六个学习率调整策略
PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现.PyTorch提供的学习率调整策略分为三大类,分别是 a. 有序调整:等间隔调整(Step),按需调整学习率( ...
PyTorch的六个学习率调整
本文截取自<PyTorch 模型训练实用教程>,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial 文章目录一.pytorc ...
pytorch 学习率代码_DL知识拾贝（Pytorch）(五)：如何调整学习率
知识导图学习率对于深度学习是一个重要的超参数,它控制着基于损失梯度调整神经网络权值的速度,大多数优化算法(SGD.RMSprop.Adam)对其都有所涉及.学习率过下,收敛的太慢,网络学习的也太慢: ...
pytorch 动态调整学习率，学习率自动下降，根据loss下降
0 为什么引入学习率衰减? 我们都知道几乎所有的神经网络采取的是梯度下降法来对模型进行最优化,其中标准的权重更新公式: W+=α∗gradient W+=\alpha * \text { gradie ...
asp文本框输入控制是5的倍数_DL知识拾贝（Pytorch）(五)：如何调整学习率
知识导图学习率对于深度学习是一个重要的超参数,它控制着基于损失梯度调整神经网络权值的速度,大多数优化算法(SGD.RMSprop.Adam)对其都有所涉及.学习率过下,收敛的太慢,网络学习的也太慢: ...
【Pytorch教程】使用lr_scheduler调整学习率
概述 torch.optim.lr_scheduler 模块提供了一些根据 epoch 迭代次数来调整学习率 lr 的方法.为了能够让损失函数最终达到收敛的效果,通常 lr 随着迭代次数的增加而减小时 ...
【PyTorch】lr_scheduler.StepLR==＞调整学习率的方法
lr_scheduler.StepLR class torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoc ...

Pytorch 一种调整学习率的思路

Pytorch 一种调整学习率的思路相关推荐

最新文章

热门文章