Pytorch LR scheduler

torch.optim.lr_scheduler 模块提供了一些根据 epoch 迭代次数来调整学习率 lr 的方法。为了能够让损失函数最终达到收敛的效果，通常 lr 随着迭代次数的增加而减小时能够得到较好的效果。torch.optim.lr_scheduler.ReduceLROnPlateau 则提供了基于训练中某些测量值使学习率动态下降的方法。
详情见https://pytorch.org/docs/stable/optim.html

model = [Parameter(torch.randn(2, 2, requires_grad=True))]
optimizer = SGD(model, 0.1)
scheduler = ExponentialLR(optimizer, gamma=0.9)for epoch in range(20):for input, target in dataset:optimizer.zero_grad()output = model(input)loss = loss_fn(output, target)loss.backward()# 1.进行参数的更新optimizer.step()# 2.对学习率进行更新    scheduler.step()
# 注意：现在，在很多祖传代码中，scheduler.step()的位置可能是在参数更新optimizer.step()之前
# 检查您的pytorch版本如果是V1.1.0+，那么需要将scheduler.step()在optimizer.step()之后调用

其他常见scheduler
1 恒定lr
这是最简单的一种形式了，也就是学习率从始至终始终保持不变。

2 分段lr
顾名思义，就是学习率是一个分段函数，在不同阶段采用不同的学习率。
常用的有2种， StepLR 和MutiStepLR。 StepLR只能均匀的变化，也就是固定的step(或epoch)后学习率固定变化。 MutiStepLR则灵活一些，可以在指定的步长的位置改变学习率。但是控制参数也更多一些。
实际上， StepLR可以看做MutiStepLR的一种特殊形式。

比如，下图中StepLR策略为每30个epoch，学习率降低10倍。

下图中的MutiStepLR策略为在30和80个 epoch的位置，学习率降低10倍。

3 指数lr
学习率以指数规律变化（一般是降低）。

4 CosineAnnealingLR
学习率以正弦规律变化。一般情况下，只取半个或一个周期。半个周期一般都是从最大到最小，一个周期一般都是从最小到最大，再到最小。

5 CyclicLR
顾名思义，就是学习率以某种规律循环变化，变化的规律可以有很多（如下图中就是一种线性变化）。其实上面的CosineAnnealingLR在取多个周期的时候也是一种CyclicLR。

6 OneCycleLR
其实有了上面的CycleLR, 理解OneCycleLR就非常简单了。OneCycleLR其实就是只取CycleLR的一个周期。

7 WarmupLR
所谓warmup，就是指在一开始的时候学习率较小，然后逐步变大。
这个策略经常和其他LR的策略结合使用。如warmupLR + StepLR, 就是lr先从lr_min增加到lr_max, 然后再以StepLR的策略逐步变小。再比如， warmupLR +CosineAnnealingLR, 就是学习率r先从lr_min增加到lr_max, 然后再以余弦规律下降。

Pytorch LR scheduler相关推荐

Pytorch 学习率衰减之余弦退火与余弦warmup 自定义学习率衰减scheduler
学习率衰减,通常我们英文也叫做scheduler.本文学习率衰减自定义,通过2种方法实现自定义,一是利用lambda,另外一个是继承pytorch的lr_scheduler import math i ...
PyTorch迁移学习
PyTorch迁移学习实际中,基本没有人会从零开始(随机初始化)训练一个完整的卷积网络,因为相对于网络,很难得到一个足够大的数据集[网络很深, 需要足够大数据集].通常的做法是在一个很大的数据集上进 ...
Pytorch Lightning 完全攻略！
Datawhale干货作者:Takanashi@知乎,编辑:极市平台来源 | https://zhuanlan.zhihu.com/p/353985363 极市导读作者实践中发现Pytorch- ...
PyTorch 手把手搭建(MNIST)神经网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者:知乎 ...
PyTorch Lightning 全攻略！
来源:极市平台本文约9600字,建议阅读10+分钟本文作者与你分享使用Pytorch-Lightning心得. 写在前面 Pytorch-Lightning这个库我"发现"过两 ...
【深度学习】图解 9 种PyTorch中常用的学习率调整策略
learning rate scheduling 学习率调整策略 01 LAMBDA LR 将每个参数组的学习率设置为初始lr乘以给定函数.当last_epoch=-1时,将初始lr设置为初始值. t ...
Pytorch 加载部分预训练模型并冻结某些层
目录 1 pytorch的版本: 2 数据下载地址: 3 原始版本代码下载: 4 直接上代码: 1 pytorch的版本: 2 数据下载地址: <https://download.p ...
PyTorch框架学习十四——学习率调整策略
PyTorch框架学习十四--学习率调整策略一._LRScheduler类二.六种常见的学习率调整策略 1.StepLR 2.MultiStepLR 3.ExponentialLR 4.Cosin ...
Pytorch —— 学习率调整策略
1.为什么要调整学习率学习率控制梯度更新的快慢,在训练中,开始时的学习率比较大,梯度更新步伐比较大,后期时学习率比较小,梯度更新步伐比较小. 梯度下降:wi+1=wi−g(wi)w_{i+1}=w_ ...

Pytorch LR scheduler

Pytorch LR scheduler相关推荐

最新文章

热门文章