Pytorch：lr_schedule恢复训练的注意事项

在训练过程中我们一般会使用pytorch已有的学习率调整策略，如：

import torch
import torch.optim as optim
from torchvision.models.resnet import resnet50
net = resnet50(num_classes=1000)
optimizer = optim.Adam(net.parameters(), lr=1e-3)
scheduler = optim.lr_scheduler.MultiStepLR(optimizer, [20, 30, 40, 50], 0.1)
for epoch in range(num_epoch):scheduler.step()train()valid()...

有时候会因为不可抗拒的外界因素导致训练被中断，在pytorch中恢复训练的方法就是把最近保存的模型重新加载，然后重新训练即可。假设我们从epoch10开始恢复训练，可以利用lr_scheduler的一个参数：

scheduler = optim.lr_scheduler.MultiStepLR(optimizer, [20, 30, 40, 50], 0.1, last_epoch=10)

这样就不需要手动地去改[20, 30, 40, 50]->[10, 20, 30, 40] 。需要注意的是在optimizer定义参数组的时候需要加入’initial_lr’，不然会报错：

"param 'initial_lr' is not specified in param_groups[*] when resuming an optimizer"

举个粟子：

import torch
import torch.optim as optim
from torchvision.models.resnet import resnet50
net = torch.load('resnet50_epoch10.pth')
optimizer = optim.Adam([{'params': net.parameters(), 'initial_lr': 1e-3}], lr=1e-3)
scheduler = optim.lr_scheduler.MultiStepLR(optimizer, [20, 30, 40, 50], 0.1, last_epoch=10)
for epoch in range(11, num_epoch):scheduler.step()train()valid()...

Pytorch：lr_schedule恢复训练的注意事项相关推荐

pytorch池化maxpool2D注意事项
注意: 在搭建网络的时候用carpool2D的时候,让高度和宽度方向不同池化时,用如下: nn.MaxPool2d(kernel_size=2, stride=(2, 1), padding=(0, ...
使用PyTorch加载模型部分参数方法
前言在深度学习领域,经常需要使用其他人已训练好的模型进行改进或微调,这个时候我们通常会希望加载预训练模型文件的参数,如果网络结构不变,只需要使用load_state_dict方法即可.而当我们改动网 ...
Pytorch安装指南（cuda、镜像下载）
文章目录 1. 配置conda虚拟环境 2. 安装Pytorch 2.1 官网安装 2.2 清华镜像安装 2.3 anaconda网站自选安装 3. 验证参考资料 1. 配置conda虚拟环境 (1 ...
深度学习入门篇——一、Pytorch环境配置（GPU：GeForce 940MX）
安装pytorch的几点注意事项: ①确定你的电脑显卡是否支持cuda.可取网站查询:CUDA Zone - Library of Resources | NVIDIA Developerhttps: ...
深度学习模型的构建三、优化函数optimizer
深度学习模型的构建三.优化函数optimizer 一.先来看看有哪些优化函数 BGD 批量梯度下降 SGD随机梯度下降 MBGD小批量梯度下降 momentum AdaGrad Adadelta Ad ...
python二级考试报名多少钱_Python语言二级考试你准备好了吗？
重磅:教育部考试中心已经公布,在计算机二级考试加入"Python语言程序设计"科目,将于2018年9月全国计算机等级考试中首次亮相.这将促进Python在大学生中的普及. 教育部也 ...
pytorch中RNN注意事项（关于input和output维度）
pytorch中RNN注意事项 batch_first为False的情况下,认为input的数据维度是(seq,batch,feature),output的数据维度(seq,batch,feature ...
pytorch注意事项
1.在pytorch中,创建好一个模型之后,需要将模型放入cuda才能调用GPU来进行训练. model.to(device) 2.在 pytorch中,使用nn.Conv2d()时, 里面的padd ...
DistributedDataParallel（DDP）Pytorch 分布式训练示例及注意事项
现在pytorch主流的分布式训练库是DistributedDataParallel,它比Dataparallel库要快,而且前者能实现多机多卡后者只能单机多卡.本文是在单机多卡的环境下执行的分布式训 ...
anaconda3安装注意事项以及pytorch环境配置
有些做法是将anaconda2和anaconda3都安装了,但我觉得没必要,因为anaconda中可以创建新的环境(python2.7和python3.7)并激活就可使用,所有选其一安装即可. 1 a ...

Pytorch：lr_schedule恢复训练的注意事项

Pytorch：lr_schedule恢复训练的注意事项相关推荐

最新文章

热门文章