every blog every motto: You can do more than you think.

0. 前言

训练过程中，停止，后续接着训练

1. 正文

1.1 保存信息

每个eopch以后需要保存后续接着训练的信息，信息包括，model、optimizer、epoch

for epoch in range(start_epoch,end_epoch):for iter ,data in enumerate(dataloader):pass# -------------------------------------------------------# 每个epoch 后保存checkpoint，以便断点继续训练checkpoint = {'eopch': epoch,'model_state_dict': self.net.state_dict(),'optimizer_state_dict': self.optimizer.state_dict()}torch.save(checkpoint, os.path.join(self.save_chpt,'epoch_%d_loss_%3f.pth'.format(epoch, epoch_fuse_loss / ite_num_per_epoch)))print('保存各参数完成，用于后续继续训练。')# -------------------------------------------------------

1.2 继续训练

需要先实例化模型和优化器，然后进行如下操作

if self.subsequent_training:  # 如果是断点继续上次训练checkpoints = torch.load(os.path.join(self.save_chpt, 'xxx.pth'))self.start_epoch = checkpoints['epoch'],self.optimizer.load_state_dict(checkpoints['optimizer']),self.net.load_state_dict(checkpoints['model'])print('继续上次训练，各参数为：', checkpoints)

参考文献

[1] https://zhuanlan.zhihu.com/p/375461811
[2] https://www.zhihu.com/question/313486088?sort=created
[3] https://zhuanlan.zhihu.com/p/133250753
[4] https://www.jianshu.com/p/1cd6333128a1

【pytorch】（断点）继续上次训练相关推荐

pytorch多gpu并行训练操作指南
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 来源:知乎作者:link-web 链接:https://zhuanlan.zhi ...
pytorch多gpu并行训练
pytorch多gpu并行训练 link-web 转自:pytorch多gpu并行训练 - 知乎目录(目录不可点击) 说明 1.和DataParallel的区别 2.如何启动程序的时候 2.1 单机 ...
TSN算法的PyTorch代码解读（训练部分）
这篇博客来读一读TSN算法的PyTorch代码,总体而言代码风格还是不错的,多读读优秀的代码对自身的提升还是有帮助的,另外因为代码内容较多,所以分训练和测试两篇介绍,这篇介绍训练代码,介绍顺序为代码运 ...
基于pytorch的模型稀疏训练与模型剪枝示例
基于pytorch的模型稀疏训练与模型剪枝示例稀疏训练+模型剪枝代码下载地址:下载地址 CIFAR10-VGG16BN Baseline Trained with Sparsity (1e-4) P ...
【深度学习】翻译：60分钟入门PyTorch（四）——训练一个分类器
前言原文翻译自:Deep Learning with PyTorch: A 60 Minute Blitz 翻译:林不清(https://www.zhihu.com/people/lu-guo-92 ...
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析
©作者 | 伟大是熬出来的单位 | 同济大学研究方向 | 机器阅读理解前言因为课题组发的卡还没有下来,先向导师问了实验室的两张卡借用.之前都是单卡训练模型,正好在这个机会实践以下单机多卡训练模 ...
深度学总结：RNN训练需要注意地方：pytorch每一个batch训练之前需要把hidden = hidden.data，否者反向传播的梯度会遍历以前的timestep
pytorch每一个batch训练之前需要把hidden = hidden.data,否者反向传播的梯度会遍历以前的timestep tensorflow也有把new_state更新,但是没有明显de ...
MINIST深度学习识别：python全连接神经网络和pytorch LeNet CNN网络训练实现及比较（三）...
版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 在前两篇文章MINIST深度学习识别:python全连接神经网络和pytorch LeNet CNN网 ...
收藏 | PyTorch深度学习模型训练加速指南2021
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者:LORENZ KUHN 编译:ronghuaiyang ...
pytorch显卡内存随训练过程而增加_PyTorch重大更新：将支持自动混合精度训练！...
AI编辑:我是小将混合精度训练(mixed precision training)可以让模型训练在尽量不降低性能的情形下提升训练速度,而且也可以降低显卡使用内存.目前主流的深度学习框架都开始支持混合 ...

【pytorch】（断点）继续上次训练