【深度学习训练流程】浅析深度学习训练流程

深度学习训练流程是一套固定的模板

optimizer定义，选择不同的optimizer，权重衰减，梯度更新。
scheduler定义，选择不同的scheduler，进行学习率的更新。（可选，可不使用scheduler进行学习率更新，设为None，则学习率为恒定值）
model初始化，选择使用GPU训练还是CPU训练
loss选择优化函数，

for epoch in range(epochs):# 训练几个epochfor batch_data in range(train_data):# 按照事先定义batch进行shuffle抽取数据，输入模型中训练loss = model(**batch_data)loss.backward() # 进行梯度反向计算，更新模型所有的权重#可选 ，梯度剪裁，防止梯度爆炸torch.nn.utils.clip_grad_norm_(self.module.parameters(),grad_clip)optimizer.step() # 基于backward的梯度，继续梯度下降计算。scheduler.step() # 更新学习率optimizer.zero_grad() # 将梯度清零，防止上一个batch的grad对当前batch的影响  （这里有时候会写成 model.zero_grad()）

model.zero_grad():
将所有模型参数的梯度置为0

optimizer.zero_grad():
清除所有优化的torch.Tensor的梯度

详细请参考：

model.zero_grad() vs optimizer.zero_grad()

理解optimizer.zero_grad(), loss.backward(), optimizer.step()的作用及原理

详解torch.nn.utils.clip_grad_norm_ 的使用与原理

【深度学习训练流程】浅析深度学习训练流程相关推荐

Android 4.4 Kitkat Phone工作流程浅析(三)__MO(去电)流程分析
本文来自http://blog.csdn.net/yihongyuelan 转载请务必注明出处本文代码以MTK平台Android 4.4为分析对象,与Google原生AOSP有些许差异,请读者知悉. ...
Android 5.1 Lollipop Phone工作流程浅析(十三)__InCallActivity启动Performance浅析
前置文章: < Android 4.4 Kitkat Phone工作流程浅析(一)__概要和学习计划> <Android 4.4 Kitkat Phone工作流程浅析(二)__UI结 ...
花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练、无监督预训练）
目录 0. 前言 1. 学习率衰减 2. 调参策略 3. 贪心监督预训练 4. 贪心逐层无监督预训练如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十 ...
AI学习笔记（九）从零开始训练神经网络、深度学习开源框架
AI学习笔记之从零开始训练神经网络.深度学习开源框架从零开始训练神经网络构建网络的基本框架启动训练网络并测试数据深度学习开源框架深度学习框架组件--张量组件--基于张量的各种操作组件- ...
训练好的深度学习模型原来这样部署的！（干货满满，收藏慢慢看）
点击上方蓝字关注我们计算机视觉研究院专栏作者:Edison_G 当我们辛苦收集数据.数据清洗.搭建环境.训练模型.模型评估测试后,终于可以应用到具体场景,但是,突然发现不知道怎么调用自己的模型,更 ...
深度强化学习落地方法论（7）——训练篇
目录训练开始前环境可视化数据预处理训练进行中拥抱不确定性 DRL通用超参数折扣因子作用原理选取方法 Frame Skipping 网络结构网络类型网络深度 DRL特色超参数 DQN ...
【医疗人工智能论文】使用深度强化学习的腹腔镜机器人辅助训练
Article 作者:Xiaoyu Tan , Chin-Boon Chng, Ye Su, Kah-Bin Lim, and Chee-Kong Chui 文献题目:Robot-Assisted T ...
深度学习工程实践 6. 使用pytorch训练自己的眼球分割模型
深度学习工程实践 6. 使用pytorch训练自己的眼球分割模型 1. 概述 2. 目标 3. 工程实践 3.1 数据寻找,数据标注 3.2 训练 3.3 部署应用到桌面程序 4. 总结 1. 概述 ...
深度学习与围棋：为AlphaGo训练深度神经网络
2016年,DeepMind的围棋机器人AlphaGo在与李世石的第二局对决中第37手落子的瞬间,整个围棋界都震惊了.评棋人Michael Redmond,一位有着近千场顶级比赛经验的职业棋手,在直播 ...
深度学习R语言 mlr3 建模，训练，预测，评估（随机森林，Logistic Regression）
深度学习R语言 mlr3 建模,训练,预测,评估(随机森林,Logistic Regression) 本文主要通过使用mlr3包来训练German credit数据集,实现不同的深度学习模型. 1. ...

【深度学习训练流程】浅析深度学习训练流程

【深度学习训练流程】浅析深度学习训练流程相关推荐

最新文章

热门文章