在优化模型的过程中，有高原、高峰、洼地，我们的目的是找到最低的那个洼地。
选择不同的学习率和优化器，可能进入不同的洼地，或者在洼地附近震荡，无法收敛。

1 优化器的选择

Adam那么棒，为什么还对SGD念念不忘
https://blog.csdn.net/jiachen0212/article/details/80086926

2 学习率

学习率有什么用

学习率是深度学习中的一个重要的超参，如何调整学习率是训练出好模型的关键要素之一。
学习率决定了每步权重更新对当前权重的改变程度：

其中E(w)为我们优化的损失函数，η是学习率。

大小的对训练网络的影响

学习率太小，更新速度慢；学习率过大，可能跨过最优解。
因此，在刚开始训练，距离最优解较远时可以采用稍大的学习率，随着迭代次数增加，在逼近最优解的过程中，逐渐减小学习率。

太大容易出现超调现象，即在极值点两端不断发散，或是剧烈震荡，总之随着迭代次数增大loss没有减小的趋势；
太小会导致无法快速地找到好的下降的方向，随着迭代次数增大loss基本不变。

有什么方法调整

学习率调整方法基本上有两种：

基于经验的手动调整。通过尝试不同的固定学习率，如0.1, 0.01, 0.001等，观察迭代次数和loss的变化关系，找到loss下降最快关系对应的学习率。
基于策略的调整。

2.1 fixed 、exponential、polynomial

2.2. 自适应动态调整。adadelta、adagrad、ftrl、momentum、rmsprop、sgd

方法如下：
https://blog.csdn.net/Cxiazaiyu/article/details/81837230

制定一个合适的学习率衰减策略。可以使用定期衰减策略，比如每过多少个epoch就衰减一次；或者利用精度或者AUC等性能指标来监控，当测试集上的指标不变或者下跌时，就降低学习率。

例子：

# 如果损失不再下降，则降低学习率
if loss_meter.value()[0] > previous_loss:lr = lr * opt.lr_decayfor param_group in optimizer.param_groups:param_group['lr'] = lr

其中opt.lr_decay = 0.95

深度学习调参：优化算法，优化器optimizer，学习率learning rate相关推荐

深度学习调参体验（二）
深度学习调参体验(二) 激活函数选择: 常用的激活函数有relu.leaky-relu.sigmoid.tanh等.对于输出层,多分类任务选用softmax输出,二分类任务选用sigmoid输出,回归 ...
深度学习调参体验（一）
深度学习调参体验(一) 基本原则: 快速试错一．一些大的注意事项: 1.先上小规模数据, 模型往大了放, 只要不爆显存, 能用256个filter就别用128个.直接奔着过拟合去.就是训练过拟合网络 ...
深度学习调参有哪些技巧？
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货来自 | 知乎链接 | https://www.zhihu.com/question/250 ...
【DLML】深度学习调参有哪些技巧？
深度学习调参有哪些技巧? 编辑:Amusi | 来源:知乎 https://www.zhihu.com/question/25097993 目录一.为什么要学习调参? 二.调参技巧 1. 评价指 ...
深度学习这么调参训练_深度学习调参及训练技巧（转）
深度学习调参及训练技巧(转) 作者:婉儿飞飞链接:https://www.jianshu.com/p/0b116c43eb16 来源:简书简书著作权归作者所有,任何形式的转载都请联系作者获得授权并 ...
Deep Learning Tuning Playbook（深度学习调参手册中译版）
前言由五名研究人员和工程师组成的团队发布了<Deep Learning Tuning Playbook>,来自他们自己训练神经网络的实验结果以及工程师的一些实践建议,目前在Github上 ...
深度学习调参（炼丹）指南来了！
Datawhale干货方向:深度学习调参,编辑:机器之心「大量的实践经验已被提炼成这份强大的深度学习模型调参指南.」--Geoffrey Hinton. 众所周知,AI 的超参数决定着模型学习效果 ...
深度学习调参技巧总结
深度学习调参技巧总结做dl也有一段时间了,积累了一些经验,也在网上看到一些别人的经验. 为了面试,结合知乎上面的问答,我也总结了一下,欢迎大家补充. 知乎深度学习调参有哪些技巧? 一. 初始化 ...
深度学习调参tricks总结！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:山竹小果,来源:NewBeeNLP 寻找合适的学习率(learni ...
收藏 | 机器学习、深度学习调参手册
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:来自|夕小瑶的卖萌屋文 | 山竹小果 AI博士笔记系列推荐周志华<机器学习>手推笔记正式开 ...

深度学习调参：优化算法，优化器optimizer，学习率learning rate