深度学习学习笔记—

调参就是调整超参数，使模型的表达能力达到最大程度
实际调参案例
调参过程中要观察训练集损失函数和验证集损失函数和验证集的准确率。
当训练集损失函数降到一定程度不再降低时（不是固定值，是在一定区间内），可能是因为学习率过大导致的震荡，可以降低学习率。
当训练集损失函数很小验证集损失函数很大时，可能是过拟合，应该停止迭代。
train loss与test loss结果分析：
神经网络训练loss不下降原因集合
如何解决神经网络训练时loss不下降的问题
当验证集的准确率在若干epoch后没有增长，可能是过拟合，应该停止epoch。
train loss 不断下降，test loss不断下降，说明网络仍在学习;
train loss 不断下降，test loss趋于不变，说明网络过拟合;
train loss 趋于不变，test loss不断下降，说明数据集100%有问题;
train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，欠拟合，模型有问题或数据集有问题或者正则化过度、或者需要减小学习率或批量数目;
train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。
常见的调参有：

lr
weight decay（L2正则化）： L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。
权重衰减（weight decay）与学习率衰减（learning rate decay）
momentum：要是当前时刻的梯度与历史时刻梯度方向相似，这种趋势在当前时刻则会加强；要是不同，则当前时刻的梯度方向减弱。
深度学习Momentum(动量方法)
深度学习中momentum的作用

优化器

batch_size

epoch

深度学习学习笔记——如何调参相关推荐

python网格搜索核函数_机器学习笔记——模型调参利器 GridSearchCV（网格搜索）参数的说明...
算法数据结构机器学习笔记--模型调参利器 GridSearchCV(网格搜索)参数的说明 GridSearchCV,它存在的意义就是自动调参,只要把参数输进去,就能给出最优化的结果和参数.但是这个 ...
Stanford CS230深度学习（三）调参、正则化和优化算法
lecture3中主要讲了如何构建一个ML/DL任务,主要包括:选择问题.获得数据.设计模型.训练模型.测试模型.部署以及维护.然后coursera中的课程主要讲实际的应用例如调参.正则化等,以及几个 ...
集成学习5-Xgboost原理与调参
github地址:DataScicence欢迎star 集成学习4-前向分步算法与GBDT-原理与案例集成学习3-Boosting的原理和案例集成学习2-bagging的原理与案例分析集成学习1 ...
【sklearn学习】模型网格化调参
导入包 from sklearn.datasets import load_breast_cancer from sklearn.esemble import RandomForestClassifi ...
【深度学习】你有哪些深度学习(RNN、CNN)调参的经验？
No.1 总结一下在旷视实习两年来的炼丹经验,我主要做了一些 RL,图像质量,图像分类,GAN 相关的任务,日常大概占用 5 - 10 张卡. 可复现性和一致性有的同学在打比赛的时候,从头到尾只维护 ...
重磅！深度学习知识总结和调参技巧开放下载了
近年来,人工智能正在进入一个蓬勃发展的新时期,这主要得益于深度学习和CV领域近年来的发展和成就.在这其中,卷积神经网络的成功也带动了更多学术和商业应用的发展和进步. 为了避免"内卷" ...
深度学习调参tricks总结
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨山竹小果来源丨NewBeeNLP 编辑丨极市平台导读本文总结了一系列深度学习工作中的调参策 ...
基于scikit-learn的梯度提升树GBDT调参学习
写在前面昨天学习了GBDT的基本原理及算法,关键是考虑了损失函数为一般函数的时候采用了负梯度下降的策略,并引入了残差拟合来学习叶子结点,最终得到一颗回归树.当然,纸上谈兵是没有用的,最重要的还是要把 ...
深度强化学习在天基信息网络中的应用——现状与前景
源自:系统工程与电子技术作者:唐斯琪潘志松胡谷雨吴炀李云波摘要未来天基信息网络(space information network, SIN)领域将面临由结构复杂.环境动态.业 ...

深度学习学习笔记——如何调参

深度学习学习笔记——如何调参相关推荐

最新文章

热门文章