【调优方法】——warmup
学习率
是模型训练中最重要的超参之一,针对学习率
的优化有很多种方法,而warmup
是其中重要的一种。
1. 什么是warmup
warmup
是一种学习率优化方法(最早出现在ResNet论文中)。在模型训练之初选用较小的学习率,训练一段时间之后(如:10epoches或10000steps)使用预设的学习率进行训练;
2. 为什么使用warmup
2.1 理性分析
- 因为模型的weights是随机初始化的,可以理解为
训练之初模型对数据的“理解程度”为0(即:没有任何先验知识)
,在第一个epoches中,每个batch的数据对模型来说都是新的,模型会根据输入的数据进行快速调参,此时如果采用较大的学习率的话,有很大的可能使模型对于数据“过拟合”(“学偏”),后续需要更多的轮次才能“拉回来”; - 当模型训练一段时间之后(如:10epoches或10000steps),
模型对数据具有一定的先验知识,此时使用较大的学习率模型就不容易学“偏”,可以使用较大的学习率加速模型收敛
; - 当模型使用较大的学习率训练一段时间之后,
模型的分布相对比较稳定,此时不宜从数据中再学到新特点
,如果仍使用较大的学习率会破坏模型的稳定性,而使用小学习率更容易获取local optima
。
2.2 感性分析
- 刚开始模型对数据完全不了解,这个时候
步子太大,容易扯着dan
,此时需要使用小学习率摸着石头过河
; - 对数据了解了一段时间之后,可以使用大学习率
朝着目标大步向前
; - 快接近
目标
时,使用小学习率进行探索
,此时步子太大,容易错过最近点
;
3. 常用的warmup
3.1 Constant Warmup
学习率从非常小的数值线性增加到预设值之后保持不变,其学习率的系数如下图所示:
3.2 Linner Warmup
学习率从非常小的数值线性增加到预设值之后,然后再线性减小。其学习率的系数如下图所示。
3.3 Cosine Warmup
学习率先从很小的数值线性增加到预设学习率,然后按照cos
函数值进行衰减。其学习率系数如下图所示。
【调优方法】——warmup相关推荐
- 【转】调优方法——warmup
学习率是模型训练中最重要的超参之一,针对学习率的优化有很多种方法,而warmup是其中重要的一种. 1. 什么是warmup warmup是一种学习率优化方法(最早出现在ResNet论文中).在模型训 ...
- 目标检测的Tricks | 【Trick5】学习率调优方法——warmup
如有错误,恳请指出. 文章目录 1. warmup理论概要 2. warmup实现代码 1. warmup理论概要 warmup定义: 在模型训练之初选用较小的学习率,训练一段时间之后(如:10epo ...
- mysql port range_MySQL 数据库常见调优方法及参数设置_MySQL
1. 关闭 SELinux vim /etc/selinux/config 更改 SELINUX=enforcing 为 SELINUX=disabled 2. 更改 IO Schedule, 对于 ...
- 机器学习模型调优方法(过拟合、欠拟合、泛化误差、集成学习)
机器学习模型调优方法 过拟合和欠拟合 降低过拟合风险的方法 降低欠拟合风险的方法 泛化误差.偏差和方差 泛化误差 偏差和误差 模型评估 Holdout检验 交叉检验 自助法 集成学习 Boosting ...
- oracle性能调优总结,Oracle的调优方法总结
根据自己项目在使用Oracle中的经验,及Oracle参考手册,对于oracle的调优方法一点点的总结. 以后的篇幅会讨论表空间和数据文件的建立对Oracle并发的影响.本文只是讨论SGA和PGA和S ...
- LINUX性能调优方法总结
一.调整TCP的滑动窗口 大多数 Linux 发布版都定义了适当的缓冲区和其他 Transmission Control Protocol(TCP)参数.可以修改这些参数来分配更多的内存,从而改进网络 ...
- JVM调优总结(五)-调优方法(转载)
JVM调优工具 Jconsole,jProfile,VisualVM Jconsole : jdk自带,功能简单,但是可以在系统有一定负荷的情况下使用.对垃圾回收算法有很详细的跟踪.详细说明参考这里 ...
- 软件调优方法有哪些?看看飞腾技术专家怎么说 | 龙蜥技术
编者按:飞腾作为国内 CPU 设计的领先企业,其 CPU 在各行各业已经获得的广泛应用.为了广大客户更好的使用 CPU.更好的提升性能,本文将详细介绍飞腾服务器 CPU 的性能调优原理以及相应调优方法 ...
- 2020-319 几种分类器评估与调优方法手写整理 37互娱笔试题
最新文章
- 厉害!冬奥首金选手都来自这所高校!还全是研究生!
- json保存格式标准化的小trick,使用indent参数
- SAP Spartacus lock directive锁住元素所有子元素及设置FOCUS_GROUP_ATTR的行为
- Android下Cocos2d创建HelloWorld工程
- STM8学习笔记---寄存器操作之位或和位与运算
- catia知识工程_【开团】CATIA超全直播课程&实例讲解!
- JFinal保存对象后可以取出主键
- tomcat的服务器目录在哪个文件夹,Tomcat目录结构详细介绍
- 智能化施工(综合管线)
- java方法的重写和重载_Java方法重载和重写原理区别解析
- 黄渤海浅层气的分布及特征综述
- 【UVA】P1510 Neon Sign
- bitbucket配置_用Bitbucket搭建博客初探
- RocketMQ报错:service not available now, maybe disk full
- java获取手机通讯录权限_android获取手机通讯录
- 编写优质嵌入式C程序(转)
- 从FragmentPagerAdapter看Fragment 生命周期
- 【MATLAB实验】MATLAB图形绘制相关函数与定积分计算
- Spring框架基础概念(面试概念解答)
- Yac - PHP扩展
热门文章
- 经典算法(4)图解快速排序算法及代码实现
- 【Latex】【插入图片】如何在latex中插入并列图片
- 使用计算机能佩戴老花镜,近视镜?远视镜?还是老花镜?——揭秘渐变多焦点眼镜的奥秘...
- IDEA导出jar包后运行报错 找不到或无法加载主类
- 苹果Mac 上照片调整工具的使用方法
- 火车票抢票API 根据乘客的车次与座席要求快速订票出票 1
- 201903-2二十四点[20201213封笔题目]没写呢
- 【Android】Vibrator的使用
- 谈谈我对华为HarmonyOS 2.0的看法
- C语言中字符数组的初始化与赋值,字符串相关函数