Resnet-18-训练实验-warm up操作
实验数据：cat-dog 二分类，训练集：19871 验证集：3975
实验模型：resnet-18
batchsize：128*2 （一个K80吃128张图片）
存在的问题： 对训练集 accuracy可达0.99 loss=1e-2 -3，然而验证集 accuracy 0.5，loss 很高，试了多个初始学习率（0.1 — 0.0001）都不行
解决上述问题： 采取warm up方法 ，对上述问题有点帮助
训练resnet，由于不finetune，很容易过拟合，paper《Deep Residual Learning for Image Recognition》中对cifar10的实验用了一个trick是 warm up（热身），就是先采用小的学习率（0.01）进行训练，训练了400iterations之后将学习率调整至0.1开始正式训练。
一开始不以为然，我分别用了四个初始学习率 lr=0.1; 0.01; 0.001; 0.0001; 然后每1000个iterations就降低一次lr。然而这四种初始学习率都试过之后，发现，验证集的accuracy怎么都上不去，都是0.5~0.6之间，而训练集的可以到0.99。而resnet采用了batch normalization,在caffe中，batch normalization 就有一个“坑”，就是use_global_stats 的设置问题。training时候是关闭，testing的时候是要打开，deploy也是要打开的。
对于训练集accuracy达0.99，验证集accuracy是0.5+的情况，我以为是batch normalization出问题，于是乎各种捣鼓BN去了，最后试了一下warm up，网络在验证集的loss才有所下降。
来看看warm up 的loss，分别采用 0.01 0.001 0.001 0.0001，gamma=10 ；stepsize在图中已经隔断
Resnet-18-训练实验-warm up操作相关推荐
- mysql实验训练2 数据查询操作_实验训练2：数据查询操作.doc
实验训练2:数据查询操作.doc 实验训练2数据查询操作请到电脑端查看实验目的基于实验1创建的汽车用品网上商城数据库Shopping,理解MySQL运算符.函数.谓词,练习Select语句的操作方法. ...
- 将计算机系成绩置零,实验三数据更新操作_计算机软件及应用_IT计算机_专业资料...
实验三数据更新操作_计算机软件及应用_IT计算机_专业资料 (5页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 9.9 积分 杭州电子科技大学实验报告实验 ...
- 安装Ubuntu 18.04后的一些操作
安装Ubuntu 18.04后的一些操作 1.设置root密码 sudo passwd 2.登陆root(输入密码后看到井号就是切换成为root账户) su 3.删除预装 apt-get remove ...
- 实验1 数据库操作
实验1 数据库操作 一.实验目的 1.掌握管理工具.T-SQL创建数据库的方法. 2.掌握管理工具.T-SQL修改和查看数据库的方法. 3.掌握管理工具.T-SQL删除数据库的方法. 4.掌握数据库的 ...
- 贺利坚老师汇编课程18笔记：栈的操作SS:SP
课时18:栈与栈操作的实现 课件:实现功能交换两个数 代码 mov ax,1000H mov ss,ax mov sp,0010H mov ax,001AH mov bx,001BHpush ax p ...
- linux系统编程界面实验报告,操作系统实验报告-Linux操作使用编程.doc
操作系统实验报告-Linux操作使用编程 实 验 报 告( 2012/ 2013 学年 第二学期) 课程名称操 作 系 统A实验名称Linux操作.使用.编程实验时间2013年 5 月 6日指导单位计 ...
- 统计学计算机实验教程,生物统计学实验习题(计算机操作)3教程.doc
生物统计学实验习题(计算机操作)3教程 <生物统计学实验>习题一.统计作图 1.某学者为了评价某饲料是否具有遗传毒性,选用24小鼠,分别于第一.三.五.七天处死6只动物,观察小鼠鼠骨髓中微 ...
- 计算机测绘程序设计实验报告,测绘程序设计(VS2008)实验报告--文件操作.docx
测绘程序设计(VS2008)实验报告--文件操作.docx 上传人:B****s 文档编号:18365883 上传时间:2019-04-28 格式:DOCX 页数:9 大小:102.93KB 下载提示 ...
- linux缓存写入文件,实验5Linux文件操作之带缓存和非缓冲文件的读写
<实验5Linux文件操作之带缓存和非缓冲文件的读写>由会员分享,可在线阅读,更多相关<实验5Linux文件操作之带缓存和非缓冲文件的读写(15页珍藏版)>请在人人文库网上搜索 ...
最新文章
- 第三方支付——微信app支付
- Spring是如何利用“三级缓存“巧妙解决Bean的循环依赖问题
- rm命令改为移动到回收站
- flutter offset_Flutter 仿微信界面聊天室 | 基于 （Flutter+Dart） 聊天实例
- Can you answer these queries V SPOJ - GSS5 （分类讨论+线段树维护区间最大子段和）
- builder forms oracle 函数如何使用_Oracle EBS 之 Forms开发 一
- Quartz的job中注入的services接口为空的解决办法
- CSS中伪类选择器及伪元素
- Java程序性能优化——性能指标
- java数据库连接access_java连接Access数据库的方法
- @ab测试工具使用详解
- 使用pillow简易创建个图形验证码
- linux运行check1n越狱,checkra1n越狱教程linux
- html中英文换行,css控制HTML中英文换行
- 思科模拟器配置静态路由
- HDU 3966 Aragorns Story
- 概率论与数理统计知识框架梳理
- 使用CSS3开启GPU硬件加速提升网站动画渲染性能
- windows在注册表中删除了HKEY_CLASSES_ROOT\.exe导致无法打开.exe文件
- 评说于国富律师的“免费正版化”