finetune踩坑

最近在学习深度学习网络，在MobileNetv3+YUNYANG1994大神的yolov3
使用自己的数据集从零训练没有任何问题。
但是使用Google官方给出基于imagenet训练的预训练模型finetune的时候，trainloss总是维持在18.5降不下去。
几次尝试和摸索，总结几点（问题不分先后）：
1.finetune分为两种，（一）局部微调，（二）全局微调，局部微调的时候，需要注意，在用优化器优化的时候，哪些参数是不变，哪些参数是变得。
2.各个部分的参数名字要与函数中的一一对应。
3.预训练模型中有的参数的值直接继承过来就好，预训练模型中没有的参数，要根据yolo模型中各层原本的初始化参数进行初始化，比如yolo中的weight是‘glorot_uniform’，bias是‘zeros’，beta和moving_mean是‘zeros’,gamma和moving_variance是‘Ones’，将带有ExponentialMovingAverage的都初始化为相反的等等。

问题3的发现是将trainloss=18.5的模型解析，ckpt文件中，yolo模型部分参数都是0或无限接近0的数（因为在初始化的时候，将所有的都统一初始化为0或random_uniform了）

finetune踩坑相关推荐

【golang程序包推荐分享】分享亿点点golang json操作及myJsonMarshal程序包开发的踩坑经历 :)
目录[阅读时间:约5分钟] 一.概述 1.Json的作用 2.Go官方 encoding/json 包 3. golang json的主要操作二.Json Marshal:将数据编码成json字符串 ...
java调用clang编译的so_写Java这么久，JDK源码编译过没？编译JDK源码踩坑纪实
好奇害死羊很多小伙伴们做Java开发,天天写Java代码,肯定离不开Java基础环境:JDK,毕竟我们写好的Java代码也是跑在JVM虚拟机上. 一般来说,我们学Java之前,第一步就是安装JDK环 ...
python导入类有红线_python踩坑系列之导入包时下划红线及报错“No module named”问题...
python踩坑系列之导入包时下划红线及报错"No module named"问题使用pycharm编写Python时,自己写了一个包(commontool),在同级另一个路径下 ...
mysql运维工资_MySQL运维踩坑
image ZERO 背景本文主要是介绍在MySQL使用运维过程中所遇到的一些坑爹的地方,予自己以做记录! 前言因操作系统重装之后,安装了mysql5.7,而由此带来了一系列的问题,现将解决这些m ...
微信跳一跳高分辅助踩坑
旧博文,搬到 csdn 原文:http://rebootcat.com/2018/01/08/wechat_jump_hack/ 最近挺火的微信跳一跳最近新版微信的『跳一跳』小程序着实火了一把,也把 ...
【踩坑记录】记一次MySQL主从复制延迟的坑
最近开发中遇到的一个MySQL主从延迟的坑,记录并总结,避免再次犯同样的错误. 情景一个活动信息需要审批,审批之后才能生效.因为之后活动要编辑,编辑后也可能触发审批,审批中展示的是编辑前的活动内容, ...
分布式深度学习最佳入门（踩坑）指南
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨Lyon@知乎(已授权) 来源丨https://zhuanla ...
python array赋值_从踩坑学Python内部原理（5）：执行时机的差异
(给Python开发者加星标,提升Python技能) 英文:Satwik Kansal,翻译:暮晨 Python开发者整理自 GitHub [导读]:Python 是一个设计优美的解释型高级语言,它提 ...
小程序统一服务消息_[miniblog]小程序订阅消息踩坑记
有阵子没有更新我的mini-blog了,这次把推送消息那块做了些改动,小程序的模板消息即将废弃,订阅消息终于来了. 关于订阅消息订阅消息分为一次性订阅和长期订阅,长期订阅就不说啦,不是个人号可以染指 ...

finetune踩坑

finetune踩坑相关推荐

最新文章

热门文章