难以置信的目标检测小妙招:多训练几个epochs,平均一下就能获得更好的模型...
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
随着深度学习技术的成熟,设计新的算法在主流的目标检测数据集比如COCO上提升精度已经很难了,但总有一些涨点技巧,比如谷歌前几天公布的 简单粗暴“复制-粘贴”数据增广,简单又有效,让人措不及防。
今天要跟大家介绍一篇新文章 SWA Object Detection ,可能是最简单、计算成本最低、动手成本最低的。
同样的,这篇文章全文无公式、无算法流程图,不改模型结构,不增加模型复杂度、推断时间,也不对数据进行增广。但将其简单应用于主流的目标检测算法,可普遍在COCO数据集上获得 ~1 个AP的精度提升!而且神奇的是原始模型精度越高提升幅度越大。
该文昨天刚公布,作者信息:
作者来自澳大利亚昆士兰科技大学、昆士兰大学。
简单一句话介绍方法:将模型在数据集上多训练几个epochs,将多个epochs得到的checkpoints 进行简单平均,获得最终模型。该方法启发于 Stochastic Weights Averaging(随机权重平均,SWA,来自论文 Averaging weights leads to wider optima and better generalization. UAI, 2018),其本来是为了改进深度学习模型的泛化能力。
SWA理论认为平均多个SGD优化轨迹上的多个模型,最终模型泛化性能更好。如下图:
W1、W2、W3为模型优化过程中不同的checkpoint,SWA认为在其张成的空间中,中心点具有更好的泛化能力。故取checkpoint平均。
问题来了,训练多少个epoch再平均?如何调整学习率?
在SWA原理论中模型再训练时使用固定学习率或者循环余弦退火学习率。
循环余弦退火学习率调整示意图:
其实很难用理论回答,所以作者的做法很直接,多次实验,看结果总结规律。
作者使用Mask RCNN 在COCO上做了实验,固定学习率和循环余弦退火学习率调整都试了。
请看下表:
获得了很神奇的结果!checkpoints平均后获得了比之前训练路径上所有模型都更好的结果,循环余弦退火学习率调整获得的结果更好,bbox AP 和 mask AP都可以获得超过 1 个AP的提升!而且相比于6个、24个、48个checkpoints的平均,12是一个足够好的数字。
为验证此方法具有通用性,作者在不同的算法上进行验证。
将SWA用于Mask RCNN 与 Faster RCNN上的结果:
精度都有提升,而对于本身精度更高的Mask RCNN 提升更明显。
将SWA用于RetinaNet 与 FCOS 上的结果:
都获得了精度提升,原始模型精度越高,获得的提升越大!
将SWA用于YOLOv3 与 VFNet 上的结果:
提升依然很明显!
下图为Mask RCNN 使用SWA前后推断结果示例:
总结一下简单又神奇的SWA方法:
在传统的使用lrini和lrend作为起始和结束学习率训练结束后,额外多训练12个epochs,每个epochs学习率由lrini变化到lrend,最后将这12个checkpoints平均,得到最终的模型。
论文地址:
https://arxiv.org/pdf/2012.12645.pdf
代码地址:
https://github.com/hyz-xmaster/swa_object_detection
期待这种简单的抗过拟合方法,能够在其他视觉任务上有效!
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
难以置信的目标检测小妙招:多训练几个epochs,平均一下就能获得更好的模型...相关推荐
- Python 常用小妙招(一)
本文记录一些 Python 日常编程中的小妙招,并使用 IPython 进行交互测试,让我们更好的了解和学习 Python 的一些特性. 两变量交换 语法: a, b = b, a IPython测试 ...
- 微信测试是否被删软件,3个小妙招,教你悄无声息检测微信被删好友
不知道你有没有被微信好友删除过的经历?有一天当你找他聊天,却发现消息发送不出去,屏幕上面显示的是红色感叹号,下面并提示了你还不是她好友."是否发送朋友验证"这几个字,实在是太伤人了 ...
- 《自控力》分享一些减缓压力小妙招
其实男孩子每个月也总有那么几天--有些烦躁,这不,最近上班感觉效率非常低,尤其到了周五的时候,这种情况异常的强烈.工作学习的意志力明显下降.所以读了读自控力--凯利.麦格尼格尔这本书,并把里面的方法分 ...
- 第五期直播《聊聊目标检测和秋招那些事》精彩回顾
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 大家好,本公众号现已开启线上视频公开课,主讲人通过B站直播间,对3D视觉领域相关知识点进行讲解,并在微 ...
- 抖音生活小妙招类短视频创作技巧分享,几个方面带你了解整个流程
想做抖音,又不想真人出镜,该选择什么项目做呢? (更多精彩干货请关注共众号:萤火宠,免费领取108个抖音小项目) 我们的学员中有宝妈.有大学生,也有不少职场人员,他们大多数都非常普通,没有什么很强的职 ...
- 这几个小妙招让你学会如何压缩图片大小
相信大家都有用相机拍照的习惯,我们有时为了抓拍更加清晰的照片,还会使用到单反相机进行拍摄.虽然单反相机拍摄出来的照片清晰,但保存下来的图片体积一张就要几十M,这样会很耗费存储设备的空间,那么有什么方法 ...
- 我学计算机课的方法作文,我的学习小妙招作文3篇
我的学习小妙招作文3篇 1我的学习小妙招作文 六年来,我在家长和老师的关怀培养和精心教育下,我学会了如何做人.学会了尊敬长辈.懂礼貌--同时也掌握了一些学习方法.其中,我最大的收获就是学会了语文学习方 ...
- 百度爱采购运营推广的小妙招@运营猫工具箱
运营猫工具箱入驻百度爱采购已经快4年了,如今百度爱采购的发展是十分稳定的,早期通过运营猫工具箱入驻百度爱采购,已经知道它的优势了.现在还有一些企业在观望,运营猫工具箱小编介绍选择爱采购有自己的成熟流程 ...
- avws扫描出来的漏洞怎么利用_如何用Acunetix网站漏洞扫描软件快速进行扫描?告诉您几个小妙招!...
扫描网站和网站应用需要花费很长时间.影响扫描速度的因素有: 1.网页服务器性能和响应时间 2.网站大小 3.后台数据库速度 4.扫描软件同时扫描的网站数量 5.漏洞检测的数量 6.Acunetix服务 ...
最新文章
- Spring学习笔记:3(面向切面AOP)
- 单张图像就可以训练GAN!Adobe改良图像生成方法 | 已开源
- Oracle执行SQL语句的过程
- Java SHAA加密
- Spring之使用外部属性文件
- zabbix内网安装部署_zabbix2.4.8升级3.0.31操作部署记录
- 大数据系列3-第一章-大数据概论
- 利用python实现端口扫描
- 北上广深也不相信口水
- CPU和GPU的区别是什么?
- 《秘密》-- 东野圭吾
- 扫描的PDF转Word工具实践(主要ORC识别图片功能转换)
- 快速学习-Ballot -- 一个简单的投票合约
- cadence软件选择网络功能
- 美通社企业新闻汇总 | 2019.3.1 | 东京是亚洲商务休闲最佳目的地;贺恩霆担任赛诺菲中国区总裁...
- 【思维导图】canny滤波 原理步骤细致剖析
- STM32 PWM控制舵机
- js rsa java解密_RSA使用js加密,使用java解密
- IOS appstore 发布
- HDU Identity Card