端到端半监督目标检测框架
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
作者丨SuperHui@知乎
来源丨https://zhuanlan.zhihu.com/p/359154264
编辑丨极市平台
导读
本文是来自阿里团队的工作,作者团队重新审视SSOD并提出InstantTeaching,这是一个完全端到端且有效的SSOD框架,该框架使用即时伪标签和扩展的弱-强数据增强功能在每次训练迭代中进行教学。
简单介绍一下我们CVPR 2021的一项关于半监督目标检测方面的工作:
Instant-Teaching: An End-to-End Semi-Supervised Object Detection Framework
论文链接:https://arxiv.org/pdf/2103.11402.pdf
1. 背景
1.1 为什么需要半监督学习
这些年,数据驱动的深度学习技术在各种视觉任务中(图像分类、目标检测,实例分割,视频检测等)大展身手,屠榜各类benchmark。然而,在实际落地这些深度学习技术时,我们会发现,模型的性能严重依赖带标注的训练数据。比如,在不同场景上线相同功能的检测模型时,往往需要花费较大代价获取足够数量的标注数据来提高模型在相应场景下的性能。
模型对数据的依赖主要体现在以下两个方面:
对应用场景一致数据的依赖:以人体检测模型为例,在室外数据上训练的检测器,在室内场景的检测效果往往差强人意;在白天数据上训练的检测器,在夜晚场景下的效果通常也不会很好。
对数据规模的依赖: 大数据集训练的模型往往比小数据集的精度要高。
虽然有标注数据的获取成本比较高,但是我们可以非常容易的获取海量的无标注数据,如何有效利用这些无标注数据来提高模型的性能,降低模型对标注数据的依赖?半监督学习正是研究如何高效利用无标注数据的一个热门研究方向。
1.2 现有的检测半监督工作
目前,最先进的检测半监督方面的工作,主要是基于self-training以及一致性约束。下面分别介绍其中的代表性工作。
1.2.1 基于一致性约束的方案
CSD[1]是当前基于一致性约束的检测半监督方面的代表性工作。通过对未标注数据做弱增强(flip),组成pair对输入给检测模型,然后对模型预测输出的pair结果进行一致性约束,从而尽可能利用到这些未标注数据。
1.2.2 基于self-training的方案
STAC[2]是当前基于self-training的检测半监督方面的代表性工作。首先所有标注数据训练一个Teacher模型,然后在所有未标注数据上做Inference,并通过NMS和卡阈值的方式制备pseudo labels作为未标注数据的ground truth,然后将所有标注数据和未标注数据同时加入训练得到最终的模型,该方法简单有效,是当前检测半监督方面的SOTA工作。
2. 我们的方案: Instant-Teaching
2.1 Motivation
如下图所示,我们提出了端到端的检测半监督方案Instant-Teaching和增强版Instant-Teaching*:
我们改进的motivation主要有三点:
我们发现,现有的检测半监督方面的SOTA方案STAC,其伪标注pseudo labels通过离线获得,并且在训练过程中是不更新的。这样有一个问题,当训练的半监督模型的精度已经超过生成pseudo labels的模型时,继续使用不更新的pseudo labels,会限制半监督模型精度的进一步提升。
data augmentations 在半监督学习中占据非常重要的位置,如何更有效的针对半监督学习设计更适合的数据增强方式?
pseudo labels中容易存在错误label,尤其是在训练初期,并且这种错误会在半监督训练中累积,这种现象称为confirmation bias问题,如何设计矫正策略去尽可能修正这些错误的pseudo labels?
针对这三个问题,我们的检测半监督方案如下:
针对问题1,我们采用在线伪标注更新的方式。随着模型训练收敛,模型的精度提升的同时,在线生成的pseudo labels的质量也会得到及时的提高,从而反过来进一步促进模型的学习。
为了更有效的对unlabel images 进行数据增强,我们采用在labeled images 和 unlabeled images 之间进行Mixup和Mosaic增强。
针对confirmation bias 问题,我们提出了Co-rectify的方案,即同时训练两个模型,两个模型分别为彼此检查和纠正pseudo labels,从而有效抑制错误预测的累积,提高模型精度。值得注意的是,虽然在训练时,需要同时训练两个模型,但是infernece时,只需要使用单个模型即可,因此,不影响模型推理的速度。
2.2 主要实验结果
*更多实验验证,欢迎参考我们的论文原文:https://arxiv.org/pdf/2103.11402.pdf
[1]Consistency-based Semi-supervised Learning for Object Detection
[2]A Simple Semi-Supervised Learning Framework for Object Detection
点个在看 paper不断!
端到端半监督目标检测框架相关推荐
- 端到端半监督目标检测框架Instant-Teaching:
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:知乎,极市平台 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链 ...
- AAAI 2020论文解读:商汤科技提出新弱监督目标检测框架
来源 | Object Instance Mining for WeaklySupervised Object Detection 编辑 | Carol 出品 | AI科技大本营(ID:rgznai1 ...
- 半监督目标检测相关方法总结
作者丨kinredon@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/404160115 编辑丨极市平台 导读 本文结合相关论文介绍了一些半监督目标检测算法,即如何利 ...
- ECCV2022 | FPN错位对齐,实现高效半监督目标检测 (PseCo)
点击上方"计算机视觉工坊",选择"星标" 干货第一时间送达 作者丨Gang Li@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p ...
- 半监督目标检测(一)
目录 半监督学习(Semi-Supervised Learning) 1. Low-density Assumption:非黑即白 最具代表性的方法:Self-training 2. Smoothne ...
- 半监督目标检测(三)
目录 ISMT 动机 1. Overview 2. Pseudo Labels Fusion 3. Interactive Self-Training 4. Mean Teacher Unbiased ...
- 收藏 | 半监督目标检测相关方法总结
近期阅读了一些半监督目标检测(Semi-Supervised Object Detection,SSOD)的文章,特此总结,以供未来查阅. 什么是半监督目标检测? 传统机器学习根据训练数据集中的标注情 ...
- 弱监督目标检测与半监督目标检测
一.监督学习分类 根据数据集的标注情况,分为:监督学习.弱监督学习.弱半监督学习和半监督学习. 监督学习:数据集为带实例级标注的标签,包含坐标和类别信息 弱监督学习:数据集仅带有数据类别的标签,不包含 ...
- RS2022/云检测:考虑域偏移问题的卫星图像半监督云检测Semi-Supervised Cloud Detection in Satellite Images by Considering the
Semi-Supervised Cloud Detection in Satellite Images by Considering the Domain Shift Problem考虑区域偏移问题的 ...
最新文章
- windows IIS权限经典设置教程
- lazada做代运营,价格越低越好吗?价格和价值分析
- 用Java读取/写入压缩和非压缩文件
- Windows编程初步(二)
- LeetCode 323. 无向图中连通分量的数目(并查集)
- python2和python3的print语句语法有什么不同_Python3.2的版本,输入print语句总是出错,是什么原因?...
- 软件架构设计_软件架构设计的三个维度,软件架构师需要知道的点,了解一下吧...
- 金融科技:科技生活化和生活金融化
- 对我有利就契约,不利就废纸
- 织梦dedecms调用热门搜索关键词的方法
- DDNS动态域名解析
- Pygame小游戏:玩扫雷就在瞎点的,不止你一个人。
- 励志电影排行榜2011
- 一 Django模型层简介
- 直播系统具备有什么样的优势?带你了解股阿奴与直播系统的优势
- 常用的正则符号(python)
- ps使图片边缘模糊且融入背景色
- 如何找到网站后台管理网页地址
- Unity SRP系列——DrawCalls
- 巴黎婚纱“不告而辞”,资金都没存管的婚纱照你还敢去拍?