使用弱标签数据改进对Lowshot类的检测

课程学习中遇到的论文，将阅读笔记记录此处

1. 名词解释

lowshot class:
数据集中单个图像含有很少边界框注释的图像类别(<10)。

highshot class:
数据集中单个图像含有大量边界框注释的图像类别（>10)。

weakly labelled data:
只含有图像级标签的图片数据。

2. 研究背景

对象检测模型在诸如COCO等标准数据集上取得了巨大的成功;
但是当使用较大的数据集（比如：LVIS），遇到边界框少于十个的低密度类图像时效果欠佳；
其次，网络上含有大规模含有图像级标签的数据。

3. 研究目的

使用具有图像级标签的弱标记网络级数据集来提高对低密度类图像的检测。

4. 算法框架

改进的FRCNN(Faster R-CNN)
使用数据：
a. 使用少量全标签数据帮助更好的定位，形成边界框；
b. 使用大量弱标记图像帮助推断边界框的标签。

5. 具体算法流程

该框架同时使用弱标记和强标记示例来训练FRCNN模型。如果提供的示例具有边界框，则使用具有IoU匹配的标准绿色模块将标签分配给生成的边界框；否则将使用带有约束的线性程序来推断边界框的标签，如上图黄色区域。

线性程序

如果图像中只有一个边界框，只要选择得分最高的假设即可；
如果图像中有多个边界框，在为各个边界框分配标签需要使用约束条件来选择最优：
a. 由FRCNN网络生成一个P*(C+1)维矩阵；
NOTE:P表示P个分类框，C表示C个类，C+1是因为还有个背景（background）
b.
Y=arg⁡max⁡YTr(SCTY)Y = \arg {\max _Y}T{\rm{r}}(S_C^TY) Y=argYmaxTr(SCTY)
s.t.Y1=1{\rm{s}}.t.Y1 = 1 s.t.Y1=1
∑Pypc≥1,∀c≤C,\sum\limits_P {{y_{pc}} \ge 1,\forall c \le C,} P∑ypc≥1,∀c≤C,
NOTE:第一个限定条件指的是上面所提到的矩阵的每一行的和为1，理论意义指的是每个边界框至少分到一个标签；
第二个限定条件指的是这个矩阵的每一列的和大于等于1，理论意义指的是每个标签至少分给至少一个边界框。

线性程序示例：

左下方显示的是对类别的不同假设，每种颜色表示一种类别。
左上图表示每个假设的评分，这里用红色和蓝色表示汽车和摩托车的最高评分。
标签的最终分配如右图。

6. 数据集构造：

1.COCO-train:
含有大量highshot类数据（70个）和少量lowshot类数据（10个）；

2.子集：
a. COCO-N-strong:
此子集只保留来自10个Lowshot类的每个N个训练图像和所有的Highshot类图像。
b. COCO-N-weak:
COCO-train去除COCO-N-strong的图像。
删除文本

7. 实验结果：

本实验：DLWL
对比实验1：lowshot-only（仅使用含有少量边界框的图像训练）
对比实验2：omni-weak（使用全监督方法和弱标签数据）

最后

本篇只是对本论文的总体概述，能力有限，还有很多细节没有涉及。

论文笔记：DLWL: Improving Detection for Lowshot classes with Weakly Labelled data相关推荐

论文笔记：Improving Grammatical Error Correction Models with Purpose-Built Adversarial Examples
论文笔记:Improving Grammatical Error Correction Models with Purpose-Built Adversarial Examples 文章简要介绍出处 ...
论文笔记：Object Detection in 20 Years: A Surve（目标检测20年研究综述）
文章目录 1.介绍 2.目标检测的20年发展历程 2.1.目标检测路线 2.1.1.里程碑:传统检测器 2.1.2.基于CNN的两阶段检测器 2.1.3.基于CNN的单阶段检测器 2.2.目标检测数据 ...
[论文笔记]On the Detection of Digital Face Manipulation
On the Detection of Digital Face Manipulation 这篇文章主要介绍一种attention机制的深度伪造鉴别和伪造区域定位的方法. 创新点(主要贡献) 制作了一 ...
论文笔记：Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning
1 简介论文:Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning 发表:2 ...
论文笔记 Multiple Instance Detection Network with Online Instance Classifier Refinement - CVPR 2017
Multiple Instance Detection Network with Online Instance Classifier Refinement 华中科大Peng Tang, Xingga ...
【目标检测】论文笔记Arbitrary-Oriented Object Detection with Circular Smooth Label（2020）
目录前情提要: 解决方案 Regression-based Rotation Detection Method Boundary Problem of Regression Method Some ...
论文笔记 | Self-organized Text Detection with Minimal Post-processing via Border Learning
论文链接:http://openaccess.thecvf.com/content_ICCV_2017/papers/Wu_Self-Organized_Text_Detection_ICCV_201 ...
论文笔记——Camouflaged Object Detection
文章目录 1 简介 2 网络结构 2.1 Search Module (SM) 2.2 Identification Module (IM) 2020年CVPR的一篇文章,文章名为"伪装物体 ...
【论文笔记】Improving neural networks by preventing co-adaptation of feature detectors
多伦多大学计算机科学系12年的一篇文章,大量实验讨论了dropout的效果和直观解释了为什么dropout这么强大. 为什么强大?主要是参数独立训练,大量网络共享参数但是相当于独立训练出来的,参数之间 ...

论文笔记：DLWL: Improving Detection for Lowshot classes with Weakly Labelled data