Multiple Instance Detection Network with Online Instance Classifier Refinement

近年来，弱监督目标检测在目标识别中占有重要地位。基于深度学习的弱监督检测器已经取得了许多有前景的结果。然而，与完全监督检测相比，以弱监督方式训练基于深层网络的检测器更具挑战性。这里，我们将弱监督检测表述为多实例学习问题，其中实例分类器(对象检测器)作为隐藏节点被放入网络。我们提出了一种新的在线实例分类器精炼（OICR）算法，将MIL和实例分类器精炼过程集成到一个单一的深度网络中，并且在只有图像级监督(即没有物体位置信息)的情况下端到端地训练网络。

更准确地说，从弱监督中推断出的实例标签被传播到它们的空间重叠实例中，从而在线细化实例分类器。（More precisely, instance labels inferred from weak supervision are propagated to their spatially overlapped instances to refine instance classifier online.）迭代实例分类器求精过程是使用深度网络中的多个流来实现的，每个流监督其后一个流。弱监督目标检测实验在具有挑战性的PASCAL VOC 2007和2012基准上进行，我们在VOC 2007中获得了47%的mAP，明显优于以前的先进水平。

1 Introduction
基于WSOD的端到端深度网络的核心问题是定位不准确，常常将最具有辨别度的物体的一部分认为是整个目标对象。为了解决这个问题，我们在本文中提出了两个改进:

我们建议在网络中添加一些块，通过显式地分配二进制实例标签来学习更具区分性的实例分类器，而不是通过加权求和池化（weighted sum pooling）来估计实例权重；
提出利用空间关系在线精炼实例分类器。
WSDDN中提出的spatial regulariser 通过迫使最高得分区域及其相邻区域的特征相同，取得了一定效果。然而强迫空间上重叠的proposal具有相同的特征似乎过于严格过于严格。我们认为在空间上重叠的proposal的特征在同一流形（manifold）中。然后这些重叠的建议可以共享相似的标签信息。为了实现这一思想，我们在WSDDN的网络中设计了一些实例分类器。实例的标签可以通过它们在空间上重叠的实例来精炼。我们将这种新的网络结构命名为具有实例分类器（instance classifier）的多实例检测网络(MIDN)。

实际上，有两个重要问题：

由于没有实例级标签监督，如何初始化实例标签？
如何高效地用实例分类器训练网络？
对于分类器精炼想到的一种自然方式是交替策略，即交替地重新标记实例和训练实例分类器，而这一过程非常耗时，特别是考虑到训练具有大量随机梯度下降(SGD)迭代的深层网络。为了克服这些困难，我们提出了一种新的在线实例分类器精化(OICR)算法来在线训练网络。

图2：MIDN和OICR结合的结构。建议/实例特征由图像卷积特征层上的SPP层和两个全连接层生成。这些建议特征向量被分支为不同阶段的多个流：第一个用于基本的MIDN，其他用于实例分类器精炼。对分类器改进的监督是由它们前面阶段的输出决定的。所有这些阶段共享相同的proposal representations。

图1：分类器不同阶段精炼的结果，每行代表一个阶段。绿色/红色矩形表示检测到的box与gt有高/低重叠的方框，矩形右上角的数字表示IoU。如图：通过多级精炼，探测器可以逐渐覆盖整个物体而不是部分物体。
2 Method
我们的方法的整体架构如图2所示。给定一个图像，我们首先通过选择性搜索生成大约2000个对象建议。图像和这些提议被送到具有SPP层的一些卷积(conv)层，以产生每个提议的固定大小的conv特征图，然后它们被送到两个全连接(fc)层，以产生提议特征向量的集合。这些特征被分支成不同的流，即不同的阶段：第一个是MIDN训练一个基本的实例分类器，还有其他的精炼分类器。特别地，对分类器精炼的监督是由它们前面阶段的输出决定的，例如：the first 精炼分类器的监督来自于the basic classifier， [公式] 精炼分类器的监督来自于 [公式]精炼分类器。

2.1 多实例检测网络 Multiple instance detection network（MIDN）
训练精细分类器需要实例级的监督，但这种监督是不可用的。如前所述，实例分类器的top-scoring proposal及其相邻proposals可以标记到其图像标签上作为监督。所以我们首先引入我们的MIDN来生成基本的实例分类器。实现这个有很多可能的选择。在这里，我们选择了WSDDN的方法，该方法提出了一种加权池化（weighted pooling）策略来获得实例分类器，以提高其有效性和实现的便利性。请注意，我们的网络独立于特殊的MIL方法，因此任何可以端到端训练的方法都可以嵌入到我们的网络中。

2.2 在线实例分类器精炼 Online instance classifier refinement（OICR）

OICR 算法伪代码
Conclusion
本文提出了一种新的弱监督目标检测算法框架。与该领域的传统方法不同，我们的方法将基本的多实例检测网络和多阶段实例分类器集成到单个网络中。此外，我们还提出了一种在线实例分类器精化（OICR）算法来训练所提出的端到端网络。实验表明，我们的方法取得了实质性的改进。我们的学习算法有潜力应用于许多其他弱监督视觉学习任务。在未来，我们将探索其他线索，如实例视觉相似性，以更好地执行实例分类器细化。

本文来自知乎：https://zhuanlan.zhihu.com/p/364446344

Multiple Instance Detection Network with Online Instance Classifier Refinement相关推荐

论文笔记 Multiple Instance Detection Network with Online Instance Classifier Refinement - CVPR 2017
Multiple Instance Detection Network with Online Instance Classifier Refinement 华中科大Peng Tang, Xingga ...
《Parallel Instance Query Network for Named Entity Recognition》论文阅读
来源:ACL 2022 论文认为存在的问题: 当前的NER任务被转换为MRC任务,但是存在以下问题: 每次一个问题只能抽取到一种类型的实体,效率不够高不同实体之间抽取是分割,没有考虑到实体之间的依赖 ...
论文复现-Half Instance Normalization Network
HINet HINet: Half Instance Normalization Network for Image Restoration 论文复现官方源码 AI Studio项目地址 1. 简介 ...
论文报告笔记（四） Towards Precise End-to-end Weakly Supervised Object Detection Network
文章目录论文报告笔记(四) Towards Precise End-to-end Weakly Supervised Object Detection Network 弱监督学习 WSDDN OIC ...
无人驾驶中的目标检测--MODNet: Moving Object Detection Network for Autonomous Driving
MODNet: Moving Object Detection Network with Motion and Appearance for Autonomous Driving 这里讲视频动作识别中 ...
文献记录(part25)--ACDnet An action detection network for real-time edge computing based on flow-guided
学习笔记,仅供参考,有错必纠关键词:动作检测:实时视频处理:边缘计算:运动导向特征:深度学习不知道在讲啥- ACDnet: An action detection network for real ...
F2DNet: Fast Focal Detection Network for Pedestrian Detection
F2DNet 论文标题:F2DNet: Fast Focal Detection Network for Pedestrian Detection 论文地址:https://arxiv.org/abs ...
Multiview RGB-D Dataset for Object Instance Detection*（译文）
大致译文,可以看看,参考一下.转载请说明摘要基于9个厨房场景,本文提供了一个新的多视角RGB-D数据集.场景中的物体有一部分来自于BigBird数据集.Scenes被密集采取,使用bounding ...
OSSID: Online Self-Supervised Instance Detection by (And For) Pose Estimation
许多机器人操作算法都需要实时目标姿态估计.然而,最先进的目标姿态估计方法是针对一组特定的对象进行训练的:因此,这些方法需要重新训练以估计每个新对象的姿势. 本文提出了 ...
Multiple Landmark Detection using Multi-AgentReinforcement Learning基于多智能体强化学习的多重地标检测
目录摘要介绍贡献相关工作方法协作代理实验数据集训练测试讨论计算性能结论 References 摘要解剖标志的检测是医学图像分析和诊断.解释和指导应用的重要步骤. 对地标进行 ...

Multiple Instance Detection Network with Online Instance Classifier Refinement

Multiple Instance Detection Network with Online Instance Classifier Refinement相关推荐

最新文章

热门文章