图像实例分割：CenterMask
图像实例分割：CenterMask
CenterMask: single shot instance segmentation with point
representation
论文链家：
https://arxiv.org/abs/2004.04446
摘要
本文提出了一种简单、快速、准确的单镜头实例分割方法。单阶段实例分割面临两个主要挑战：对象实例区分和像素级特征对齐。相应地，本文将实例分割分解为两个子任务：局部形状预测（即使在重叠的情况下也可以分离实例）和全局显著性生成（以像素到像素的方式分割整个图像）。两个分支的输出被组合起来形成最终的实例掩码。为了实现这一点，从物体中心点的表示中提取局部形状信息。完全从头开始训练，没有任何铃声和口哨声，提出的中心掩码达到34.5掩码AP，速度为12.3 fps，使用单一模型，在具有挑战性的COCO数据集上进行单尺度训练/测试。除速度慢5倍的TensorMask方法外，该方法的精度高于其他所有一级实例分割方法，说明了中心模板的有效性。此外，该方法还可以方便地嵌入到FCOS等单级目标检测器中，具有良好的性能，体现了中心掩模的通用性。
- Introduction
为了解决这些问题，本文建议打破mask表示为两个平行组件：
（1）一种局部形状表示法，它为每个局部区域预测一个粗略的遮罩，可以自动分离不同的实例。
（2）一种全局显著性地图，它可以分割整个图像，提供显著性细节，并实现像素级对齐。为了实现这一点，从目标中心的点表示中提取局部形状信息。建模对象作为其中心点是由一级中心网[30]检测器驱动的，因此本文称之为方法中心掩码。建议的中心遮罩的图示如图1所示。给定输入图像，根据关键点估计管道预测目标中心点位置。然后提取中心点的特征表示，形成局部形状，局部形状由一个粗掩模表示，该粗掩模将物体与近距离物体分开。同时，完全卷积的主干线生成了整个图像的全局显著性图，在像素级将前景与背景分离。最后，将粗糙但感知实例的局部形状和精确但不感知实例的全局显著性映射组合起来，形成最终的实例掩码。
为了验证中心掩模的鲁棒性并分析其核心因素的影响，进行了大量的实验，比较了多个基本实例的融合性能。可视化结果表明，仅使用局部形状分支的中心mask可以很好地分离对象，而仅使用全局自性分支的模型在对象不重叠的情况下表现良好。在复杂和对象重叠的情况下，这两个分支的结合可以区分实例，同时实现像素级的分割。COCO[20]测试集图像的中心掩码结果如图2所示。
总之，本文的主要贡献如下：
•提出了一种无锚定盒的一阶段实例分割方法，该方法简单、快速、快速准确。完全从零开始训练，提出的中心掩模达到34.5掩模AP，速度为12.3 fps对具有挑战性的可可，显示出良好的速度精度权衡。此外，该方法还可以方便地嵌入到FCOS[27]等单级目标检测器中，具有良好的性能，体现了中心掩模的推广性。
•提出对象遮罩的局部形状表示，以区分无锚箱条件下的实例。局部形状分支使用对象中心点的表示，即使在重叠的情况下，也能有效地预测粗糙遮罩和分离对象。
•提出了全局显著性映射，实现自然的像素级特征对齐。与以前的特征对齐操作（例如分割）不同，该模块更简单、更快、更精确。全局显著性生成的行为类似于语义分割[23]，希望这项工作能够激励未来的一阶段全景分割[16]。
- Related Work
两段式分割：两段式分割方法，先进行包围盒检测，再对包围盒区域的像素进行分类，得到最终的掩模。
一阶段实例分割：目前最先进的一阶段实例分割方法大致可以分为两类：基于全局区域的方法和基于局部区域的方法。基于全局区域的方法首先基于整个图像生成中间和共享的特征地图，然后将提取的特征集合起来形成每个实例的最终遮罩。
- CenterMask
本文的目标是建立一种单阶段的实例分割方法。一个阶段意味着没有预先定义的兴趣区域（roi）用于掩模预测，这需要同时定位、分类和分割对象。为了实现这一点，本文将实例分割分解为两个简单且并行的子任务，并将它们的结果集合起来形成最终的掩码。第一个分支从每个对象的中心点表示预测粗糙形状，这可以约束每个对象的局部区域并自然区分实例。
第二个分支预测整个图像的显著性图，实现精确分割并保留精确的空间位置。最后，通过将两个分支的输出相乘来构造每个实例的掩码。
- Experiments
在MS-COCO实例分割基准上对所提出的中心掩码的性能进行了评估[20]。该模型在115k个trainval 35k图像上进行训练，并在5k个minival图像上进行测试。最终结果在20k测试设备上进行评估。
- Conclusion
本文提出了一种简单、快速、准确的单镜头锚箱自由实例分割方法。将掩模预测分解为两个关键模块：有效分离不同实例的局部形状分支和明智地实现精确分割像素的全局显著分支。大量的融合实验和可视化图像证明了该中心掩模的有效性。本文希望本文的工作能够帮助简化更多的实例级识别任务。
图像实例分割：CenterMask相关推荐
- 英文论文（sci）解读复现【NO.15】学习聚合多尺度背景的实例分割在遥感图像
此前出了目标检测算法改进专栏,但是对于应用于什么场景,需要什么改进方法对应与自己的应用场景有效果,并且多少改进点能发什么水平的文章,为解决大家的困惑,此系列文章旨在给大家解读发表高水平学术期刊中的 S ...
- CVPR 2021 | 双图层实例分割，大幅提升遮挡处理性能
" 双图层实例分割 物体的互相遮挡在日常生活中普遍存在,严重的遮挡易带来易混淆的遮挡边界及非连续自然的物体形状,从而导致当前已有的检测及分割等的算法性能大幅下降.本文通过将图像建模为两个重叠 ...
- CVPR2021 双图层实例分割，大幅提升遮挡处理性能
本文转自快手音视频技术. " 双图层实例分割 物体的互相遮挡在日常生活中普遍存在,严重的遮挡易带来易混淆的遮挡边界及非连续自然的物体形状,从而导致当前已有的检测及分割等的算法性能大幅下降.本 ...
- CVPR系列（二）—— 双图层实例分割，大幅提升遮挡处理性能
01 摘要 由于物体的真实轮廓和遮挡边界之间通常没有区别,对高度重叠的对象进行分割是非常具有挑战性的.与之前的自顶向下的实例分割方法不同,本文提出遮挡感知下的双图层实例分割网络BCNet,将图像中的感 ...
- CVPR 2021 | 基于Transformer的端到端视频实例分割方法
实例分割是计算机视觉中的基础问题之一.目前,静态图像中的实例分割业界已经进行了很多的研究,但是对视频的实例分割(Video Instance Segmentation,简称VIS)的研究却相对较少.而 ...
- 实例分割总结 Instance Segmentation Summary（Center Mask、Mask-RCNN、PANNet、Deep Mask和Sharp Mask）
实例分割总结 Instance Segmentation Summary 实例分割常用网络总结 Mask-RCNN网络 PANnet Deep Mask和Sharp Mask CenterMask 二 ...
- 速度超Mask RCNN四倍，仅在单个GPU训练的实时实例分割算法 | 技术头条
作者 | Daniel Bolya Chong Zhou Fanyi Xiao Yong Jae Lee 译者 | 刘畅 责编 | Jane 出品 | AI科技大本营(id:rgznai100) [导 ...
- 速度超Mask RCNN四倍，仅在单个GPU训练的实时实例分割算法
这个带分割是25帧,有漏检. 速度超Mask RCNN四倍,仅在单个GPU训练的实时实例分割算法 原文:速度超Mask RCNN四倍,仅在单个GPU训练的实时实例分割算法 | 技术头条 https:/ ...
- 超Mask RCNN速度4倍，仅在单个GPU训练的实时实例分割算法
点击我爱计算机视觉标星,更快获取CVML新技术 作者 | Daniel Bolya Chong Zhou Fanyi Xiao Yong Jae Lee 译者 | 刘畅 责编 | Jane 出品 | ...
最新文章
- 美团点评业务风控系统构建经验
- boost::graph模块演示 GGCL Edge 接口
- X11硬线接口信号 与Profisafe安全输入输出信号之间的区别与比较
- 2019牛客暑期多校训练营（第一场） - B - Integration - 数学
- Python3输入输出
- 初始化跟路由相关的定时器
- 拆分窗口QSplitter
- NLP --- 隐马尔可夫HMM（EM算法（期望最大化算法））
- thinkphp遗留问题
- 关于element el-button使用$attrs的一个注意要点
- 自监督对比损失和监督对比损失的对比
- EXCEL 图表-双坐标轴
- 做嵌入式经典网站！（转）
- 使用C#更新word中的目录域
- 八皇后问题----Java实现
- 2017北邮计算机考研经验总结,北邮计算机专考研经验总结.docx
- 阵列信号处理仿真二——波束方向图的绘制
- KS值是衡量分类模型预测准确度的重要指标之一，它反映了模型预测结果与实际数据分布差异的程度。本文将介绍什么是KS值，如何计算以及在Python中如何实现。
- C-Lodop云打印服务系统存在任意文件读取漏洞
- python编程：使用pyecharts绘制拟合曲线图