[论文阅读] Instance-level salient object segmentation

论文地址：https://doi.org/10.1016/j.cviu.2021.103207
代码：https://github.com/Kinpzz/MSRNet-CVIU
发表于：CVIU.21
注：本文原发表于CVPR.17

Abstract

由于深度卷积神经网络的发展，图像显著性检测最近取得了巨大成功。然而，大多数现有的显著目标检测方法不能识别检测到的显著区域中的单个物体实例。在本文中，我们提出了一种显著性实例分割方法，该方法可以为输入图像产生一个具有明显对象实例标签的显著图。我们的方法由三个主要步骤组成，即显著区域推断、显著目标轮廓检测和显著目标实例识别。对于前两个步骤，我们提出了一个多尺度的显著性细化网络，它可以生成高质量的显著区域mask和显著对象轮廓。对于最后一步，我们提出了一种形态学算法，该算法结合了检测到的显著区域和显著对象的轮廓，以产生好的的显著对象实例分割结果。为了促进对显著实例分割的进一步研究和评估，我们还构建了一个新的数据集(ILSO-2K)，其中包括2000张带有像素级显著实例注释的图像。实验结果表明，我们提出的方法能够在六个公共基准以及用于显著实例分割的新数据集上取得令人满意的性能。

I. Introduction

算是挖了一个新坑。以前的我们讲的传统显著性检测实际上是个二分割问题，也就是只考虑某个像素是显著前景还是背景。所以说，把这个东西叫"显著目标检测"实际上还比较不妥(因为并没有那么考虑“目标”)，实际上本文也把这种问题给称作显著区域检测。

至于挖的新坑，也就是在检测哪些区域有显著对象的基础上，还要进一步去区分显著区域内不同的对象。以现在的眼光看，其实很像全景分割，只不过扔掉了背景类，不过实际上这篇文章在CVPR17出来的时候是还没全景分割这种概念的。一个例子如下所示：

落实到具体做法上的话，思路也比较有意思。从显著区域变成不同的显著对象，实际上的话找到不同对象的边界就行了，然后就可以区分开来，具体做法将在后面介绍。

II. Architecture

III. MSRNet

属于比较常见的魔改UNet一种，不算本文的亮点，因此这里只放下网络结构图：

具体来说有一个小改的ASPP和细化模块R，backbone用的是ResNet-50。

真正比较有意思的地方在于，从architecture中我们可以看到，这个玩意除了能生成saliency map，还能生成contour map，具体做法则是，首先用saliency map训练MSRNet到收敛，然后拷贝一份，在此基础上用contour map进行finetune。需要注意的是训练contour map时用的loss得是class-balanced cross-entropy(因为在contour map中前后景是非常不均衡的)。

IV. Salient Instance Proposal

其实就是怎么把saliency map给切开的问题。为此，本文提出了一系列形态学算法来求解。由于这部分没打算细看，所以结合流程图猜测一下：

对saliency map、contour map分别以阈值0.5处理为二值，记为RbR_bRb、CbC_bCb，然后做Rd=Rb−(Rb∩Cb)R_d = R_b - (R_b \cap C_b)Rd=Rb−(Rb∩Cb)。这一步的话其实很容易想到，本质上就是用contour map去抠，能把非接壤区域给削一层，也能把接壤区域给段开来。至于后一部分还没细看。

Summary

本文重点偏向于新坑以及新数据集。