Select, Supplement and Focus for RGB-D Saliency Detection CVPR2020 卢湖川团队

Select, Supplement and Focus for RGB-D Saliency Detection
CVPR2020 卢湖川团队

一摘要
在深度图或单个物体边缘的任意分布的错误或者区域的缺失会对RGBD显著性检测产生负面影响。为了克服这个问题，本文提出了一种新的用于精确RGBD显著性检测的工作框架，该框架考虑了两个模态（RGB和深度信息）的全局和局部的补充信息。设计了一个complimentary interaction module（CIM）模块去分别从RGB和深度中提取出有用的特征（表示），并且可以高效的融合跨模态的特征，融合后的特征可以精确的定位出显著目标并带有非常好的边缘细节。
二问题的提出
本文主要集中在两点上：
（1）探索并建立跨模态特征的互补与融合
（2）避免错误的深度信息的引入，以产生负面影响
并且针对于对几个比较有挑战性的场景进行了优化，挑战性的场景包括：
透明物体
多目标
低对比度
小目标
带有不可靠的深度图
三整体框架结构

首先，两个基于VGG16的编码器分别从RGB和深度图中提取特征，然后将这两个提取到的特征输入到CIM模块中，经过CIM模块输出边缘特征和跨模态融合特征，接下来分两步走：将三个尺度的边缘特征输入到边缘解码器中，最后输出的是预测边缘图；将三个尺度的融合特征输入到显著性解码器，输出的预测的显著图。然后使用预测的边缘图和真实边缘图，真值图和深度图来计算显著目标的权重，从而监督最终的显著图。
3.1 CAU模块

在这个模块中，从VGG16主干网的第五层输出的特征经过一个1X1的卷积操作得到一个原始显著图initial saliency map和一个深度图。步骤如下：
（1）将深度图划分成m个二进制的掩码图，其中深度区域的像素值设为1，其余像素设置为0。
（2）然后将m个二进制掩码图和initial saliency map输入到两个W中，分别进行RGB modal region-wise select和dept modal region-wise select，其具体计算方式如下：

RGB modal region-wise select
dept modal region-wise select
其中，di表示第i张二进制掩码图，di，j表示第i张掩码图的第j个像素值，N表示一整掩码图的总的像素数量，m表示掩码图的数量，Spr表示initial saliency map，sprj表示initial saliency map的第j个像素值。
注意：m张二进制掩码图的分辨率和深度图是一样大小的。
（3）将两个W中输出的结果分别与CIM模块的输入RGB特征和深度特征结合（元素相乘），在经过Attention模块（CA操作），之后再输出两个筛选之后的RGB特征和深度特征。总体的计算公式如下：
RGB：
深度：
3.2 BSU模块

BSU模块的主要作用是用来提取和保留边缘信息的模块。
现存的RGBD显著性检测方法由于存在池化操作，则必然存在模糊边界问题，如下图所示：很难从深度信息中去提取边缘信息。

基于这样一个考量，本文设计了一个边缘提取的单元，从而可以从高级的卷积特征中探索边缘细节（VGG6：L3，L4，L5层），具体过程如下：
（1）针对输入的RGB特征进行一个多尺度边缘特征提取器，就也就是经过多个膨胀卷积，在进行融合的过程，输出一个边缘特征。
（2）这个边缘特征在经过下面的公式计算，得到一个增强的边缘特征。

Fb表示边缘特征，表示增强的边缘特征，但问题是F[l]代表的是什么。

3.3 CIM模块

在这个模块是由BSU和CAU模块组成的。从CAU模块输出的两个特征再分别和BSU模块输出的边缘增强模块进行连接，可以得到两个增强的特征

分别表示深度和RGB特征。
然后再将这两个特征进行融合，然后输出一个融合之后的特征。融合操作（cat（），也不知道具体怎么去融合）

3.4 解码
这样分别将三个层次的CIM模块输出的融合特征和边缘特征进行解码，得到预测的边缘图和预测显著图。
3.5 RW模块
设计这样一个模块的目的是使得本模型可以适用于那些比较有挑战性的样本：包括（1）有挑战性的边缘信息的样例（2）不可靠的深度信息的样例
因此针对于（1）：我们设计一个计算操作去给挑战性的区域（边缘）产生就一个权重

其中，pmaxk（）表示以大小为k的最大池化操作，bgt表示的真实的边缘图，bpr表示预测的边缘图。
针对于（2）也采取类死的操作：

最后通过计算交叉熵损失来监督最终的显著图。

Select, Supplement and Focus for RGB-D Saliency Detection CVPR2020 卢湖川团队相关推荐

视觉显著性 matlab,转载图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention）...
图像/视觉显著性检测技术发展情况梳理(Saliency Detection.Visual Attention) Sason@CSDN 转载:http://blog.csdn.net/anshan198 ...
显著性检测论文解析2——Visual Saliency Detection Based on Bayesian Model, Yulin Xie, ICIP2011
最近感觉玩的差不多了,现在准备好好学习了,所以就又开始随便写点,就当是自己学习的笔记.这次要说的的是卢湖川的Visual Saliency Detection Based on Bayesian Mo ...
(2021 ICCV)Specificity-preserving RGB-D Saliency Detection(A类)
# 一.作者 Tao Zhou , Huazhu Fu ,Geng Chen ,Yi Zhou ,Deng-Ping Fan, Ling Shao 二.地址 2.1 原文地址 ICCV 地址 2. ...
saliency detection（显著度检测）用于Background Subtraction（背景扣除）和Segmenting objects（分割物体）
文章目录背景知识 1. 介绍 1.1 什么是显著性物体检测 1.2 显著物体检测的发展历史 Segmenting salient objects from images and videos 摘要 ...
图像显著性论文（四）—Context-Aware Saliency Detection
一直想默默的学习,不去理会太多东西,但是外界的影响还是蛮大的,各种找工作,实习,自己还待在实验室研究自己喜欢的东西,心情有点浮躁,又想赶快学好后可以亮一下剑,又感觉理论的东西不能太多急躁,要学扎实,还 ...
Deep RGB-D Saliency Detection with Depth-Sensitive Attention and Automatic Multi-Modal Fusion论文笔记
CVPR2021论文笔记题目:Deep RGB-D Saliency Detection with Depth-Sensitive Attention and Automatic Multi-Mod ...
Synergistic Saliency and Depth Prediction for RGB-D Saliency Detection
Synergistic Saliency and Depth Prediction for RGB-D Saliency Detection ABSTRACT(决定本篇论文有没有必要读) Introd ...
CVPR2019文章解读 Pyramid Feature Attention Network for Saliency detection 用于显著性检测的金字塔特征注意网络
Pyramid Feature Attention Network for Saliency detection 摘要显著性检测是计算机视觉领域的基本挑战之一,怎么有效去提取特征非常关键,目前的一些 ...
saliency detection论文（一）—Saliency Detection: A Spectral Residual Approach
目录本文是对Xiaodi Hou和Liqing Zhang写的<Saliency Detection: A Spectral Residual>的翻译与总结: 目录 Abstract 残 ...
Video Saliency Detection 文献学习（一）Unified Image and Video Saliency Modeling
由于课题有关人员的Attention/Gaze/Saliency建模,所以最近读了一些Saliency Detection 的文章.利用博客一方面作为学习笔记记录一下,一方面也与大家进行交流. 第一篇 ...

Select, Supplement and Focus for RGB-D Saliency Detection CVPR2020 卢湖川团队

Select, Supplement and Focus for RGB-D Saliency Detection CVPR2020 卢湖川团队相关推荐

最新文章

热门文章