Bilateral attention network for RGB-D salient object detection阅读笔记
IEEE 2021
Zhao Zhang; Zheng Lin; Jun Xu; Wen-Da Jin; Shao-Ping Lu; Deng-Ping Fan
论文地址
一、简介
提出了双边注意模块(BAM),以利用深度图像丰富的前景和背景信息探索前景背景细节。
我们从RGB图和深度图中提取多级特征,随着网络深度的增加,高级特征将捕获全局上下文信息,但是它失去了对象的细节,当我们上采样预测的时候,显著图将被模糊,边缘将会变得不确定。
二、方法
2.1 概述
BiANet包含三个主要步骤:特征提取,预测上采样和双边注意残差补偿。
特征提取:
我们使用两个编码通道来分别提取RGB和深度信息。
使用VGG16的五个卷积块作为backbone,并附上具有三个卷积层的附加卷积组。一共会产生6个输出,以级联的方式逐级细化预测显著图。
预测上采样:
从高级特征预测的初始显著图是低分辨率粗糙的,只是用于预测前景和背景的初始位置,因为它包含丰富的语义信息。为了优化粗糙的显著图S6,使用较低级别的特征F5,其包含更多细节,在BAM的帮助下预测更高级别预测和ground truth(GT)之间的残差分量。我们将预测的残差分量R5添加到上采样的更高级别预测S6,并获得精细的预测S5,以此类推,逐级优化。公式如下所示:
双边注意残差补偿:
为了获得更好的残差信息并区分上下采样的前景和背景区域,我们设计了双边注意模块(BAM)使BiANet能够区分前景和背景。
在BAM中,更高级的预测视为前景注意图,反向预测视为背景注意图,用它们来集合双边注意放在前景和背景上。
损失函数:
Si是级联的输出,Srgb和Sd是最终的输出。
2.2 BAM
鉴于初始前景和背景,如何使用更高分辨率的跨模型功能来改进预测是本文的焦点。考虑到前景和背景的分布是完全不同的,我们使用一对逆转的注意组件设计双边注意模块,以分别从前景和背景中学习特征,然后共同细化预测。
Fi是32通道的1×1卷积,减少通道数从而减少计算成本。P是特征提取操作,是32通道3×3的卷积。
为了更好地理解BAM的工作机制,在上图中,我们可视化来自不同级别的BAM的通道平均特征。在BAM中,首先将首先通过乘以FF和BF注意图来进入两个分支。直接乘法的结果在黄色(FF特征)和蓝色(BF特征)框的左半部分中示出。我们可以看到FF Branch将注意力转移到从其更高级别预测的前景区域,以探索前景显着性提示。在卷积层之后,给出了不确定区域的更优先级。互补的是,BF分支专注于探索背景线索的背景区域,正在寻找其中可能的突出对象。在我们的BIANET中,自上而下的预测上取样是一种过程,其中突出物体的分辨率逐渐增加。它将导致不确定的粗糙边缘。我们可以看到FF和BF的两个都侧重于不确定区域(例如对象边界)。低电平和高分辨率的FF分支将消除不确定区域的溢出,而BF分支将消除不属于背景的不确定区域。这是Bianet在细节上更好地表现更好的一个重要原因,并且容易预测尖锐的边缘。在联合推断之后,我们可以看到双边增强的特征包含前景和背景的更多辨别空间信息。产生的残余部件在边缘上具有鲜明的对比度,然后抑制背景区域并加强前景区域。
2.3 MBAM
场景中的突出物体在位置,尺寸和形状中是各种各样的。因此,在高级层中探索多级上下文以了解场景。为此,我们使用多尺度版本扩展BAM,其中扩张卷积组用于从未确定的前景和背景区域提取金字塔表示。具体地,该模块可以被描述为:
为了直观地观察MBAM所带来的增益效果,我们可以在上图可视化来自MBAMS和BAM的平均前景第一特征映射。在第二行中,从其前三个级别中的三个MBAM获得特征映射,而在最后一行中,所有特征映射都是从BAM收集的。我们可以看到目标对象(马)占这一场景的大部分。如果没有能力感知多尺度信息,则BAM不能捕获高水平的准确全球凸极区域,并最终导致不完全预测。在引入多尺度扩展时,我们可以看到更高级别的功能实现更强大的空间表示,这支持找到更完整的突出对象。
三、实验
Bilateral attention network for RGB-D salient object detection阅读笔记相关推荐
- 《Selectivity or Invariance: Boundary-aware Salient Object Detection》笔记
Introduction 该论文利用显著性特征图(saliency feature map)来进行目标检测,得到物体的位置掩膜图(mask),属于显著性目标检测模型(salient object de ...
- ICNet: Information Conversion Network for RGB-D Based Salient Object Detection
ICNet:用于基于 RGB-D 的显著性目标检测的信息转换网络 IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020 存在的问题 之前的 ...
- D2C-Net: A Dual-branch, Dual-guidance and Cross-refine Network for Camouflaged Object Detection阅读笔记
IEEE Transactions on Industrial Electronics 2021 Kang Wang; Hongbo Bi; Yi Zhang; Cong Zhang; Ziqi Li ...
- Uncertainty-aware Joint Salient Object and Camouflaged Object Detection阅读笔记
CVPR2021 Aixuan Li,Jing Zhang,Yunqiu Lv,Bowen Liu,Tong Zhang,Yuchao Dai https://arxiv.org/abs/2104.0 ...
- Camouflaged Object Detection阅读笔记
CVPR 2020 Deng-Ping Fan, Ge-Peng Ji, Guolei Sun, Ming-Ming Cheng, Jianbing Shen, Ling Shao https://o ...
- Mutual Graph Learning for Camouflaged Object Detection阅读笔记
CVPR 2021 Qiang Zhai, Xin Li, Fan Yang, Chenglizhao Chen, Hong Cheng, Deng-Ping Fan https://arxiv.or ...
- Depth-Guided Camouflaged Object Detection阅读笔记
arXiv 2021 Jing Zhang, Yunqiu Lv, Mochu Xiang, Aixuan Li, Yuchao Dai, Yiran Zhong 论文地址 一.简介 探索深度信息对伪 ...
- 【arXiv2022】GroupTransNet: Group Transformer Network for RGB-D Salient Object Detection
paper:https://arxiv.org/abs/2203.10785 目录 一 动机 二 方法 三 网络框架 3.1 模态纯化模块(MPM) 3.2 尺度统一模块 (SUM) 3.3 多 Tr ...
- [论文阅读] Boosting Salient Object Detection with Transformer-based Asymmetric Bilateral U-Net
论文地址:https://arxiv.org/abs/2108.07851 发表于:Arxiv 2021.08 Abstract 现有的显著目标检测(SOD)方法主要依靠基于CNN的U型结构,通过跨层 ...
最新文章
- linux 限制用户端口,linux – Centos 6.4只允许用户绑定到某个端口?
- 防止程序重复执行的单元
- wms地图绘制工具_GeoServer地图开发解决方案(四):发布Web地图服务(WMS)篇
- protobuf java 生成_protobuf代码生成
- 阿里云ACP认证考试细则须知与考题内容学习方法分享...
- 计算机使用快捷键大全
- Cocos Creator 如何在 VideoPlayer 上面放置 UI 控件
- python验证码登录代码_Python模拟登录验证码(代码简单)
- 中级软件测试工程师是什么水平,中级软件测试工程师需要满足的基本评定条件...
- VMware虚拟机 centos8 解决全屏问题
- Manjaro Linux安装QQ和微信
- 2021西湖论剑misc——Yusa的小秘密
- 水果店怎样开业吸引人流量,水果店怎样开业吸引人
- 眼见为实:被误导的Tomcat工作原理
- 教师用计算机使用制度,计算机教室使用制度(5篇范例)
- 计算机打字正确姿势,电脑快速打字方法教程
- BestCoder Round #85 (hdu5804,hdu5805,hdu5806,hdu5807)
- Oracle Instance and Database
- 【产业互联网周报】硅谷多家IT大厂组成现代计算联盟,提供企业云上服务;台积电新封装技术2023年投产...
- 录音文件转文字,有了这个工具,再也不用担心记不上笔记了