D2C-Net: A Dual-branch, Dual-guidance and Cross-refine Network for Camouflaged Object Detection阅读笔记
IEEE Transactions on Industrial Electronics 2021
Kang Wang; Hongbo Bi; Yi Zhang; Cong Zhang; Ziqi Liu; Shuang Zheng
论文地址
一、简介
提出了一个COD模型,主要由DFE模块和GRCF模块组成。
从人类视觉机制角度来看,当我们看到一个场景时,有两个阶段。第一阶段中产生的特征来提取双向引导信息,然后进行第二级预测。
从对等特征中受益可以提供一些关于目标对象区域的位置的提示,我们采用了一个自我优化的关注单元和交叉细化单元来进行更准确的伪装地图。
二、方法
2.1 动机
对于COD任务,主要目的是检测类似于背景的对象。从人类视觉机制角度来看,当我们看到一个场景时,通常难以找到第一阶段中的完整伪装物体。为了捕获更详细的伪装maps,我们根据第一阶段的全面分析进行第二阶段。在观察的两个阶段之后,我们可以获得相对准确的伪装maps。
2.2 整体框架
如图Fig1所示,网络主要由两个部件组成,一个是双分支特征提取模块(DFE),另一个是逐渐精制交叉融合模块(GRCF)。粉色部分表示观察的第一个阶段,黄色部分表示观察的第二阶段。
RF结构提供更准确的信息和更大的感受野。PDF组件并行地聚合不同级别地特征,以产生第一阶段的伪装maps。HAREW模块来优化检测结果。
2.3 DFE模块
第一阶段:
在第一阶段,伪装物体的位置和形状被大致检测出来。为了改进第一阶段的结果,我们在第二阶段引入了注意力机制和指导信息。
在第一阶段,采用特征拼接的方式来聚合特征并送入RF模块中。然后将得到的R3、R4和R5送入PDC模块来聚合特征,最终输出粗略的伪装的maps(S1)。
其中,RF模块参考SINet。PDC模块参考CPD模型。PDC使用乘法进行特征融合。
第二阶段:
第二阶段,HAREW模块从第一阶段使用信息来对第二阶段进行指导预测。通过这种方式,我们可以获得比第一阶段更准确的伪装地图。其中指导信息包括前瞻性关注指导和逆转注意力指导。
HAREW模块包含两个输入(来自S1和来自当前卷积层的特征指导信息)和两个输出(一个用于下一级别的卷积层,一个用于串联操作进入RF结构)。HAREW含有三个部分,整体注意力,残差注意力和加法。
首先,我们使用Holistic Attention扩展初始伪装地图的覆盖区域,以提高初始伪装地图的有效性。其公式如下:
对S1进行下采样,并使用sigmoid函数,后经过高斯卷积和归一化,将其结果的每个通道取最大值,从而得到EGout。然后EGout与Fi相乘得到HAout。这个过程称为前向指导预测。
接下来,反向关注机制通过擦除当前预测的伪装区域以优化前向伪装对象检测。公式如下:
在预测过程中,我们无法保证正确预测所有像素,以便最小化这种现象的影响,我们使用加权补充来完全集成前向导过程和反向关注引导过程。
其中,PCS表示Pooling -> Conv -> Softmax。
2.4 GRCF模块
通过SRA模块优化maps,通过CR模块进一步优化对等层特征。这两个部分被称为SRA-CR。
RBConv是3×3的卷积将通道数变为256。
SRA部分的元素相乘是为了捕获更完整的信息,最大关注是考虑到在每个通道中,不是每一个像素是有意义的。SRA的表达公式如下:
CR部分公式如下:
其中,RBConv表示Conv -> BN -> ReLU。
2.5 损失函数
二进制交叉熵损失(BCE)被广泛用于测量预测和标签之间的差异,这将更多地关注像素级错误,并且不考虑每个像素之间的相关性。 iou丢失通常用于分割任务,旨在优化全局结构。
三、实验
D2C-Net: A Dual-branch, Dual-guidance and Cross-refine Network for Camouflaged Object Detection阅读笔记相关推荐
- EGNet: Edge Guidance Network for Salient Object Detection 论文及代码解读
EGNet: Edge Guidance Network for Salient Object Detection 论文及代码解读 注:本文原创作者为Jia-Xing Zhao, Jiang-Jian ...
- EGNet: Edge Guidance Network for Salient Object Detection
论文主要解决的问题: 全卷积神经网络(FCNs)在突出的目标检测任务中显示出了其优势.然而,大多数现有的基于fcns的方法仍然存在粗糙的对象边界.与基于区域的方法相比,像素级显著目标检测方法具有优势. ...
- pl-sql中select * from dual 这个dual是什么
在Oracle数据库内有一种特殊的表Dual.Dual表是Oracle中的一个实际存在的表,任何用户均可读取,常用在没有目标表的Select中.Dual表由Oracle连同数据字典一同创建,所有的用户 ...
- 《Designing and Training of A Dual CNN for Image Denoising》阅读笔记
一.论文 <Designing and Training of A Dual CNN for Image Denoising> 摘要:摘要-用于图像去噪的深度卷积神经网络(CNN)最近吸引 ...
- Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation 阅读笔记
Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation PyTorch实现:https://g ...
- 论文阅读笔记:DOER: Dual Cross-Shared RNN for Aspect Term-Polarity Co-Extraction
摘要: 本文通过提出Dual crOss-sharEd RNN framework (DOER)模型来在同时解决属性级实体抽取及情感分类任务,这一模型采用两个RNN分别处理两个任务,并采用一个cros ...
- mysql select 1 from dual_pl-sql中select * from dual 这个dual是什么
展开全部 Dual简单的说就是一个空表,Oracle提供的最小62616964757a686964616fe59b9ee7ad9431333366303131的工作表,只有一行一列,具有某些特殊功用. ...
- Multimodal Dual Attention Memory for Video Story Question Answering阅读笔记
本文提出了一种视频故事问答(QA)体系结构MDAM,关键的思想是使用双重注意机制与后期融合.MDAM首先使用self - attention来学习场景帧和字幕中的潜在概念.然后根据给出的问题,使用第二 ...
- Sigcomm‘2020 Annulus: A Dual Congestion Control Loop for Datacenter and WAN Traffic Aggregates论文阅读笔记
文章目录 Introduction Background Annulus Near-Source Control Loop ideal Introduction Annulus这篇文章是麻省理工发表于 ...
- 谣言检测相关论文阅读笔记:DDGCN: Dual Dynamic Graph Convolutional Networks for Rumor Detection on Social Media
来源:AAAI2022 摘要:现有的谣言检测很少同时对消息传播结构和时序信息进行建模,与评论相关的知识信息的动态性也没有涉及.所以本文提出了一个新颖的双动态图卷积网络-DDGCN,该模型能够在一个统一 ...
最新文章
- 【问题收录】Eclipse Type Access restriction问题解决
- Python 之 matplotlib (十)Image
- linux 硬链接 软链接 简介
- 【原创】有关Silverlight中“DataGrid中级联动态绑定父/子ComboBox ”的示例。
- 用python随机画多个圆_Python Pygame随机绘制不重叠的圆圈
- java对象锁与类锁区别
- superset可视化-Force-directed graph(力导引图)
- C# 判断txt文件编码格式
- cpp知识汇总(1) 指针vs引用、static、const
- java redis hash_我爱java系列---【redis中如何存取hash类型的值(key field value)】
- org.apache.commons.lang.StringUtils(StringUtils工具类的常用方法)
- adb devices 找不到夜神模拟器解决方法
- 有道翻译js解密(1)
- 基于OpenCV的计算机视觉入门(3)图像特效
- php 字符串循环替换字符串,php – 替换字符串中的重复字符串
- java案例代码16-java正则表达式的使用
- 惠普m132nw清零方法_惠普132nw硒鼓型号怎么加墨 惠普132硒鼓芯片清零
- Hybrid App基础知识
- 计算机查用户名,怎样查自己电脑用户名_查自己电脑用户名命令
- hnrxgs伸缩器在管道中的作用以及工作原理