Shifting More Attention to Video Salient Object Detection

文章目录

Shifting More Attention to Video Salient Object Detection
- 主要改进
- - 数据集层面
  - 模型层面
- 实验设置
- - 实验比较
- 相关链接

原始文章：https://www.yuque.com/lart/papers/vrkwzi
好久没有更新了，今天看了下这篇文章。这篇文章主要提出了一个大规模的视频显著性目标检测数据集Densely Annotated VSOD (DAVSOD)。另外也针对视频显著性目标检测的现有研究中的几个关键问题进行了分析。

主要改进

数据集层面

现有的视频显著性目标检测数据集没有考虑选择性注意和注意力转移这两个重要的动态注意特性，它们的标注过程大多没有考虑动态的人眼注视点数据，而是将视频拆成单独的静态帧来分别标注，并不能揭露人在观察期间真实的注意行为。
现有数据集数据量太少，且没有充足且精细的逐帧标记，这对于对数据严重依赖的深度学习模型而言，还是不够的。
另外现有数据集提供的标注类型单一，而新提出的数据集包含丰富的注释，包括显著性偏移、目标/实例级别的mask标注、显著性目标数量、场景/目标类别和相机/目标移动状态，对于后续的更加贴近于真实动态场景的研究提供了巨大的帮助。

模型层面

完整模型架构

显著性转移感知模块流程

显著性转移感知注意网络F__A

总体损失函数

显式训练与隐式训练对比

针对注意力转移这一重要特定使用显著性转移感知模块来进行充分的学习。通过对附加ASPP的ResNet50提取得到的静态显著性特征，使用显著性转移感知模块（卷积LSTM+显著性转移感知注意机制）来进行结合，从而考虑时序变化和显著性转移来得到相应的结果。
显著性转移感知注意机制主要过程如前式（2）所示，这里的Xt表示t时刻的静态特征（来自ASPP），可以看到，这里的“显著性转移感知注意”考虑了t时刻和之前的所有时刻的特征，这里的关键组件是其中的显著性转移感知注意网络F，这里再F之后又引入了一个小的卷积LSTM来进一步模拟注意力转移，这里如式（3）所示。
针对是否有人眼注释标注数据将训练模式分为显示和隐式训练模式。通过使用一个指示函数l(⋅)l(\cdot)l(⋅)（存在人眼注释数据，值为1，反之为0）来构建损失。损失函数如式（4）所示。所以，如果不存在人眼注释数据，则这里的F以隐式模式训练，存在的时候，则为显式训练（显式训练与隐式训练对比可见表（5）），借助于LSTM结构，F可以将VSOD模型的注意力转移到重要的对象上。另外，这里的Latt和Lvsod都是交叉熵损失函数。

实验设置

ResNet-50，最后两个阶段的不进行下采样，所以总体下采样8倍。
输入473473，下采样最后输出为6060*2048。
ASPP结构：一个残差连接+四个扩张卷积分支（d=2，4，8，16）。
训练数据：和[Pyramid dilated deeper convLSTM for video salient object detection]保持一致，但没有使用MSRA-10k，另外，进一步利用DAVSOD的验证集来显式训练显著性转移感知注意模块。

实验比较

显著性目标检测之Shifting More Attention to Video Salient Object Detection相关推荐

分析显著性目标检测--Global Context-Aware Progressive Aggregation Network for Salient Object Detection
分析显著性目标检测--Global Context-Aware Progressive Aggregation Network for Salient Object Detection 引入方法网 ...
Shifting More Attention to Video Salient Object Detection （CVPR 2019）
Shifting More Attention to Video Salient Object Detection 现实生活中缺少一个完善的高质量标注的视频显著性目标检测(video salient ...
【图像分割】MGA：Motion Guided Attention for Video Salient Object Detection
文章: Motion Guided Attention for Video Salient Object Detection 代码:https://github.com/lhaof/Motion-Gu ...
Motion Guided Attention for Video Salient Object Detection论文详读
abstract 视频显著目标检测的主要目的是检测出视频中视觉上最突出.最独特的目标,现有的方法没有获取和使用视频中的运动线索,或忽略了光流图像中的空间上下文. 本文的方法使用两个子网络分别实现两个子 ...
视频显著性检测----《Flow Guided Recurrent Neural Encoder for Video Salient Object Detection》
本文将重点与大家探讨和分享发表于CVPR2018上的视频显著性检测文章–<Flow Guided Recurrent Neural Encoder for Video Salient Objec ...
基于dota的目标检测（旋转框）论文阅读Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors
基于dota的目标检测(旋转框)|论文阅读Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors 文章目录 ...
对抗学习用于目标检测--A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection
A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection CVPR 2017 Caffe code : http ...
三维目标检测论文：Deep Hough Voting for 3D Object Detection in Point Clouds
3D目标检测框架VoteNet Charles R. Qi,Or Litany,何恺明,Leonidas J. Guibas等当前主流的3D目标检测方法,很大层度上受2D检测器的影响.充分利用2D检 ...
[目标检测知识蒸馏3] [AAAI22] Knowledge Distillation for Object Detection via Rank Mimicking and Prediction
[AAAI22] Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Featur ...

显著性目标检测之Shifting More Attention to Video Salient Object Detection

Shifting More Attention to Video Salient Object Detection

文章目录

主要改进

数据集层面

模型层面

实验设置

实验比较

相关链接

显著性目标检测之Shifting More Attention to Video Salient Object Detection相关推荐

最新文章

热门文章