论文笔记 SiamMask : Fast Online Object Tracking and Segmentation: A Unifying Approach
论文连接：[1812.05050] Fast Online Object Tracking and Segmentation: A Unifying Approach
论文连接：[1812.05050] Fast Online Object Tracking and Segmentation: A Unifying Approach (arxiv.org)
代码连接 : foolwood/SiamMask: [CVPR2019] Fast Online Object Tracking and Segmentation: A Unifying Approach (github.com)
1. 前言
最开始我是看到近期用Transformer刷榜的一篇视觉目标跟踪文章 STARK ： Learning Spatio-Temporal Transformer for Visual Tracking ，里面的模型在输出分支用了一个叫AR的模块，AR模块用来输出预测掩码。然后又去看 Alpha-Refifine : Boosting Tracking Performance by Precise Bounding Box Estimation 这篇论文，这篇论文是讲细化包围框的方法，先把粗略定位的包围框扩大两倍，然后用多个预测分支（比如 Box 分支或者 CoenerNet 的分支来预测包围框，用 Mark 分支来预测掩码），最后比较多个分支，采用最好的输出结果。其中的 Mark 分支又源于 SiamMask 这篇文章。当然SiamMask 从取名就可以看出继承自 Sharp Mask 和 DeepMask 论文，再往前就远离深度学习了。SiamMask 的命名组成是 Siam (目标跟踪领域比较流行的Siam孪生网络，本论文借鉴了 SiamFC 和 SiamRPN ）和Mask（Sharp Mask 和 DeepMask 论文，Sharp Mas k起源于早期用前馈神经网路（全连接层）的简单模型 DeepMask ，结合了 ResNet 残差网络的跳层连接和FPN特征金字塔的多尺度特征融合的思想）。学术界就是这样薪火相传，从前人的成果里改造出自己的成果。（技巧A+B+C=ours，用了别人的方法说得委婉模糊，顺便改一下名称与描述，最好再小改一下别人的方法。显卡多就疯狂跑实验对比，论文就出来了。）
论文发表在 CVPR2019 。引言和相关工作部分吐槽了现有的半监督视频目标分割（VOS）方法运行速度很慢，往往要数秒甚至数十秒来处理一帧图像。现代目标跟踪方法则基本是生成简单的轴对称矩形框来表示目标对象，但是矩形框的表示方式不够精准。想象一下，矩形框更多考虑整体而忽略边缘细节，可能会过大或者过小，而用分割掩码的方式再外接一个最小的矩形框那就能够避免这样的误差，当然这也建立在分割掩码的准确性基础上。
2. 方法
本文网络的整体结构
2.1 结构左半部分
前半部分参照Siam孪生网络结构， 为共享权值的ResNet，也就是上面小图的目标模板和下面大图的整个搜索区域都放进同一个特征提取网络。原文中
用的是RseNet的前四阶段，并且在第四阶段的第一层卷积中使用了膨胀率为2的空洞卷积核，既从3*3卷积核变成7*7，并将stride步距设成1，导致了第四阶段并不会对特征图进行降分辨率。*d操作是深度互相关（depth-wise cross-correlated），出自于SiamRPN，等于将15*15当做卷积核去和31*31计算卷积，但是并不将所有通道结果相加。最后得出文章称为候选窗口相应图的RoW。
2.2 结构右半部分
再看右半部分，文章设置了三分支和二分支的模型，模型各自的总损失函数为各自分支损失的总和。三分支模型包含mask分支以及取自 SiamRPN 的 box 和 score 分支。box 分支由 RoW 经过卷积层得到 4K 通道的响应图，即k个锚框各自的 x，y，w，h 偏置量，score 分支输出 2k 通道响应图则是k个锚框的前景和背景的置信度，两个分支分别使用 smooth L1 损失和交叉熵损失。该模型的box分支用来充当传统锚框算法的代表，去和本文提出的先进算法进行比较。另一个是二分支模型，score 得出的是 17*17 范围的蓝色柱子（RoW）包含目标的置信程度，单个像素点的损失函数同 SiamFC 的 logistic 损失，并对图的所有点的损失计算平均。
2.3 Mask分支
二分支和三分支模型的mask分支取借鉴了 DeepMask，从互相关的结果中抽出一根根蓝色的 256 通道 RoW 经过两层全连接层，得出一根根（63*63）通道的 RoW，每一根柱子展开成为63*63的响应图，代表着目标模板和搜索区域的某个位置的重合程度或者相似程度的分值，然后通过上采样扩大分辨率得到一张 mask 图。
二分支模型整体结构
文章附录还提到了一种堆叠细化的 mask 分支模型，方法与 Sharpmask 相同，本文也没有详细描述。主要是将每根 RoW 反卷积成 15*15 的特征图，与隔壁的目标模板的中间层输出结果进行堆叠，再上采样，再堆叠。这个思想是借鉴了特征金字塔结构，整合高底层多种分辨率的信息。细节如下图所示：
mask 分支的损失函数如下，n 是 RoW 的序号，是判断该RoW是否为背景，是背景为 -1 则不需要考虑损失，c 是真实标注， m 是第 n 个 RoW 预测的 mask ，ij 是图上像素的坐标（即考虑图片上所有 mask 的像素）。
mask分支在不同RoW上的Score maps
Target 是小的目标模板，Search 是搜索区域，上图 7*7 个 RoW 本质上是用 Target 特征在 Search 特征图上 7*7 个位置去匹配。仔细看右边热力图，不同位置的塑料袋在小框中的位置是否有些不同。Score 分支将取最高得分的mask然后投影回原图的位置中去。
2.4 mask生成包围框
本文的核心在于使用mask来生成可旋转的包围框。文章提出了三种生成包围框方式，第一种是 Min-max 即不旋转的最小外接矩形框的方式，第二种是旋转的最小外接矩形框 MBR ，第三种是 VOT-2016 [26] 中提出的自动边界框生成的优化策略 Opt 。SiamMask 即为三分支模型加MBR策略。
3. 实验结果
SiamMask 模型在目标跟踪上各种提升，但是使用 Opt 策略生成包围框速度严重下降。在视频分割任务上具有降维打击的速度优势。
4. 总结
本文的创新点在于将 Siam 孪生网络互相关后的特征图添加 mask 分支，互相关后的特征图天然包含了目标模板与搜索区域的匹配信息，也就意味着能够从中提取重合区域的信息。只经过简单的全连接调整，就提取出来。大大地缩小了以往视频分割所需地每帧时间。
从个人感觉来说，但是在互相关特征图后添加 mask 分支做法比较简单，有优化空间。目标模板取自第一帧并且是不变的，而视频随着时长目标会发生各种变形，用在视频跟踪来粗略地匹配目标尚且可用，但是对于精细的目标分割任务会出现较大的误差，且随着时间增加而越发失效。
结尾：本文看得零零碎碎的，如发现有误敬请指出。第一次写论文笔记，文笔杂乱，望多见谅。
论文笔记 SiamMask : Fast Online Object Tracking and Segmentation: A Unifying Approach相关推荐
- 《Fast Online Object Tracking and Segmentation: A Unifying Approach》
目录 摘要 介绍 相关工作 本文的方法 3.1 Fully-convolutional Siamese networks 3.2 SiamMask 3.3 Implementation details ...
- Fast Online Object Tracking and Segmentation: A Unifying Approach
项目地址:https://github.com/foolwood/SiamMask 论文地址:https://arxiv.org/abs/1812.05050 主页地址:http://www.robo ...
- 《SiamMask：Fast Online Object Tracking and Segmentation：A Unifying Approach》论文笔记
参考代码:SiamMask 1. 概述 导读:这篇文章在基于孪生网络的目标跟踪算法离线训练的过程中嵌入一个mask分割分支,从而可到一个既可以做VOT也可以做VOS(分割性能这块可以还有很大空间)的网 ...
- 论文笔记-DynaSLAM II: Tightly-Coupled Multi-Object Tracking and SLAM
I.Introduction 关于动态SLAM,在这个部分,论文总结了现有三种方案思路: 检测动态的区域,然后把他们从SLAM环节中去除 在定位的环节外,把包含动态内容的现实图片中翻译成只有静态内容的 ...
- 论文笔记Understanding and Diagnosing Visual Tracking Systems
最近在看目标跟踪方面的论文,看到王乃岩博士发的一篇分析跟踪系统的文章,将目标跟踪系统拆分为多个独立的部分进行分析,比较各个部分的效果.本文主要对该论文的重点的一个大致翻译,刚入门,水平有限,如有理解错 ...
- 【论文笔记】Segmenting Transparent Object in the Wild with Transformer
声明 不定期更新自己精读的论文,通俗易懂,初级小白也可以理解 涉及范围:深度学习方向,包括 CV.NLP.Data fusion.Digital Twin 论文标题: Segmenting Trans ...
- 论文笔记（七）ISOINTENSE INFANT BRAIN SEGMENTATION WITH A HYPER-DENSE CONNECTED CNNs
论文地址:ISOINTENSE INFANT BRAIN SEGMENTATION WITH A HYPER-DENSE CONNECTED CNNs 摘要 提出超密集连接的3D卷积神经网络,该网络使 ...
- 【论文笔记】Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting
文献来源 Luo W , Yang B , Urtasun R . Fast and Furious: Real Time End-to-End 3D Detection, Tracking and ...
- fasterrcnn论文_论文笔记：Fast(er) RCNN
在 RCNN 初步试水取得成功后,研究人员又迅速跟进,针对 RCNN 中的几点不足提出改进,接连推出了 fast-rcnn 和 faster-rcnn.关于这两篇论文,网上相关的文章实在是多如牛毛,因 ...
最新文章
- error C4996: 'fopen': This function or variable may be unsafe. Consider using fopen_s instead. 的解决方法
- 一键摸鱼神器火了！专为Windows系统打造，老板在身后也可以很淡定
- ETOPS:双发飞机延伸航程运行
- R语言data.table导入数据实战:data.table使用字符向量创建新的数据列
- 深入理解阿里分布式消息中间件
- Python的基本运算符
- 【第三组】用例+功能说明+技术说明
- python【蓝桥杯vip练习题库】ADV-297快速排序
- mybatis动态sql中where标签的使用
- su一键封面插件_插件分享丨一键制作SU爆炸分析图插件分享
- hdu 3018 Ant Trip
- RHEL/CentOS 7中安装并配置 PowerDNS 和 PowerAdmin
- EMQ MQTT云服务器搭建 - 阿里云轻量应用服务器
- PHP第三方登录—OAuth2.0协议
- react实现聊天界面_React-Redux 100行代码简易版探究原理
- C# 中属性PropertyInfo的setvalue用法说明
- linux 查看tps命令,Linux系统一些系统查看指令
- 五边形顶点坐标_足球顶点坐标的计算
- uniapp 微信小程序授权获取手机并绑定登录
- uni保存canvas图片_UniApp 用canvas生成图片保存本地