SiamRPN++简述

因为项目和方向的改变，现在记录一下以前写过的一些论文阅读报告

本文贡献

本文贡献主要主要四方面：
1.对孪生跟踪器进行了深入的分析，并证明在使用深网络时，精度的降低是由于绝对平移不变性的破坏。
2.提出了一种简单而有效的采样策略，以打破空间不变性限制，成功地训练了基于Resnet架构的孪生跟踪器。
3.提出了一种基于层次的互相关操作特征聚集结构，该结构有助于跟踪器根据多层次学习的特征预测相似度图。
4.提出了一个深度可分离的相关结构来增强互相关，从而产生与不同语义相关的多重相似度图。

本文工作

首先对孪生追踪网络进行了深入的分析。认为阻止使用深度网络的暹罗跟踪器的主要原因与两个方面有关：具体而言，原因之一是深层网络中的padding会破坏严格的转换不变性；另一个是RPN需要非对称特征进行分类和回归。作者认为padding会导致spatial bias，为了证明这个结论，作者进行了偏移实验。

图1表示，当没有偏移时，边界区域的概率为0，增加偏移到32的时候，分布更加均匀，为了避免对物体产生强烈的中心偏差，通过空间感知采样策略，使用ResNet-50主干训练SiamRPN,在VOT2018上实验，得到结果如下：

结果表明随机偏移64个像素时，它的效果最好，这可能是因为增加随机扰动能够更接近目标的位置分布。

主要的实验是在ResNet-50上做的。现代化网络一般都是stride32，但跟踪为了定位的准确性，一般stride都比较小（Siamese系列一般都为8），所以把ResNet最后两个block的stride去掉了，同时增加了dilated convolution，一是为了增加感受野，二是为了能利用到预训练参数。论文中提到的MobileNet等现代化网络也是进行了这样的改动。如上图所示，改过之后，后面三个block就一致了。

在孪生网络中，存在不同的Cross Correlation，例如SiamFC使用的Cross Correlation如上图a所示，SiamRPN使用的Cross Correlation如上图b所示，本文使用的Cross Correlation如上图c所示。
作者分析发现在RPN中，上述Cross Correlation方式约有20M参数，但是特征提取器中大概只有4M参数，这会导致参数分布不平衡，从而导致SiamRPN很难优化。
为了解决这种分布不平衡，作者提出Depth-wise Cross Correlation。它按照通道卷积，大幅减少参数，提高算法速度。
通过这种方式会使某一类别由特定的通道输出，而其余的通道会受到抑制

实验部分

（1）消融实验

1）网络方面，从AlexNet换成了ResNet50以后，我们发现只有conv4的时候就取得了非常好的效果。虽然conv3和conv5效果没有那么好，但由于鲁棒性的提升，使得后续的提升变得有可能。同时对BackBone进行finetune也能带来接近两个点的提升。
2）多支融合，可以从图中看出，同时使用三支的效果明显比单支的要高，VOT上比最好的conv4还要高4个多点。
3）correlation方式，从表中也可以看出，无论是AlexNet还是ResNet，装备了新的correlation方式以后，都有接近两个点提升。
同时，还用了不同的backbone验证了top1 acc和OTB性能的曲线，也证明了算法能够随着backbone的提升而提升。

（2）与最新技术的比较
1)VOT2018
在VOT2018上与10种最新方法对比，采用预期平均重叠（EAO），准确性（A）和鲁棒性（R）以及基于无重置的平均重叠（AO）来比较不同的FPS

2)OTB-2015

这是Siam跟踪器首次获得与OTB2015数据集上最新跟踪器相当的性能

3）VOT2018 Long-term Dataset.

在最新的VOT2018挑战赛中，新引入了一项长期实验。它由35个长序列组成，目标可能会长时间离开视野或被完全遮挡。绩效指标是精度，召回率和综合F分数。报告了所有这些指标，并与VOT2018-LT上的最新跟踪器进行了比较
4）UAV123 Dataset

包括123个序列，平均序列长度915帧，添加了ECO、ECO-HC、DaSiamRPN、SianRPN进行比较
5）LaSOT Dataset

为了在更大，更具挑战性的数据集上进一步验证所提出的框架，在LaSOT上进行了实验，数据集提供了大规模，高质量的密集注释，该注释总共包含1,400个视频，而测试集中包含280个视频。
6）TrackingNet Dataset

TrackingNet提供了大量数据以评估野外的跟踪器。

总结

本文是在SiamRPN和DaSiamRPN的基础上做的，提出了一个称为SiamRPN ++的统一框架，以端到端训练深度的Siamese网络（孪生网络）进行视觉跟踪。通过引入空间感知采样策略(随机偏移)缓解平移不变性问题，增加网络深度，提升算法效果。网络由一个多层聚合模块和一个深度相关层组成，该模块将连接的层次结构组装在一起以聚合不同级别的表示形式，而深度相关层则使网络减少了计算成本和冗余参数，同时还带来了更好的收敛性。使用SiamRPN ++，在VOT2018上实时获得了最新的结果，显示了SiamRPN++的有效性。SiamRPN ++还在LaSOT和TrackingNet等大型数据集上获得了最新的结果，显示了其可推广性，这些数据集在以后实验时候或许也能使用。

SiamRPN++简述相关推荐

简述计算机科学的核心内容,北京大学-计算机科学与技术(2018秋)作业及复习
59.(第十章)外排序是指在排序前后,数据在外存上,排序时数据调入内存进行的排序方法. 60.(第十章)在选择排序.冒泡排序.归并排序中, 归并排序是空间复杂度最大的. 三.简答和程序题(共10题,每 ...
设计模式学习1：设计模式简述和设计模式原则
设计模式简述什么是设计模式? 软件工程中,设计模式(design pattern)是对软件设计中普遍存在(反复出现)的各种问题,所提出的解决方案. 设计模式的目的: 代码高可用(相同作用的代码能重复 ...
Java中常见的锁简述
在Java的应用中,或多或少的都会接触到一些锁,那么问题就来了,在Java中,常见的锁有哪些,都有什么样的作用?? 这里给大家简单的简述一下这些学常见的锁. 本文件所涉及到的锁: 1.公平锁 / 非公 ...
简述DataInputStream和DataOuputStream
2019独角兽企业重金招聘Python工程师标准>>> Java开发中经常会用到IO流,那么就会碰到DataInputStream和DataOuputStream这两个包装类.下面就 ...
简要叙述matlab的含义,1，简述MATLAB组成部分？ 2，说明使用M文件编辑/调试器的方法和优点？ 3，存储在工作空间中的数组能编辑吗...
匿名用户 1级 2012-05-17 回答我也考这个....祝你好运 1,简述MATLAB组成部分? (1)开发环境(development Environment); (2)MATLAB数学函数库 ...
简述Linux和Windows下Python搭建步骤
简述就Windows和Linux环境下安装Python的步骤. Python环境搭建首先到官网(www.python.org)下载相应的安装版本.主要分为Windows和Linux两种: 一.Linu ...
简述 OAuth 2.0 的运作流程
本文将以用户使用 github 登录网站留言为例,简述 OAuth 2.0 的运作流程. 假如我有一个网站,你是我网站上的访客,看了文章想留言表示「朕已阅」,留言时发现有这个网站的帐号才能够留言,此时 ...
简述机器指令与微指令之间的关系_自考《计算机组成原理》模拟试题（一）
一.单项选择题(本大题共 25小题,每小题1分,共25分)在每小题列出的四个选项中只有一个选项是符合题目要求的,请将正确选项前的字母填在题后的括号内. 1.-0的8位二进制补码是( ) A.10000 ...
OpenCV 4.5发布！更强的SIFT，OCR，RANSAC算法，新增目标跟踪网络SiamRPN++
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 OpenCV 4.5版本发布了! 详情:https://github.com/opencv/openc ...
day1简述、输入输出、运算符、条件语句、文件读写、三元运算
文章目录 1.Python 简述 2.变量 3.输入输出 4.数据运算 5. 条件语句 if..else.elif 循环语句 for.while 6.文件读写 7.三元运算 1.Python 简述 ...

SiamRPN++简述

本文贡献

本文工作

实验部分

总结

SiamRPN++简述相关推荐

最新文章

热门文章