SiamFC++与SiamBAN
一 SiamFC++
网络结构及处理流程如下：
注意
- 大多数算法对于分类损失都采用交叉熵损失，而SiamFC++在分类分支中计算cls_score与center-ness score采用了不同的损失函数，cls_score采用focal loss，这样做是为了缓解正负样本不均衡问题；center-ness score则采用交叉熵loss。最终用这两部分对应元素相乘得到的结果是更加合理的分类结果，center_ness的作用就是对每一个正样本位置施加权重，离中心近的权重高，离中心远的权重低使得分类更加合理，增强了鲁棒性。
- 对于feature map映射问题，由于采用改进的Alexnet（no-padding），所以得到的feature map是中心对称的，而feature map上的一个像素的移动对应原图上8个像素移动（网络步长是8），因此只需计算feature map上所有像素在原图所占的区域，然后用原图大小减去映射回去的尺寸大小再除以2得到了offset，这样就确定了每一个点的位置，方便计算，至于映射回去的点是感受野的中心，验证过程如下：
最终的感受野是175，中心是87.5，这与代码中是相对应的。
二 SiamBAN
网络结构及处理流程如下：
注意
- 首先这篇文章的backbone与SiamRPN++是一样的，Resnet50，设置后2层stride为1，conv4 atrous rate=2，conv5 atrous rate=4，并且后续的处理也一致，都对后三层的特征进行融合。
- 不同之处就在于SiamBAN是anchor-free，不需要设置anchor，那么自然正负样本的判别也要改变，在基于anchor-based的方法中，正负样本的判定依据是anchor与GT之间的IOU，若满足一个阈值就判定为正样本；而对于anchor-free，比如SIamFC++中，若feature map上的像素点映射回原图上落在了GT中则判定为正样本；本文创新点就在于对正负样本的判别，如图：
作者提出新的正负样本判别方法，使得划分更加准确，提升了性能；当feature map上的像素映射回原图落在椭圆E2中则判别为正样本，落在椭圆E1之外判为负样本，落在E1和E2之间则忽略。 - 对于feature map映射问题，SiamBAN的映射回原图的计算与SiamFC++的映射计算不同，根据代码得到的第一个映射点为31，计算感受野：
可与看到感受野的大小已经超过了原图，但在计算感受野中心的时候需要注意网络的padding,这是我之前忽略的点，由于Resnet的网络特性，padding是必要的，所以在计算的时候需要考虑全局padding，计算得到的全局padding为206，所以相当于输入尺寸为255+2062=667，最终的1717的feature map也就相当于是在尺寸为667大小的输入上以感受野大小475为kernel，全局stride=8为步长进行卷积运算。与SiamFC++处理方法不同的主要原因还是因为padding的问题。此外在该网络的template分支的neck部分对15×15的feature map进行了crop操作，只取中间7×7的部分，这么做就是为了消除padding的影响。而对于search分支没有这一步，个人理解为：网络从template分支提取特征，而search分支只是用来搜索相应的特征，有padding的地方自然不会存在相应的特征，就不会对结果产生影响，因此也就不需要crop操作。
三 个人想法
对于Siamese网络，目前的方法都是想办法提高分类分支的性能，比如用更深的网络，增加center-ness分支，精细正负样本的划分等，而对于回归分支都是计算映射点与GT四条边之间的offsetm,没有太大改变，思考对于网络更进一步的改进的想法，则还需要更多的积累。
SiamFC++与SiamBAN相关推荐
- SiamFC++ SiamCAR SiamBAN
文章目录 Introduction Related Works SiamFC++ Experiments training phase SiamCAR SiamBAN 这是旷视(Megvii)2020 ...
- Siamese系列文章
说明 在学习目标追踪方面,慢慢读懂论文,记录论文的笔记,同时贴上一些别人写的非常优秀的帖子. 文章目录 说明 综述类型笔记 SiamFC 笔记 SiamRPN 笔记 DaSiamRPN 笔记 Siam ...
- SiamBAN论文学习
SiameseBAN 论文来源 论文背景 主要贡献 论文分析 网络框架 创新点一:Box Adaptive Head 创新点二:Ground-truth 创新点三:Anchor Free 论文流程 训 ...
- 智慧交通day04-特定目标车辆追踪03：siamese在目标跟踪中的应用-SiamFC(2016)
目标追踪任务是指在一个视频中给出第一帧图像的bbox的位置,在后续的帧中追踪该物体的任务. 目标追踪不同于目标检测的是: 1.需要给出首帧的标定框. 2.只需要给出标定框,后续的搜索范围往往在上一帧图 ...
- SiamFC++，90 fps的单目标跟踪SOTA
点击我爱计算机视觉标星,更快获取CVML新技术 本文源自知乎,经作者授权转载. https://zhuanlan.zhihu.com/p/93888180 AAAI 2020的审稿刚刚出炉,本文讨论一 ...
- SiamFC代码配置复现 matlab版本
原创 SiamFC代码配置复现 2019-04-29 22:18:06 ZZXin_ 阅读数 1603更多 分类专栏: 深度学习 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议 ...
- (一)Siamese目标跟踪——SiamFC训练和跟踪过程：从论文细节角度出发
SiamFC 简单介绍 SiamFC基于深度学习的方法在速度上已经超过传统的相关滤波算法,实时性极强.SiamFC基于孪生网络,该网络有两个输入,一个是模板样本Z,另一个搜索样本X.而在单目标跟踪任务 ...
- SiamFC：用于目标跟踪的全卷积孪生网络 fully-convolutional siamese networks for object tracking
原文链接 SiamFC网络 图中z代表的是模板图像,算法中使用的是第一帧的ground truth:x代表的是search region,代表在后面的待跟踪帧中的候选框搜索区域:ϕ代表的是一种特征映射 ...
- SiamFC++笔记
SiamFC++: Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines 文章根据这些思路:引入分 ...
最新文章
- 机器学习入门（14）— 神经网络学习整体流程、误差反向传播代码实现、误差反向传播梯度确认、误差反向传播使用示例
- python中类似对象吗_在Python中，两个对象什么时候相同？ - python
- ML：MLOps系列讲解之《基于ML的软件的三个层次之02 Model： Machine Learning Pipelines——2.5 Different forms of ML workfl》解读
- 江西财经计算机应用杨教授,江西财经大学信息管理学院研究生导师介绍：刘德喜...
- [Python图像处理] 十五.图像的灰度线性变换
- kali linux fuzz工具集简述
- Scala学习笔记（1）-环境搭建
- Ubuntu安装ISE14.7与Vivado2018.2
- ESLint+Prettier+Vetur 统一Vue项目代码风格
- 魏文王问扁鹊的注释_扁鹊见魏文王是怎么回事 魏文王问扁鹊的典故故事
- vs为什么打了断点不断_2019年亚洲羽毛球锦标赛决赛焦点对阵：桃田贤斗VS石宇奇 松本麻佑/永原和可那VS陈清晨/贾一凡 山口茜VS何冰娇...
- Cuda: Handle Conflicting Installation Methods
- 计算机丢失CH375DLL怎么办,修复ch375dll.dll
- 原始设备制造商OEM简介
- 金山免费词霸：谷歌金山词霸2.0
- 安卓端gis_基于Android的移动GIS系统的应用与实现
- LinuxC进程编程
- [IC笔试题] FIFO深度计算
- [xueqi]总结多种微信pc多开技巧xueqi
- Python爬虫之Scrapy库的下载和安装