ECCV 2018 MemTrack:《Learning Dynamic Memory Networks for Object Tracking》论文笔记

理解出错之处望不吝指正。

本文模型叫做MemTrack。本文的模型是基于相似学习的，主要有两个创新点：①.设计一个动态记忆网络；②.使用门控剩余模板和初始模板，生成最终的匹配模板。模型的整体架构如下：

大致流程

①.对当前帧 $I_t$ ，使用上一帧的预测位置进行剪裁，得到搜索区域 $S_t$ ；

②.对 $S_t$ 进行特征提取，这里特征提取模块使用和SiamFC一样的结构；

③.使用注意力机制，获得输出 $a_t$ ，使LSTM的输入更多的注意object，而不是background；

④.将 $a_t$ 和LSTM的上一个隐层状态 $h_{t-1}$ 一起输入LSTM，得到隐层状态 $h_{t}$ 和记忆库控制信号 $c_{t}$ （包括read key $k_t$ 、read strength $\beta _t$ 、衰减率 $d^r$ 和一些偏置项）；

⑤.使用read key $k_t$ 、read strength $\beta _t$ 获得read weight $w_t^r$ ，再进一步获得剩余模板 $T_t^{retr}$ ；

⑥.对剩余模板 $T_t^{retr}$ 和初始模板 $T_0$ 进行加权累加，得到最终匹配模板 $T_t^{final}$ ；

⑦.使用最终匹配模板 $T_t^{final}$ 与搜索区域 $S_t$ 进行相似度计算，得到当前帧的预测结果，将结果进行剪裁得到 $O_t$ ；

⑧.对 $O_t$ 进行特征提取，得到新的匹配模板 $T_t^{new}$ ，根据一些规则，将其写入动态记忆库。

注意力机制

先对 $S_t$ 进行特征提取，得到 $f(S_t)$ ，使用 $n\times n$ 的池化核对 $f(S_t)$ 进行AvgPooling得到 $f^{*}(S_t)$ ，对 $f^{*}(S_t)$ 分为 $n\times n$ 个patch，第 $i$ 个patch用 $f_{t,i}^*$ 表示，根据下式得到输出 $a_t$ ：

$a_{t}=\sum_{i=1}^{L}\alpha _{t,i}f_{t,i}^*$

其中， $\alpha _{t,i}$ 通过下式计算：

$\alpha _{t,i}=\frac{exp(r_t,i)}{\sum_{k=1}^{L}exp(r_t,k)}$

$r_{t,i}=W^{a}tanh(W^{h}h_{t-1}+W^{f}f_{t,i}^*+b)$

效果如下图：

LSTM控制

如图所示：

Memory Reading

通过下式得到read key $k_t$ 、read strength $\beta _t$ （用于表示read key的置信度）：

$k_{t}=W^{k}h_{t}+b_{k}$

$\beta _t=1+log(1+exp(W^{\beta}h_t+b^\beta ))$

再计算出read weight $w_t^r$ ：

$w_t^r(j)=\frac{exp\left \{ C(k_t,k_{M_t(j)})\beta _t \right \}}{\sum _{j^{'}}exp\left \{ C(k_t,k_{M_t(j^{'})})\beta _t \right \}}$

这里的 $C(x,y)$ 是用于计算余弦相似度的函数。最终得到剩余模板：

$T_t^{retr}=\sum_{j=1}^{N}w_{t}^{r}(j)M_t(j)$

获得最终模板

最终模板可以通过下式得到：

$T_t^{final}=T_0+r_t\odot T_t^{retr}$

其中 $r_t=\sigma(W^rh_t+b^r)$ ，是通过LSTM得到的。

Memory Writing

得到新的匹配模板 $T_t^{new}$ 后，根据以下三条准则，将其写入到动态记忆库中：

①.如果 $T_t^{new}$ 的置信度低（包含大量背景信息），则不进行write；

②.如果 $T_t^{new}$ 和以前帧相比变化不大，则用其替代以前帧；

③.如果 $T_t^{new}$ 和以前帧相比变化较大，则用其覆盖动态记忆库中一个新位置。

文中定义了一个write weight：

$w_t^w=g^w0+g^rw_t^r+g^aw_t^a$

这里的 $0$ 代表零向量， $w_t^r$ 是read weight， $w_t^a$ 是allocation weight（负责指定write的位置）。 $g^w$ 是“写门”， $g^r$ 是“读门”， $g^a$ 是“分配门”，是通过LSTM计算得到的：

$[g^w,g^r,g^a]=softmax(W^gh_t+b^g)$

上式满足 $g^w+g^r+g^a=1$ 。

allocation weight通过下式计算：

$w_t^a(i)=\begin{Bmatrix} 1,if(i=argmin_iw_{t-1}^u(i))\\ 0,if(i\neq argmin_iw_{t-1}^u(i)) \end{Bmatrix}$

其中 $w_t^u=\lambda w_{t-1}^u+w_t^r+w_t^w$ ，用于表示动态记忆库中不同位置的访问频次， $\lambda$ 是衰减因子。

将write weight和擦除因子（erase factor）结合，进行动态记忆库的写入：

$M_{t+1}(i)=M_{t}(i)(1-w_t^w(i)e^w)+w^w_t(i)e^wT_t^{new}$

其中 $e^w=d^rg^r+g^a$ ， $d^r$ 是LSTM得到的衰减率， $d^r=\sigma(W^dh_t+b^d)$ 。

实验

OTB-2015

OTB-2013

VOT-2016

速度

ECCV 2018 MemTrack:《Learning Dynamic Memory Networks for Object Tracking》论文笔记相关推荐

Learning Dynamic Memory Networks for Object Tracking全文翻译
摘要视觉跟踪的模板匹配方法由于其性能相当和速度快而受到欢迎.但是,它们缺乏有效的方法来适应目标对象外观的变化,使得它们的跟踪精度还远未达到-艺术.在本文中,我们提出了一种动态记忆网络,以使模板在 ...
Communication-Efﬁcient Learning of Deep Networks from Decentralized Data 论文笔记
本文出自论文Communication-Efﬁcient Learning of Deep Networks from Decentralized Data,本文提出了一种基于迭代模型平均的深层网 ...
Feature Pyramid Networks for Object Detection 论文笔记
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/Jesse_Mx/article/details/54588085 论文地址:Feature Pyra ...
Learning Dynamic Memory Networks for ObjectTracking(论文翻译)
用于目标跟踪的学习动态记忆网络摘要用于视觉跟踪的模板匹配方法由于其相当的性能和快速的速度而得到了广泛的应用.然而,它们缺乏有效的方法来适应目标对象外观的变化,使得它们的跟踪精度仍然远远达不到最先进 ...
Dynamic Memory Networks DMN+
DMN出自论文Ask Me Anything: Dynamic Memory Networks for Natural Language Processing(2015-06),这个模型用于Quest ...
Distractor-aware Siamese Networks for Visual Object Tracking 论文学习
Distractor aware of Siamese Networks for visual object tracking 论文学习论文阅读总结 Translation Abstract 1 I ...
Fully-Convolutional Siamese Networks for Object Tracking全文翻译
Fully-Convolutional Siamese Networks for Object Tracking 摘要任意对象跟踪的问题传统上通过仅在线学习对象外观的模型来解决,使用视频本身作为 ...
Fully-Convolutional Siamese Networks for Object Tracking（SiamFC 算法学习）
Fully-Convolutional Siamese Networks for Object Tracking(SiamFC 算法学习) 1.摘要传统方法存在的问题:仅在线方法固有地限制了他们可以 ...
Fully-Convolutional Siamese Networks for Object Tracking基于全卷积孪生网络的目标跟踪算法SiameseFC
1.论文相关 Bertinetto, Luca, et al. "Fully-convolutional siamese networks for object tracking." ...

ECCV 2018 MemTrack:《Learning Dynamic Memory Networks for Object Tracking》论文笔记

大致流程

注意力机制

LSTM控制

Memory Reading

获得最终模板

Memory Writing

实验

ECCV 2018 MemTrack:《Learning Dynamic Memory Networks for Object Tracking》论文笔记相关推荐

最新文章

热门文章