1.介绍

本文是针对video transformer进行自监督训练，从一个给定的视频中，创建具有不同空间大小和帧率的局部和全局时空视图，自监督的目标是寻找相同视频的不同视图特征之间的匹配。 Self-supervised Video Transformer（SVT），使用相似性目标训练师生模型，该目标通过时空注意力匹配沿时空维度的表示。

本文贡献如下：

提出一种新的自监督训练方式，利用全局和局部时空视图之间的时空关系来进行自监督训练。
SVT中的自监督是通过联合motion和crossview的关系进行学习。通过学习motion关系（全局到全局时空视图匹配）和crossview关系（局部到全局时空视图匹配）来建模上下文信息。
模型的一个特性是可以进行slow-fast训练，使用动态位置编码处理可变帧率的输入。

2.SVT

此部分介绍SVT的自监督训练方法，和以往的对比学习不同，此方法从同一视频中获得不同时空特征的片段进行的。避免了负样本挖掘和记忆存储库。具体是通过损失函数使得两个不同的片段之间学习，使用师生网络，让教师网络作为学生网络的学习目标，使得学生网络学习到突出特征。

2.1 SVT结构

给定一个视频 X = {x_t}^N_t=1 ，N为视频的帧数，从其中采样得到视频片段，H，W，T分别为视频的高，宽，时间维度。以此种方法从中采样，生成两种类型的片段，global（g）和 local（l）的时空视图。g和l 都是X的子集，
g = {x’_t}^Kg_t=1 ,l = {x’_t}^Kl_t=1 , |K_l| ≤ |K_g|。

对于global view，从原始视频沿时间轴的90%中采样，得到两个global view ，g1和g2，分别对应低帧率（T=8）和高帧率（T=16），空间维度为224 * 224。
对于local view，从原始视频沿时间轴的12.5%和空间范围40%中采样，得到八个local view，（l₁，…，l₈），他们的空间维度固定为96*96，时间T∈{2，4，8，16}。

SVT包含12个encoder模块，所有采样得到的视频片段（C * T * H * W）都要经过这些模块。在transformer中，训练阶段会把H=W=224,T=16的片段分割为很多patch，224 * 224的一帧会被分割为14 * 14个大小为 16 * 16的patch，因此就是得到空间196，时间16的token，最后每个token嵌入后就是768维的向量。在SVT的末尾使用MLP，最后的输出为 f .

2.2 自监督训练

通过在师生模型的特征空间中预测具有不同时空特征的不同视频片段，以自我监督的方式训练SVT。使用简单的路由策略，在师生模型随机选择传递不同的视图。教师模型处理一个global view ，产生一个特征向量 f_gt ，学生模型处理global view 和 local view ，得到 f_gs 和 f_lsⁱ (i=1,…,8) 。通过反向传播更新学生模型的参数，教师模型的更新为学生模型的指数移动平均线（EMA）。

Motion Correspondences

视频的一个特征是帧率。改变帧率可以改变视频的动作上下文（例如，缓慢行走和快速行走），同时控制微妙的动作。预测在高帧率下捕获的细微运动将迫使模型从低帧率输入中学习与运动相关的上下文信息。
对于两个global view ，g1 (T = 8) and g2 (T = 16) ，得到了两个特征向量 f_gt⁽¹⁾ ， f_gt⁽²⁾ 。这两个global view 同样经过学生模型得到f_gs⁽¹⁾ ， f_gs⁽²⁾ ，学生模型得到的要和教师模型得到的求loss。同样地，local view经过学生模型得到f_ls⁽¹⁾ ，…， f_ls⁽⁸⁾ ，全部与教师模型得到的 f_gt⁽¹⁾ ， f_gt⁽²⁾ 求loss。

Cross-View Correspondences

通过学习Cross-View Correspondences(CVC)来模拟跨时空变化的关系。将学生模型得到的 f_lsⁱ (i=1,…,8) 与教师模型(f_gt)处理的全局时空视图表示进行匹配，来学习CVC。

2.3 SVT loss

上面已经说过了，将学生模型的输出与教师模型的输出求loss。通过全局到全局视图来学习运动，而局部到全局视图来学习交叉视图对应。

L_lg是local view和global view的loss， L_gg是global view和global view的loss 。

原本的输出 f 要经过一个softmax，f˜∈ Rⁿ 。

Self-supervised Video Transformer 阅读相关推荐

论文阅读 (86)：Normality Guided Multiple Instance Learning for Weakly Supervised Video Anomaly Detection
文章目录 1 引入 1.1 题目 1.2 摘要 1.3 引用 2 方法 2.1 背景和动机 2.2 正态导向微调模块 2.2.1 正态更新 2.2.2 异常预测微调 2.3 学习目标 2.3.1 正态 ...
Weakly Supervised Video Salient Object Detection
Weakly Supervised Video Salient Object Detection 摘要 1. Introduction 2. Related Work 3. Our Method 3. ...
Facebook AI牛津提出带“轨迹注意力”的Video Transformer，在视频动作识别任务中性能SOTA！...
关注公众号,发现CV技术之美 ▊ 写在前面在视频Transformer中,时间维度通常与两个空间维度(W和H)的处理方式相同.然而,在对象或摄影机可以移动的场景中,在第t帧中的一个位置处的物体可能与 ...
论文Is Space-Time Attention All You Need for Video Understanding?阅读笔记
目录写在前面: 1.Introduction 2.TimeSformer model 2.1Joint Space-Time 2.2Divided Space-Time 2.3Other mode ...
MOTR: End-to-End Multiple-Object Tracking with TRansformer阅读笔记
MOTR阅读笔记 (一) Title (二) Summary (三) Research Object (四) Problem Statement (五) Method 5.1 构建MOTR的一些相关介 ...
【NLP】完全解析！Bert Transformer 阅读理解源码详解
接上一篇: 你所不知道的 Transformer! 超详细的 Bert 文本分类源码解读 | 附源码中文情感分类单标签参考论文: https://arxiv.org/abs/1706.03762 ...
T5: Text-to-Text Transfer Transformer 阅读笔记
作者:徐啸知乎专栏:自然语言处理学习之旅 https://zhuanlan.zhihu.com/p/89719631 写在前面谷歌用一篇诚意满满(财大气粗)的基于实验的综述,试图帮助研究者们「拨开 ...
Multi-Stage Feature Fusion Network for Video Super-Resolution阅读笔记
Multi-Stage Feature Fusion Network for Video Super-Resolution 用于视频超分辨率的多级特征融合网络论文:Multi-Stage Featu ...
[Video Transformer] UniFormer：Unified Transformer for Efficient Spatial-Temporal Representation Lear
UniFormer:Unified Transformer for Efficient Spatial-Temporal Representation Learning https://arxiv.o ...

Self-supervised Video Transformer 阅读

目录