文章：Two-Stream Convolutional Networks for Action Recognition in Videos(NIPS2014)

链接：https://arxiv.org/abs/1406.2199

虽然在2013年就在人类行为识别的一篇文章中提出了3D卷积的内容，但效果并不好，直到这篇文章出来以后才意味着深度学习在行为识别中迈出了重大的一步。

主要贡献点：

1、首先，我们提出了一种融合时空网络的双流convnet体系结构。

2、第二，我们证明了在多帧密集光流上训练的convnet的方法，即使在训练数据有限的情况下仍能获得很好的性能。

3、最后，将多任务学习应用于两种不同的动作分类数据集，可以增加训练数据量，提高训练数据的性能。

介绍：所谓two-stream是指空间stream和时间stream，视频可以分成空间与时间两个部分，空间部分指独立帧的表面信息，关于物体、场景等；而时间部分信息指帧间的光流，携带着帧之间的运动信息。相应的，所提出的网络结构由两个深度网络组成，分别处理时间与空间的维度。结构如下图所示：

上层的Spatio Stream Convet处理静态的帧画面，输入是单个帧画面，得到画面中物体的特征，还可以使用ImageNet challenge数据集种有标注的图像数据进行预训练。temporal stream convet则是通过多帧画面的光流位移来获取画面中物体的运动信息，其输入由多个连续帧之间的光流位移场叠加而成，这种输入显式地描述了视频帧之间的运动，这使得识别更加容易，因为网络不需要隐式地估计运动。两个不同的stream都通过CNN实现，最后进行信息融合。

那么什么是光流(Optical flow)？

optical flow是由一些位移矢量场（displacement vector fields）（每个矢量用dt表示)组成的，其中dt是一个向量，表示第t帧的displacement vector，是通过第t和第t+1帧图像得到的。dt包含水平部分dtx和竖直部分dty，可以看下图中的（d）和（e）。因此如果一个video有L帧，那么一共可以得到2L个channel的optical flow，然后才能作为Figure1中temporal stream convnet网络的输入。

上图中的（a）和（b）表示连续的两帧图像，（c）表示一个optical flow，（d）和（e）分别表示一个displacement vector field的水平和竖直两部分。

所以如果假设一个video的宽和高分别是w和h，那么Figure1中temporal stream convnet的输入维度应该是下面这样的。其中τ表示任意的一帧。

其中，文章实验了多种多帧画面的光流位移的输入，有：

1、 光流栈（Optical flow stacking）

光流栈(Optical flow stacking)，或者叫做光流的简单叠加。简单的来说就是计算每两帧之间的光流，然后简单的stacking。式子1列出了分别得到水平和竖直方向的Iτ的计算公式，其中（u，v）表示任意一个点的坐标。因此 Iτ(u,v,c) 存的就是(u,v)这个位置的displacement vector。

2、轨迹叠加(Trajectory stacking)：在基于轨迹的描述符[29]的启发下，另一种运动表示法将在多个帧的相同位置采样的光流替换为沿运动轨迹采样的流。

顾名思义，轨迹叠加就是假设第一帧的某个像素点，我们可以通过光流来追踪它在视频中的轨迹，即用来描述一个对应特征点连续的光流变化。

3、双向光流：

4、减去平均光流：

以上的4种方法是Temporal Stream的输入讨论。

multi-task learning来克服数据量不足的问题。其实就是CNN的最后一层连到多个softmax的层上，对应不同的数据集，这样就可以在多个数据集上进行multi-task learning。spatial stream convnet因为输入是静态的图像，因此其预训练模型容易得到（一般采用在ImageNet数据集上的预训练模型），但是temporal stream convnet的预训练模型就需要在视频数据集上训练得到，但是目前能用的视频数据集规模还比较小（主要指的是UCF-101和HMDB-51这两个数据集，训练集数量分别是9.5K和3.7K个video）。因此作者采用multi-task的方式来解决。怎么做呢？首先原来的网络（temporal stream convnet）在全连接层后只有一个softmax层，现在要变成两个softmax层，一个用来计算HDMB-51数据集的分类输出，另一个用来计算UCF-101数据集的分类输出，这就是两个task。这两条支路有各自的loss，最后回传loss的时候采用的是两条支路loss的和。

可以看到，每个深度网络都会输出一个softmax层，最后会通过一种方法把两个softmax层的输出融合：一种是平均层，一种是训练一个以这些softmax输出作为特征的SVM。

参考链接：流浪者：[行为识别] Two –Stream CNN for Action Recognition in Videos

https://blog.csdn.net/u014380165/article/details/78756459