视频人员行为识别（Action Recognition）

一. 提出背景

目标：给定一段视频，通过分析，得到里面人员的动作行为。

问题：可以定义为一个分类问题，通过对预定的样本进行分类训练，解决一个输入视频的多分类问题。

这里提出的问题是简单的图片（视频）分类问题，该问题的前提条件是：场景目标为单人，并且占据图片比较大的比例，如下图所示：

还有一类问题是基于行人检测，去估计行人的姿态和动作，暂时不在本篇讨论范围内。

二. 行为识别的发展

和其他领域一样，我们还是先从未被深度学习攻占的传统方法讲起，我们标记的里程碑算法是 iDT。

论文：Action Recognition with Improved Trajectories

iDT 方法是基于 DT（Dense Trajectories）方法，第一印象可以理解为稠密光流的轨迹。

如图所示，我们将算法描述为以下步骤：

1）在原始图像多尺度上进行密集特征点采样，采样间隔为W（上图左）；

2）进行有效的特征点筛选（只保留有用的），这里选用的方式是基于自相关矩阵的特征值；

和直接通过surf去选择特征点的思路基本上一样。

该 Step 形成空域信息。

3）跟踪特征点，在时间轴形成特征点的轨迹序列（上图中）；

该 Step 形成时域信息。

4）对应每个时间片上的每个特征点，在该点影响范围内分别进行特征采样（HOG、HOF、MBH）（上图右），

对序列进行编码（Fisher Vector），得到 Total 特征；

5）采用分类器（SVM）进行分类；

具体方法不再展开，这里可能存在的问题是：运动的背景可能会对光流有很大的影响。

基于这个假设，iDT 的改进方法通过估计相机的运动模型来消除背景影响，即通过 SurF 特征匹配来估算相邻帧的投影变换矩阵。另外，论文设置了一个 Human Detector 来消除人员变换对运动模型估算的影响（框内不参与估算）。

三. 深度学习方法

深度学习方法攻占该领域的时间是2014年，开山之作也是具有代表性的 Two Stream 方法。

论文下载：Two-Stream Convolutional Networks for Action Recognition in Videos

来看其框架图：

描述非常清晰，通过CNN网络对 single frame 提取图像的特征信息，下面通过多帧间的密集光流（与iDT类似）提出时域信息，后面通过 fusion＋分类来输出结果。

针对 Two Stream 的改进比较多，主要思路包括网络的改进、Fusion 方法、结合RNN（LSTM）、选择Key Frame等，这里没有太多创新的东西，可以自己refer一下。

这里重点提一下 C3D Network，也就是3D卷积。

论文下载：Learning Spatiotemporal Features with 3D Convolutional Networks

来看示意图：

与传统卷积的区别就在于将平面特征的提取扩展到3维，将空域特征和时域特征同时提取，该方法相比传统的2D方法，效率有明显的提高，基于VGG-like网络帧率达到了300FPS＋。

虽然精度并不高，但是C3D是该方向上的一个创新，同样的基于视频的Task也将C3D看作是一个比较好的方法：

Code：http://vlg.cs.dartmouth.edu/c3d/

四. 参考数据集

Action Recognition 相关数据库比较多，这里仅列出几个常用的供参考：

UCF101: http://crcv.ucf.edu/data/UCF101.php

HMDB51: http://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database

Sports-1M: http://cs.stanford.edu/people/karpathy/deepvideo

YouTube-8M: https://research.google.com/youtube8m/download.html

ActivityNet: http://activity-net.org/download.html

视频人员行为识别（Action Recognition）相关推荐

python视频识别_视频人员行为识别（Action Recognition）
一. 提出背景目标:给定一段视频,通过分析,得到里面人员的动作行为. 问题:可以定义为一个分类问题,通过对预定的样本进行分类训练,解决一个输入视频的多分类问题. 这里提出的问题是简单的图片(视频)分 ...
行为识别(Action Recognition)初探
任务说明(截取视频行为分类) 对视频中人的行为动作进行识别,即读懂视频. Hand gesture:集中于处理视频片段中单人的手势 Action:短时间的行为动作,场景往往是短视频片段的单人行为 Ac ...
cvpr 注意力机制_视频人员重识别：关系引导空间注意力 + 时间特征提取模型
作者 | Ass 编辑 | CV君报道 | 我爱计算机视觉(微信id:aicvml) 2020 年顶会论文中,很多都会将关系加入到注意力机制的获取中. 除了该文,还有 2020 年 CVPR 的基于 ...
记录之最近阅读的动作识别(action recognition)工作
介绍: 其中C3D是3d卷积的比较有意义的开端,I3d在C3D之后做了一系列研究,包括引入双流网络,和LSTM网络,并使用已经训练好的2D图像分类模型的参数维数扩充后用做3D网络的预训练模型.S3D是 ...
深度学习-视频行为识别：论文阅读——双流网络（Two-stream convolutional networks for action recognition in videos）
这里写目录标题视频的行为识别前言背景内容组成主要贡献算法介绍网络结构双流(two stream)网络结构空间流卷积网络(Spatial stream ConvNet) 时间流卷积网络 ...
【论文模型讲解】Two-Stream Convolutional Networks for Action Recognition in Videos
文章目录前言 0 摘要 1 Introduction 1.1 相关工作 2 用于视频识别的双流结构 3 光流卷积神经网络(时间流) 3.1 ConvNet 输入配置 4 实现细节 4.1 测试 4. ...
ECCV 2020 论文大盘点-人员重识别（ReID）篇
本文盘点ECCV 2020 中所有与人员再识别(Person Re-Identification,ReID)相关的论文,总计 24 篇,其中两篇Oral 论文,15篇已经或者将开源代码. 这一领域可称 ...
CVPR 2021 论文大盘点-人员重识别篇
关注公众号,发现CV技术之美本篇文章总结人员重识别相关论文,包含无监督人员重识别,基于视频.部分身体的行人重识别,可见光红外人员重识别,域泛化人员重识别,换装人员重识别,行人检索等等.共计 26篇. ...
视频动作识别--Temporal Segment Networks: Towards Good Practices for Deep Action Recognition
Temporal Segment Networks: Towards Good Practices for Deep Action Recognition ECCV2016 https://githu ...

视频人员行为识别（Action Recognition）

视频人员行为识别（Action Recognition）相关推荐

最新文章

热门文章