视频中的运动特征--Learning Motion Patterns in Videos

Learning Motion Patterns in Videos
CVPR2017
Torch code： http://thoth.inrialpes.fr/research/mpnet

本文要解决的问题是 determining whether an object is in motion, irrespective of camera motion，
注意这里的相机是可以运动的，如果相机不动，则问题比较简单。相机运动则问题就比较复杂了。

示意图如下：

人工合成的 FlyingThings3D dataset

相邻两帧图像，相机是运动的，有几个运动的物体，我们希望可以将运动的物体分割出来

3 Learning Motion Patterns

Our MP-Net takes the optical flow field corresponding to two consecutive frames of a video sequence as input, and produces per-pixel motion labels.
本文使用一个 CNN网络，输入相邻两帧图像的光流场，输出每个像素的运动与否标签

In other words, we treat each video as a sequence of frame pairs, and compute the labels independently for each pair.
我们每个图像对的计算是独立，将视频看作由每个图像对组成

3.1. Network architecture
我们的任务是将光流场中具有不同的运动模式区分出来，使用CNN网络完成。这需要一个大的感受野，输出的尺寸需要和输入的图像尺寸一样大小。一个大的感受野对于将 context 信息包含进模型中是至关重要的。小的感受野没法区分是物体的运动还是相机的运动。

网络的结果和语义分割中的结构还是很相似的，本质上是一样的。

3.2. Training with synthetic data
我们使用合成的数据库 FlyingThings3D dataset 来训练CNN网络

4.2. Refining the segmentation
We use a fully-connected CRF 后续处理分割结果

不同的输入信息

不同的组合

DAVIS上的比拼

BMS-26

视频中的运动特征--Learning Motion Patterns in Videos相关推荐

结合运动流的时间先验在微创手术视频中的器械分割
论文:Incorporating Temporal Prior from Motion Flow for Instrument Segmentation in Minimally Invasive S ...
Real-world Anomaly Detection in Surveillance Videos监控视频中的现实世界异常检测
监控视频中的现实世界异常检测,代码地址https://paperswithcode.com/paper/real-world-anomaly-detection-in-surveillance. 摘要 ...
旋转or跳跃？基于互联网视频的人体运动捕捉
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 基于图像的人体姿势估计的最新进展使从单个RGB视频捕捉3D人体运动成为可能.但是,单视图固有的深度不确定性和自遮挡问题导致其恢复的结果无 ...
Dogfight ：从无人机视频中检测无人机
摘要随着机载车辆变得越来越自主和无处不在,发展探测周围物体的能力变得至关重要.本文试图解决从其他飞行无人机中探测到无人机的问题.源无人机和目标无人机的不稳定运动.小尺寸.任意形状.大强度变化和遮挡使 ...
基于虹软人脸识别，实现RTMP直播推流追踪视频中所有人脸信息（C#）
大家应该都知道几个很常见的例子,比如在张学友的演唱会,在安检通道检票时,通过人像识别系统成功识别捉了好多在逃人员,被称为逃犯克星:人行横道不遵守交通规则闯红灯的路人被人脸识别系统抓拍放在大屏上以示警告 ...
【OpenCV人脸识别2】从视频中检测人脸
分为两步: 从视频中识别人脸和人的眼睛从视频中检测人脸.眼睛.鼻子.嘴巴 1.从视频中识别人脸和人的眼睛关于视频的操作,主要如下: 定义摄像头->打开摄像头->读取视频帧->转而 ...
SpeedNet: Learning the Speediness in Videos
Abstract 用于预测视频中物体运动的速度-移动快或慢以一种无监督的方式训练证明了模型学会了一种强大的,具有意义的空间-时间表示,可以用于提升无监督动作识别,以及用于视频retrieval(检 ...
视频中的自监督学习：Removing the background忽略视频的背景，学习robust的特征
Removing the Background by Adding the Background: Towards Background Robust Self-supervised Video Re ...
基于运动特征的视频质量评价方法（基于H.264）
Michal Ries等人在论文<Motion Based Reference-Free Quality Estimation for H.264/AVC Video Streaming> ...

视频中的运动特征--Learning Motion Patterns in Videos

视频中的运动特征--Learning Motion Patterns in Videos相关推荐

最新文章

热门文章