视频检测分割--Deep Feature Flow for Video Recognition

Deep Feature Flow for Video Recognition
CVPR2017
Code: https://github.com/msracver/Deep-Feature-Flow

基于单帧的目标检测和分割已经做的比较成熟，但是基于视频的目标检测和分割目前还是有问题的，最主要的问题就是直接将单帧的算法用于视频，计算量比较大，做不到实时。这里我们只对关键帧计算CNN特征提取，然后通过一个 flow field 将关键帧的CNN特征 propagate 其他帧去，避免了每一帧使用CNN网络提取特征图。 flow field 的计算量相对较小，尤其是 FlowNet2.0 的提出。

上图主要说明本文的思路可行性，propagate 得到的特征图和 CNN网络计算的特征图效果差不多。

Deep Feature Flow

对于一个 CNN 检测或分割网络可以分为两个子网络： feature network 特征提取网络， task network 任务网络
Consecutive video frames are highly similar. The similarity is even stronger in the deep feature maps
视频中的连续帧内容是高度相关的，在 CNN特征图中这种相似性表现的更明显

特征图的这种相似性可以帮助我们降低计算量，可以通过关键帧的特征图来 propagate 其他非关键帧的特征图 –spatial warping

The features in the deep convolutional layers encode the semantic concepts and correspond to spatial locations in the image
Such spatial correspondence allows us to cheaply propagate the feature maps by the manner of spatial warping

视频检测分割--Deep Feature Flow for Video Recognition相关推荐

DFF（deep feature flow for video recognition）论文详读
abstract deep feature flow是一个针对视频目标识别快速且准确的框架,只在稀疏的关键帧上运行卷积子网络,并通过flow field 把它们的特征图传播到其他帧. introduc ...
CVPR 2017 《Deep Feature Flow for Video Recognition》论文笔记
本学弱喜欢在本子上记笔记,但字迹又丑. 望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正.
AAAI 2020论文解读：商汤科技发布新视频语义分割和光流联合学习算法
来源 | Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow 编辑 | Carol 出品 | AI科技大 ...
每周论文清单：知识图谱，文本匹配，图像翻译，视频对象分割
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
【论文翻译】SlowFast Networks for Video Recognition
目录其它参考资料 Abstract 1,Introduction 2,Related Work 3. SlowFast Networks 3.1. Slow pathway 3.2. Fast pa ...
SlowFast Networks for Video Recognition，凯明老师的Slow Fast学习笔记
摘要我们提出了用于视频识别的Slow Fast 网络.我们的模型引入了一个低帧速率运行的慢速路径(Slow pathway),和一个以高帧速率运行的快速路径(Fast pathway),以良好的时间 ...
视频目标检测--Flow-Guided Feature Aggregation for Video Object Detection
Flow-Guided Feature Aggregation for Video Object Detection https://arxiv.org/abs/1703.10025 Our fram ...
《A Survey on Deep Learning Technique for Video Segmentation》视频分割综述阅读笔记(翻译)
<A Survey on Deep Learning Technique for Video Segmentation>视频分割综述阅读笔记(背景部分翻译) 作者:Wenguan Wang ...
【论文笔记】视频息肉分割VPS：Video Polyp Segmentation A Deep Learning Perspective
论文地址:VPS 代码地址:GitHub - GewelsJI/VPS: Video Polyp Segmentation (VPS) 数据集说明:VPS/DATA_PREPARATION.md at ...

视频检测分割--Deep Feature Flow for Video Recognition

视频检测分割--Deep Feature Flow for Video Recognition相关推荐

最新文章

热门文章