【VFI系列2】视频内插帧中基于optical flow的 backward/forward warping

该系列内容比较基础，仅是方便我们实验室小萌新入门。（最近太忙了，更慢了）

基于backward warping的可微图像采样（Differentiable image sampling）已经广泛应用于深度估计(depth estimation)、光流预测(optical flow prediction)等任务中。

ps：Differentiable image sampling在论文 Spatial Transformer Networks 中有描述。

简单的说，内插帧的原理即：假定输入的两帧为 $I_{0}(x)$ 和 $I_{1}(x)$ , $x\in [1,H]\times [1,W]$ , 这里的H和W是图像的高和宽，也就是视频的分辨率中的高和宽。视频内插帧的目标是生成两帧间 t 时刻的帧 $I_{t}$ ， $t\in [0,1]$ 。

在插帧方法中，有一类是基于流（flow-based）的方法，即结合了光流估计（optical flow estimation）来合成中间帧。基本的流程大致如下：

1. 通过输入的两个参考帧 $I_{0}$ 和 $I_{1}$ ，基于光流估计算法得到双向光流（bi-directional optical flow），记为 $F_{0\rightarrow 1}$ 和 $F_{1\rightarrow 0}$

$F_{0\rightarrow 1}$ : $I_{0}$ 到 $I_{1}$ 的光流

$F_{1\rightarrow 0}$ ： $I_{1}$ 到 $I_{0}$ 的光流

由于中间帧不可用，因此通过变换前后参考帧之间的流，然后对其进行投影以模拟中间帧和参考帧之间的流。

2. 基于得到的光流，warping 输入的参考帧，去预测中间帧，这里就根据warping的方式可分为两类：

1）forward warping

基于 $F_{0\rightarrow 1}$ ，估计 $t$ 时刻的光流 $\mathbf{F_{0 \rightarrow t}}$ ，通过 $f$ forward warping $I_{0}$ ，得到中间帧 $I_{t}$

$I_{t}\approx f(I_{0},F_{0 \rightarrow t})=f(I_{0},t \cdot F_{0 \rightarrow 1})$

基于 $F_{1\rightarrow 0}$ ，估计 $t$ 时刻的光流 $\mathbf{F_{1 \rightarrow t}}$ ，通过 $f$ forward warping $I_{1}$ ，得到中间帧 $I_{t}$

$I_{t}\approx f(I_{1},F_{1 \rightarrow t})=f(I_{1},(1-t) \cdot F_{1 \rightarrow 0})$

但是forward warping会出现孔洞（holes）问题。本系列上一篇文章介绍过，这里再简单直观地说明一下

$t$ 表示时域关系，第一行和第三行表示 $I_{0}$ 和 $I_{1}$ 。箭头指向即前向流。上图描述了三个问题：

(1) holes 问题，即在中间时刻 $t=\alpha$ ，没有流经过中间帧的某些像素点；

(2) ordering 问题，即在中间时刻 $t=\alpha$ ，有多个流经过中间帧的某些像素点；

(3) occlusion问题，即在 $t=1$ ，有多个流指向相同的位置。

2）backward warping

基于 $F_{0\rightarrow 1}$ ，估计 $t$ 时刻的光流 $\mathbf{F_{t \rightarrow 0}}$ ，通过 $f$ backward warping $I_{0}$ ，得到中间帧 $I_{t}$

$I_{t}\approx f(I_{0},F_{t \rightarrow 0})=f(I_{0},-t \cdot F_{0 \rightarrow 1})$

基于 $F_{1\rightarrow 0}$ ，估计 $t$ 时刻的光流 $\mathbf{F_{t \rightarrow 1}}$ ，通过 $f$ backward warping $I_{1}$ ，得到中间帧 $I_{t}$

$I_{t}\approx f(I_{1},F_{t \rightarrow 1})=f(I_{1},- (1-t) \cdot F_{1 \rightarrow 0})$

【VFI系列2】视频内插帧中基于optical flow的 backward/forward warping相关推荐

ECCV 2022 | 视频插帧中的实时中间流估计
概述视频插帧算法旨在视频的相邻帧之间生成若干个中间帧.它被广泛用于视频处理,多媒体播放器和显示设备上. 本文提出了一种基于实时中间流估计的视频插帧算法 RIFE,包括一个端到端的高效的中间流估计网络 ...
人工智能从入门到精通系列教学视频免费送
人工智能作为计算机科学领域的一个分支,在互联网+和大数据的时代浪潮中显现出其巨大的潜力和蓬勃的活力,类似电子医生.无人驾驶等新名词纷纷涌现. 人工智能凭借着它无与伦比的发展优势,推动了各大产业和技术的 ...
人工智能从入门到精通系列教学视频免费送。。。
人工智能作为计算机科学领域的一个分支,在互联网+和大数据的时代浪潮中显现出其巨大的潜力和蓬勃的活力,类似电子医生.无人驾驶等新名词纷纷涌现. 人工智能凭借着它无与伦比的发展优势,推动了各大产业和技术的 ...
《基于Windows 7特性的程序开发系列》视频分享
前一阵录制了<基于Windows 7特性的程序开发系列>视频课程,主要针对WinForm.WPF 开发具有Windows 7 特性的程序.现已发布到MSDN Webcast 欢迎大家拍砖. ...
python实现视频关键帧提取（基于帧间差分）
python实现视频关键帧提取(基于帧间差分) 在很多场景下,我们不想或者不能处理视频的每一帧图片,这时我们希望能够从视频中提取出一些重要的帧进行处理,这个过程我们称为视频关键帧提取. 关键帧提取算法 ...
微帧ROI视频智能编码：基于人眼感兴趣区域，实现极致观感体验
"The world is too much with us". 为了更好地认识这个纷繁复杂的世界,人类进化出了一套独特的视觉系统--中央凹成像系统,即当我们看东西时,眼睛聚焦的地 ...
实战 | 基于 Serverless 技术的视频截帧架构如何实现？
前言视频直播是一种创新的在线娱乐形式,具有多人实时交互特性,在电商.游戏.在线教育.娱乐等多个行业都有着非常广泛的应用.随着网络基础设施的不断改善以及社交娱乐需求的不断增长,视频直播在持续渗透进大家 ...
CVPR 2023 | EMA-VFI: 基于帧间注意力提取运动和外观信息的高效视频插帧
©作者 | Guozhen Zhang 单位 | 南京大学媒体计算组本文介绍南京大学媒体计算组最近被 CVPR 2023 接收的视频插帧方向的工作:Extracting Motion and App ...
基于FFmpeg和Wasm的Web端视频截帧方案
作者 | 小萱导读基于实际业务需求,介绍了自定义Wasm截帧方案的实现原理和实现方案.解决传统的基于canvas的截帧方案所存在的问题,更高效灵活的实现截帧能力. 全文10103字,预计阅读时间2 ...

【VFI系列2】视频内插帧中基于optical flow的 backward/forward warping

【VFI系列2】视频内插帧中基于optical flow的 backward/forward warping相关推荐

最新文章

热门文章