最近子课题的研究涉及到 video frame interpolation 的相关知识，故开一个系列，简单地记录一下，对于此课题涉及到的内容，个人的一些总结与理解，仅供参考，如有错误之处，欢迎指正。

正文

video frame interpolation，视频插帧，也叫内插帧，即根据前后参考帧预测中间的帧。还有另一种插帧类型，外插帧（video frame extrapolation），即根据前面的参考帧预测后续帧。这个系列只谈及video frame interpolation。

本文主要介绍一下一个相关的背景知识: forward and backward image warping，直译即前向和后向的图像扭曲，也可以理解为图像变换，即移动图像中的像素（mapping和resampling）。mapping分为前向和后向。

上图中A即为 forward image warping，B为backward image warping。可以很直观地发现二者的区别，下面将从现象和原理展开描述。

（1）Forward image warping

原理：在原图中，任一像素x，将会被映射到新图中对应像素 $\mathrm{x}^{\prime}=T(\mathrm{x})$

$I_{m}^{\prime}(T(\mathrm{x})) \leftarrow I_{m}(\mathrm{x}), \forall \mathrm{x} \in \Omega$

这就是前向扭曲/变换，我理解的是这是像素从原图像的坐标点移动到新图像坐标点。

这里的映射方法就多种多样了，可以举几个例子：

1）放缩（scale by factor）

2）旋转（rotation）

3）单方向的剪切（shearing）

4）鱼眼效果，漩涡效果等

现象：在A图中，forward image warping，会出现一些空洞（holes），图中灰色标记的地方，即原图的像素经过warping后没有像素映射到该位置。而有一些点在映射后会落在新图中相同的位置上，如下图红框圈出的位置。这是因为图像像素的离散性，变换的函数通常既不是单射（injective）也不是满射（surjective）的，因此变换后的非整数值将会被四舍五入，因此不是原图中每个像素都会在新图中被分配像素值，同样，新图中的单个像素可能对应了原图中的多个像素。

（2）Backward image warping

另一种warping可以削减上述的问题，即backward warping。区别在于，现在对于新图像的每个像素，都会计算原始图像中的坐标，其强度值源自该坐标。

原理：反变换

$I_{m}^{\prime}(\mathrm{x}) \leftarrow I_{m}\left(T^{-1}(\mathrm{x})\right), \forall \mathrm{x} \in \Omega$

类似于前向warping， $T^{-1}(\mathrm{x})$ 也会产生非整数值，不同是，在backward warping中，可以在原图中使用插值的方法来获取非整数坐标像素之间的坐标的像素值。比如，采用双线性、三线性插值等。

以上就是image wraping，下一篇文章将会讲一下video frame interpolation中的wraping。

参考资料：

1. Princeton University CS 426, Fall 2000

2. https://www.cs.huji.ac.il/course/2004/impr/lectures2004/LucasKanade.pdf

3. Non-rigid Registration Using Free-form Deformations

【video frame interpolation系列1】背景知识: forward and backward image warping （图像扭曲/变换）相关推荐

RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation——精读笔记
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation 原文:https://arxiv.org/pdf/ ...
论文阅读——S. Lee, et al., Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation
S. Lee, et al., Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation 摘要 1. 介 ...
视频插值--Video Frame Interpolation via Adaptive Separable Convolution
Video Frame Interpolation via Adaptive Separable Convolution ICCV2017 https://github.com/sniklaus/py ...
视频插帧--Video Frame Interpolation via Adaptive Convolution
Video Frame Interpolation via Adaptive Convolution CVPR2017 http://web.cecs.pdx.edu/~fliu/project/ad ...
2019-CVPR-上交-(DAIN)Depth-Aware Video Frame Interpolation
可以把30fps的进一步插帧到480fps(16倍插帧) 英伟达的Super SloMo只用在了真实拍摄的视频上,而这项研究却可以扩展到常见的任何类型视频:电影.定格动画. 动画卡通等等. DAIN的 ...
CVPR2019｜Depth-Aware Video Frame Interpolation【论文阅读笔记】
CVPR2019|Depth-Aware Video Frame Interpolation[论文阅读笔记] 作者相关链接 1.前言 2.介绍 3.算法 4.实验作者 Wenbo Bao, Wei ...
论文阅读 | Optimizing Video Prediction via Video Frame Interpolation
前言:CVPR2022利用视频插帧做视频预测的文章,用到的是优化的思想,不用训练网络论文地址:[here] Optimizing Video Prediction via Video Frame I ...
论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation
前言:ABME发表在ICCV2021,也是一篇基于光流做插帧的文章论文地址:[here] 代码:[here] Asymmetric Bilateral Motion Estimation for V ...
视频插帧（Video Frame interpolation）论文及源码
视频插帧论文列表(含Code) 蓝色突出表示热门方法 CCF A AAAI 2019 CyclicGen:Deep Video Frame Interpolation Using Cyclic Fra ...

【video frame interpolation系列1】背景知识: forward and backward image warping （图像扭曲/变换）

正文

（1）Forward image warping

（2）Backward image warping

【video frame interpolation系列1】背景知识: forward and backward image warping （图像扭曲/变换）相关推荐

最新文章

热门文章