前言：ABME发表在ICCV2021，也是一篇基于光流做插帧的文章
论文地址：【here】
代码：【here】

Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

引言

大多数插帧的方法都是基于光流
光流方法又可以分为前向流方法和后向流
前向流方便求得,但是容易造成空洞和重叠
后向流由于中间帧的缺失，大多方法采用近似的办法，但是近似会造成误差
这篇文章利用光流，提出了一个不对称的光流算法，
首先, 用对称流求得中间的锚定帧
其次，利用锚定帧求出两边的不对称光流
最后，利用对称的光流和不对称的光流，得到最后的插帧图像

网络架构

从左至右分别是

对称双边光流估计
锚定帧生成
不对称的光流估计网络ABMRnet
帧合成网络

对称双边光流估计

用BMBE的方法，求得对称后向流

锚定帧生成

在原有的后向流合成公式中

加入带有遮挡的mask

不对称的光流估计网络ABMRnet

网络如下

修改自PWC，其中也加了Mask 和offsetmap来对遮挡进行处理

帧合成网络

左右两边两张图和对应的对称的不对称的后向流输入，并warp，两边的网络共享权重
中间的网络主要为两部分，filternet和refinenet
这两个的网络结构都来自Gridnet，用于处理不同尺度的输入的融合问题

其中 filternet采用动态局部卷积lareral block
refinenet用于生成残差来优化结果

实验结果

可见要比BMBC效果好，参数量也更小

总结：这篇文章里的第二章有很详细的对前向warping和后向warping的总结归纳，在有的之前的文章这一块是略过的，还是讲的很清晰，但是还是觉得网络设计得有些复杂了，设计和沿用了很多新的模块

论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation相关推荐

论文阅读 | BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
前言:ECCV2020一篇做插帧的文章,看到很多后来的文章(timelens,flavr)在新的数据集上测效果还可以,来拜读一下 ps:论文里真的用了好多"yield",好不习惯- ...
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation——精读笔记
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation 原文:https://arxiv.org/pdf/ ...
视频插帧（Video Frame interpolation）论文及源码
视频插帧论文列表(含Code) 蓝色突出表示热门方法 CCF A AAAI 2019 CyclicGen:Deep Video Frame Interpolation Using Cyclic Fra ...
论文阅读笔记（1）Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation——超越自然运动：探索视频帧
论文:Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation 会议:2022CVPR February ...
论文阅读——S. Lee, et al., Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation
S. Lee, et al., Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation 摘要 1. 介 ...
CVPR2019｜Depth-Aware Video Frame Interpolation【论文阅读笔记】
CVPR2019|Depth-Aware Video Frame Interpolation[论文阅读笔记] 作者相关链接 1.前言 2.介绍 3.算法 4.实验作者 Wenbo Bao, Wei ...
论文阅读 | Optimizing Video Prediction via Video Frame Interpolation
前言:CVPR2022利用视频插帧做视频预测的文章,用到的是优化的思想,不用训练网络论文地址:[here] Optimizing Video Prediction via Video Frame I ...
视频插帧--Video Frame Interpolation via Adaptive Convolution
Video Frame Interpolation via Adaptive Convolution CVPR2017 http://web.cecs.pdx.edu/~fliu/project/ad ...
【无标题】XVFI: eXtreme Video Frame Interpolation （ICCV oral）
XVFI: eXtreme Video Frame Interpolation (ICCV oral) 这篇文章做了什么? 出发点贡献点 XVFI 模型 BiOF-I BiOF-T 这篇文章做了什么 ...

论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation