技压群雄！2021 NTIRE @CVPR 2021的三冠一亚视频超分方案：BasicVSR++
论文链接：https://arxiv.org/pdf/2104.13371.pdf
代码链接：https://github.com/open-mmlab/mmediting
注：该文作者Kelvin C.K. Chan同为BasicVSR(2021CVPR)和Understanding Deformable Alignment...(AAAI2021)的第一作者，他用对于可变形对齐和传播架构的新理解来改进BasicVSR，在2021NTIRE @ CVPR 2021挑战中一举获得三冠一亚，同时还在Vid4数据集上突破了29dB的大关。下图可以显示出该模型惊人的恢复能力，目前代码已开源。
看点
最先进的方法BasicVSR采用双向传播和特征对齐。本文重新设计了这两个组件，提出了采用二阶网格传播和流引导变形对齐的BasicVSR++。
所提出的二阶网格传播允许双向传播以类似网格的方式进行，并且放宽了BasicVSR中一阶马尔可夫性质的假设，将二阶连接添加进网络中，如下图(a)所示。
光流对齐中不准确的光流估计会影响恢复性能，变形对齐在实际中很难训练。本文提出了流引导可变形对齐，该模块使用光流作为基础偏移量而没有直接学习DCN偏移量，通过学习残差偏移量来减轻偏移量学习的负担，如下图(b)所示。
方法
给定输入帧，首先利用残差块从每一帧中提取特征。然后在二阶网格传播方案下传播特征，其中对齐为流引导可变形对齐。在传播后，通过卷积和pixel-shuffling利用聚集的特征生成输出图像。
二阶网格传播
本文设计了一种网格传播方案，该方案让中间特征以交替的方式在时间上前后传播，使来自不同帧的信息可以被“重访”用于特征细化。此外，本文放宽了BasicVSR中一阶Markov性质的假设，添加了二阶连接。这样可以从不同的时空位置聚集信息，提高在遮挡区域和精细区域的鲁棒性和有效性。每个二阶网格传播单元的过程如下：令代表第输入图像，是利用多个残差块从中提取的特征，是第i个时间步处的第j个传播分支计算出的特征。为了计算输出特征，首先使用流引导可变形对齐对齐和：其中，，为i帧到i-1和i-2帧的光流，A表示流引导的可变形对齐。然后将这些特征串联起来传递到堆叠的残差块中：其中，R表示残差块，c表示沿通道维度的串联。理论上，本文提出的传播方案可以推广到更高的阶和更多的传播迭代。然而，当从一阶增加到二阶时，性能增益是相当可观，但进一步增加迭代次数和次数并不会导致显著的改善。
流动导向变形对准
可变形对齐相比光流的优势在于偏移多样性。然而，可变形对齐模块很难训练。训练的不稳定常常导致补偿溢出，从而影响性能。为了在克服不稳定性的同时利用偏移分量，由于可变形对齐和光流对齐之间存在着很强的关系，本文提出利用光流来引导可变形对齐，如下图所示。在第i个时间步，首先通过扭曲:然后使用预先对齐的特征来计算残差偏移量和调制掩膜，其中，残差偏移量和光流相加得到DCN偏移量：然后将DCN应用于未扭曲的特征:上述公式仅用于对齐单个特征，对于二阶传播做如下细微调整(通道叠加起来一起参与计算)：
实验
消融实验
所提出的组件的消融实验：提出的流引导对齐模块的有效性实验：轻量模型BasicVSR++(S)与BasicVSR和IconVSR具有相似的复杂性，但PSNR仍有相当大的改进
定量评估
在Vid4、UDM10等测试集上的定量评估：
备注：增强
图像与视频增强交流群
扫码备注拉你入群。
技压群雄！2021 NTIRE @CVPR 2021的三冠一亚视频超分方案：BasicVSR++相关推荐
- AAAI 2021 | 视频超分中的可变形对齐解读
摘要 · 看点 在 AAAI 2021,南洋理工大学 S-Lab.香港中文大学-商汤科技联合实验室和中科院深圳先进技术研究院等对视频超分辨率中的可变形对齐作出分析.可变形卷积最初是为适应对象的几何变化 ...
- 入选CVPR 2022！一举打败16个同类模型，视频超分比赛冠军算法！
来源:量子位 如何让模糊的老片变高清? AI的答案是超分辨率算法: 现在,在视频超分领域,有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩,登上了CVPR 2022. 它的名字叫做 ...
- 一举打败16个同类模型，视频超分比赛冠军算法入选CVPR 2022，来自商汤南洋理工大学...
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 如何让模糊的老片变高清? AI的答案是超分辨率算法: 现在,在视频超分领域,有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩, ...
- 新视频超分算法来了：CVPR 2021 NTIRE 2021 冠军
来源 | OpenMMLab 编辑 | 刘冰一 转自:AI科技评论 今天给大家带来的干货是新鲜出炉的 CVPR 2021,该文斩获 NTIRE 比赛冠军.目前代码已经 Merge 到 MMEditin ...
- NTIRE @ CVPR 2021 视频质量增强竞赛：数据库、方法及结果汇总（官方发布）
本文转载自知乎,已获作者授权转载. 链接:https://zhuanlan.zhihu.com/p/368256419 NTIRE 2021 视频质量增强竞赛 (Challenge on Qualit ...
- CVPR2020夜间行人检测挑战赛两冠一亚：DeepBlueAI获胜方案解读
2020-06-22 11:24:27 机器之心专栏 作者:罗志鹏(深兰北京AI研发中心) 来自深兰科技北京 AI 研发中心的 DeepBlueAI 团队在 CVPR 2020 夜间行人检测挑战赛中斩 ...
- real-word super resulution: real-sr, real-vsr, realbasicvsr 三篇超分和视频超分论文
real-world image and video super-resolution 文章目录 real-world image and video super-resolution 1. Towa ...
- CVPR 2021 Oral | GLEAN: 基于隐式生成库的高倍率图像超分辨率
摘要 · 看点 在 CVPR 2021 上, 南洋理工大学 S-Lab 和商汤科技等提出的隐式生成库(Generative Latent Bank), 针对高倍率图像超分辨中的质量和保真度问题提出了一 ...
- CVPR 2021 | Transformer进军low-level视觉！北大华为等提出预训练模型IPT
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 作者丨Happy 来源丨极市平台 导读 来自Transformer的降维打击!北京大学.华为诺亚等最新发 ...
最新文章
- mysql show命令用不了_MySQL show命令的用法 | 很文博客
- asp.net分页控件使用详解【附实例下载】
- 解码大脑：改善BCI稳定性
- org.springframework.beans包
- android MAT使用
- .NET智能客户端(SmartClient)
- 技术干货 | iOS 高阶容器详解
- c语言求平衡因子,平衡二叉树（AVL树）的基本操作
- Introduction to Real-Time Kernels
- 函数式反应型编程（FRP）
- TraceView工具如何使用
- python制作动态二维码
- android系统怎么连不上wifi,为什么手机连接不上wifi wifi连不上怎么办
- Java实现邮箱激活验证
- bat 命令如何启动远程PC上的一个程序？
- CSR8670 开始
- 解决: XXX is already defined as case class XXX 异常
- 【go语言 socket编程系列】IPAddr类型及ResolveIPAddr方法
- ASEMI整流桥MB10S参数，MB10S封装，MB10S规格书
- 全志A40I方案 全志A40I方案定制 全志A40I软硬件设计定制 全志A40i性能如何