入选CVPR 2022!一举打败16个同类模型,视频超分比赛冠军算法!
来源:量子位
如何让模糊的老片变高清?
AI的答案是超分辨率算法:
现在,在视频超分领域,有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩,登上了CVPR 2022。
它的名字叫做BasicVSR++,是对视频超分SOTA模型BasicVSR的进一步改进。
BasicVSR也曾拿下NTIRE冠军,入选CVPR 2021。
现在,这个BasicVSR+++在基本相同的参数量下,不仅性能大幅超过前辈,PSNR(峰值信噪比,图像质量评估指标)提高了0.82dB,还能应用到更多的视频复原任务中(例如压缩视频增强)。
加强版BasicVSR
BasicVSR采用双向传播(propagation)+特征对齐方式,能够提取整个输入视频中的有效信息进行超分。
但是,它这一基本设计也限制了信息聚合的功效,比如难以恢复精细的细节,尤其是在处理复杂的遮挡区域时。
因此,加强版的BasicVSR++在传播和对齐方面进行了重新改造,采用了二阶网格传播(second-order grid propagation) 和光流引导可变形对齐 (flow-guided deformable alignment)的设计来改善网络中的信息聚合能力,提升遮挡区域的鲁棒性和有效性。
其中,二阶网格可以让信息从不同的时空位置进行前向后后向传播,让特征的传播更有效。
光流引导可变形对齐则可以让帧进行更具鲁棒性的特征对齐。
采用这一对齐方式主要是单纯的形变对齐训练效果不稳定,尽管可变形卷积 (DCN) 网络中具备多样性的偏移量(offset)使形变对齐的性能优于光流对齐。
BasicVSR+++具体架构如下:
给定输入视频,首先采用残差模块对每一帧提取特征;然后这些特征在二阶网络传播中进行信息传播,其中对齐部分采用光流引导形变对齐;完成信息传播后,汇聚特征生成输出图像。
在16个同类算法中性能全部最佳
作者对比了16种不同视频超分算法的性能、参数量以及耗时,结果是BasicVSR++在所有数据集下的两种退化方式中均取得最佳性能(红色代表最佳分数,蓝色代表次佳分数)。
特别地,相比大容量滑动窗口算法EDSR,BasicVSR++获得了1.3dB的性能提升,同时参数量少65%;
相比之前的最新技术IconVSR,BasicVSR++在参数量更少的同时也带来了1dB的性能提升。
更轻量版的BasicVSR++ (S),相比前辈BasicVSR,也有0.82dB的提升,收益显著。
而在具体效果中,不管是在REDS4、Vimeo-90K-T还是Vid4数据集上,BasicVSR++都能对极细节的图像进行复原,且效果最好。
目前,BasicVSR++的代码已经开源,感兴趣的同学可以去试试。
作者介绍
一作陈焯杰 (Kelvin C.K. Chan) 来自南洋理工大学计算机科学与工程学院,博士三年级在读,本硕毕业于香港中文大学。
目前的研究方向为图像/视频恢复,一共发表过5篇顶会论文。
通讯作者为他的导师吕健勤(Chen Change Loy),南洋理工大学计算机学院副教授,商汤-南洋理工大学联合实验室S-Lab副主任。
他俩也是BasicVSR的原班作者。
BasicVSR++的剩余两位作者分别为:该校二年级博士生周尚辰和该校研究员Xu Xiangyu。
论文地址:
https://arxiv.org/abs/2104.13371
代码:
https://github.com/ckkelvinchan/RealBasicVSR
重磅!DLer-CVPR2022论文分享交流群已成立!
大家好,这是CVPR2022论文分享群里,群里会第一时间发布CVPR2022的论文解读和交流分享会,主要设计方向有:图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注:研究方向+学校/公司+昵称(如图像分类+上交+小明)
入选CVPR 2022!一举打败16个同类模型,视频超分比赛冠军算法!相关推荐
- 一举打败16个同类模型,视频超分比赛冠军算法入选CVPR 2022,来自商汤南洋理工大学...
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 如何让模糊的老片变高清? AI的答案是超分辨率算法: 现在,在视频超分领域,有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩, ...
- 京东探索研究院 34 篇论文入选 CVPR 2022
关注公众号,发现CV技术之美 国际计算机视觉与模式识别会议(CVPR)是IEEE一年一度的学术性会议,是计算机视觉和模式识别领域的顶级会议.根据最新2021谷歌学术指标,CVPR在所有学术期刊和会议影 ...
- 天大本科生论文入选CVPR 2022,实现深度学习长尾分类新SOTA
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 丰色 发自 凹非寺 量子位 | 公众号 QbitAI 本科生搞科研到 ...
- 飞步科技三篇论文入选CVPR 2022
关注公众号,发现CV技术之美 本文转载自飞步无人驾驶 在即将举行的计算机视觉国际顶级会议CVPR 2022中,飞步科技被录用了三篇高水平论文,涉及车道线检测.3D目标检测.少样本分类等与无人驾驶密切相 ...
- 新视频超分算法来了:CVPR 2021 NTIRE 2021 冠军
来源 | OpenMMLab 编辑 | 刘冰一 转自:AI科技评论 今天给大家带来的干货是新鲜出炉的 CVPR 2021,该文斩获 NTIRE 比赛冠军.目前代码已经 Merge 到 MMEditin ...
- 字节跳动智能创作团队多篇论文入选 CVPR 2022
动手点关注 干货不迷路
- 技压群雄!2021 NTIRE @CVPR 2021的三冠一亚视频超分方案:BasicVSR++
论文链接:https://arxiv.org/pdf/2104.13371.pdf 代码链接:https://github.com/open-mmlab/mmediting 注:该文作者Kelvin ...
- CVPR | 旷视提出Meta-SR:单一模型实现超分辨率任意缩放因子
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :旷视 [人工智能资源(书籍 ...
- CVPR 2022 最新106篇论文分方向整理|包含目标检测、动作识别、图像处理等32个方向
CVPR 2022 已经放榜,本次一共有2067篇论文被接收,接收论文数量相比去年增长了24%.在CVPR2022正式会议召开前,为了让大家更快地获取和学习到计算机视觉前沿技术,极市对CVPR022 ...
最新文章
- 逻辑回归原理(python代码实现)
- Docker 下安装 Spark
- 在Linux(Ubuntu)下搭建ASP.NET Core环境并运行 继续跨平台
- twitter mysql_twitter-mysql改进点
- 装修月记第一弹,硬装篇
- hdu 5710 Digit-Sum (构造题)
- Multi thread: std::promise
- android开源SlidingMenu使用
- CVE-2020-0601漏洞详细分析
- [转载] python自定义error_Python 自定义异常处理Error函数
- 光洋触摸屏和PLC通讯错误2225
- Win11本地安全策略怎么设置?
- C语言:字符串中各类字符数的统计
- 杀毒软件可以查杀所有计算机病毒吗,杀毒软件可以查杀所有病毒吗
- springboot项目启动报错Parameter 4 of constructor in com.ffkj.platform.mainstay.controller.MerchantControll
- fiddler抓取https,提示“CA 根证书不在受信任的存储区域”的解决方法
- 关于VMWare中的vmem文件
- 屏蔽宽带运营商的弹窗广告
- xml基础教程详细总结
- 【MacOS】java环境配置
热门文章
- Apache+php+tomcat+mysql整合手册
- 湖南城市学院c语言试卷题目,英语四级、计算机二级--C语言应该怎样复习?考试有哪些题型?...
- 预训练BERT学习笔记_Storm*Rage的博客
- 锁的升级与synchronized锁的关系
- AWS上创建的notebook实例提示没有导入pytorch模块的解决办法 直接在编辑块中执行如下命令,最后重启kernel问题解决
- numpy随机生成数组
- String字符串编码解码格式
- Linux系统下如何加载U盘或移动硬盘
- Yann LeCun最新文章:自监督学习的统一框架
- 包云岗:是什么造成了学术界的科学精神之殇?