Deep Blind Video Super-resolution
好像中了CVPR 2020???没有查到
代码:https://github.com/jspan/blindvsr
文章思路
所谓盲超分:
我的理解是目前大部分的图像和视频超分辨算法,他们所使用的退化模型都是已知的,比如Bicubic核,高斯模糊核。在我们使用CNN去建模时,CNN在超分过程中并不会对模糊核进行建模,因为它是已知的,这样导致的问题就是最后产生的超分结果很平滑,看上去就会显得比较模糊。(这个地方的疑惑是为什么已知了,CNN就不对其建模了?这个地方有大佬有更深入的理解,还望告诉在下,)
所以盲超分要解决的问题就是估计模糊核
这篇文章是第一篇做视频盲超分的文章。它提出用深度卷积网络进行视频的盲超分,整个网路由三部分组成:
1)运动模糊核估计网络,因为是视频超分,这里的模糊核就是运动模糊核了。
2)运动估计网络
3)视频帧复原网络
完整架构如下:
整个算法的流程叙述如下:
1)首先进行运动模糊核估计。这个运动模糊核估计网络由两层全连接层组成,实验中两层的大小分别设为1000和225。核估计网络采用高斯核作为输入,输入的具体设置,可以参见源码或者论文[1],然后网络逐渐学习去逼近这个真实的核,最后输出的估计核大小为15×1515\times1515×15。这个网络的优化目标如下:
其中,K^\hat{K}K^就是所估计出的运动模糊核,IiI_iIi是高分辨图像,LiL_iLi是对应的低分辨图像,S是下采样矩阵。
2)模糊核估计完成后,根据下式,求解出一个中间超分结果:
其中γ=0.02\gamma=0.02γ=0.02。
由于得到的中间超分结果可能并不满意,可能存在一些噪声核伪影,所以还需要进一步优化,所以就有了后面的步骤。
3)进行光流运动估计,借助帧间信息辅助目标帧实现更好的超分性能。作者采用了PWC-Net算法,其输入是通过Bicubic上采样后的低分辨图像,接着输出相应的光流信息,然后通过双线性插值,根据所估计到的光流运动信息,warp近邻帧,得到对齐后的近邻帧。
4)将对齐后的近邻帧与第二步得到的中间超分结果首先分别通过space-to-depth (就是PixelShuffle的逆过程)变换到低分辨空间,然后按通道拼接起来送入一个视频帧复原网络中进行精炼,最终输出超分后的视频帧。(这个复原网络文中采用是图像超分算法RCAN)。这个部分的优化目标如下:
即是超分结果与GT之间L1损失。
训练方式
1)首先训练运动模糊核估计网络。
2)然后再联合光流估计网络和复原网络一起训练(此时运动模糊核网络不再优化参数,只是使用训练好的网络输出结果即可,这是个人理解,文中并没说,我认为我的理解是对的)。
实验结果
训练数据集:REDS
测试集:REDS4,SPMCS,Vid4
评价指标:PSNR,SSIM
下表评估了运动模糊核估计有效性,前面两个方法是不带模糊核估计的,区别仅在于一个输入低分辨图像,一个输入是Bicubic上采样后(HR)的结果。
模糊核有效性实验可视化结果
下表和下图验证了所估计的模糊核的准确性。
它的实验方式是,将Bicubic下采样后的低分辨图像作为GT(可见,Bicubic插值除了由下采样作用,还带有模糊的效果),然后本文估计的模糊核联合一个下采样操作(具体实现方式文中没有提及),其输出作为预测的低分辨图像,两者求PSNR和SSIM进行比较。由此可见,算法估计的模糊核更接近真实的Bicubic核(从最后一张图看更直观,真实的Bicubic核可以参见文章[2])。
[1]Qi Shan, Zhaorong Li, Jiaya Jia, and Chi-Keung Tang. Fast image/video upsampling. ACM TOG, 27(5):153:1–153:7, 2008. 5
[2]Netalee Efrat, Daniel Glasner, Alexander Apartsin, Boaz Nadler, and Anat Levin. Accurate blur models vs. image priors in single image super-resolution. In ICCV, pages 2832–2839, 2013. 4, 7
Deep Blind Video Super-resolution相关推荐
- ViDeNN: Deep Blind Video Denoising
ViDeNN: Deep Blind Video Denoising 摘要 We propose ViDeNN: a CNN for Video Denoising without prior kno ...
- [video super resolution] ESPCN论文笔记
ESPCN是twitter2017年提出来的实时视频超分辨率的方法.下面记录下对论文的一些理解. 上面这张图就是整个网络的架构.输入t帧的相邻图像,t-1和t+1,在具体的网络中,有输入连续3张,5张 ...
- Self-Supervised Deep Blind Video Super-Resolution
论文地址:https://arxiv.org/abs/2201.07422 提出了一种有效的视频SR自监督学习算法,该算法不需要任何成对或不成对的数据集作为监督为了约束视频SR的深层模型 我们开发了一 ...
- Unfolding the Alternating Optimization for Blind Super Resolution
Unfolding the Alternating Optimization for Blind Super Resolution 论文信息 Paper: [NeurIPS2020] Unfoldin ...
- (NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution 笔记
(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution https://github.com/great ...
- 论文翻译:2019_Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战 论文地址:基于GAN的音频超分辨率 博客地址:https://www.cnblogs.com/LXP-Never/p/10874993.html 论文作者:Sefik Emre Es ...
- 论文翻译:Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战 论文地址:https://ieeexplore.ieee.org/document/8682215 博客地址:https://www.cnblogs.com/LXP-Never/p/ ...
- 论文阅读笔记(1):Deep Animation Video Interpolation in the Wild——野外深度动画视频插值(2021CVPR)
论文名称:Deep Animation Video Interpolation in the Wild 会议:2021CVPR会议 基于深度网络动漫视频插帧 摘要 一.简介 二.相关工作 三.ADK- ...
- Deep Learning-Based Video Coding: A Review and A Case Study
郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! 1.Abstract: 本文主要介绍的是2015年以来关于深度图像/视频编码的代表性工作,主要可以分为两类:深度编码方案以及基于传统编码方 ...
最新文章
- Codeforces Round #562 (Div. 2) B. Pairs
- AI制药来了!新药研发或告别“十年磨一剑”
- 求两个数的最大公因数
- 【学亮IT手记】PL/SQL编程-存储过程
- 解决Windows下新安装的CodeBlocks无法编译运行
- 智能工单处理,达观数据助力运营商实现业务流程智能化改造
- 在B站学习大名鼎鼎的StatQuest 系列统计和生信分析视频(中文字幕)- 也见证助理教授到创业者的华丽转身...
- 关于python_关于Python,你必须知道的事!
- linux 下恢复文件权限设置,备份和恢复Linux文件权限的方法
- 用u盘安装黑苹果10.12.3
- python 图像模糊处理实现
- 在PreferenceScreen加入自定义布局
- esxi安装参考文章及见解
- linux麦克风增强软件,如何在Windows,Mac,Linux中消除背景麦克风噪音
- 【保姆级|建议收藏】阿ken带你学Java入门及进阶(二)——运算符、循环语句,文末有彩蛋鸭✨✨✨
- 长见识了!一看就会的浏览器帧原理
- 关于世博会的一些遐想!
- TOP10效率工具大集合,0-3岁运营/产品/设计的懒人高效工具!
- Python-Flask开发微电影网站(一)
- c语言 注册商标标志,什么是标识符?
热门文章
- 用Express重写前面的记事本
- Android绘制跟随路径移动的圆圈
- 元宇宙,一场有趣好玩的大冒险已经瞧瞧开始了……
- 人与机器人的交互理论及其前景
- mc是用java写的吗_都说MC的代码特别差劲,你觉得它在所有游戏中,能排第几?...
- 大学物理学(第5版)下(第14章)课后习题答案
- cosx的三次方的化简,即降次
- 【计算机网络】网络层——IPv6/IP组播/移动IP
- 【C++】用代码写一个气派的圣诞树发给身边的亲朋好友
- 【在线研讨会-倒计时】12月12日Softing工业物联网解决方案 助力工业4.0