Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation论文解析（视频超分）
Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation论文解析（视频超分）
论文可以直接必应搜索下载，比百度好用
主要贡献
提出了一种基于亚像素卷积和时空网络的实时视频超分方法。
比较早期融合、慢速融合、3D卷积。
提出一种基于多尺度空间变换器网络的密集帧间运动补偿的有效方法。
将所提出的运动补偿技术与时空模型相结合，以提供一种高效的、端到端可训练的运动补偿视频 SR 算法。
主要方法
Sub-pixel convolution SR（子像素卷积）
对单张图片做超分的方法
最后一步就是子像素卷积，把所有特征图平铺将图片放大r倍。放大倍数也可以小于r，但要满足x2∗c=Cx^2*c=Cx2∗c=C
x为放大倍数，c为常数，C为通道数。
参考链接https://blog.csdn.net/leviopku/article/details/84975282
+++
Spatio-temporal networks（时空网络）
时空模型粗略图如下
Early fusion
时间帧在第一层进行融合，以颜色通道的方式表达。
Slow fusion
时间帧两两融合和early fusion类似。
3D convolution
是比较好的时空模型。具体操作可以看这个
https://www.cnblogs.com/wangxiaocvpr/p/5734508.html
+++
Spatial transformer motion compensation（空间变换运动补偿）
本文采用双线性插值做光流，因为双线性插值比薄样板插值更高效。
示意图和详细模块如下。
本文通过下式来约束流，
其中ItI_tIt是约束帧，It+1′I'_{t+1}It+1′是变换帧，HHH为Huberloss本文通过如下表达式近似：
H(∂x,y∆)=ϵ+∑i=x,y(∂x∆i2+∂y∆i2)H (∂x,y∆) = \sqrt{\epsilon + ∑_{i=x,y}(∂x∆i2 + ∂y∆i2)} H(∂x,y∆)=ϵ+i=x,y∑(∂x∆i2+∂y∆i2)
空间变换模块优于其他运动补偿机制，因为可以直接参与到超分网络中。如图
空间变换模块和超分模块是可区分的，因而是端到端可训练的。最后，他们能整合成一个loss
实验
单帧与多帧早期融合对比
由图可知多帧表现基本一致，但在超过5帧后，时间依赖可能会变得过于复杂，无法学到有用的信息。与单帧相比早期融合加入时间相关性对运算的增加很少，同时在8层网络后还能保持较好的一致性。
早期融合和慢融合对比
S5表示5帧慢融合，S5-SW表示共享权重5帧慢融合。
和上一块一样早期融合在只增加3%的运算量的情况下获得了更高的精确度，而慢速融合明显提高了速度。虽然慢速融合在七层时准确度较低，但在9层时达到了和早期融合一样好的效果。并且有更好的效率。这表明在浅层网络中最好利用整个网络容量来联合处理信息。但在深层网络下，慢速融合更好。虽然由于网络特征的可重用性，共享权重可以有很高的效率。但E5在效率和质量上都比S5-SW好。并且在所有情况下，在这种性能和效率的权衡中，早期或慢速融合始终优于具有共享权重的慢速融合。论文作者猜测共享权重能在视频动作识别中效果更好是因为有更多的参数，同时更多的联合处理的帧。
运动补偿视频超分
图片结果可以明显看出加入了动态补偿之后的效果好了很多。
PSNR的指标显示，加入了MC之后指标也有明显的提升。
总结
本篇论文将亚像素卷积的效率优势与时间融合策略相结合，提出了视频 SR 的实时时空模型。 所使用的时空模型精度更高，复杂度更低。 将模型与基于空间变换网络的运动补偿机制结合，该机制对于视频 SR 来说是有效且可联合训练的。 与单独的时空模型相比，使用包含显式运动补偿的方法获得的结果被证明在 PSNR 和时间一致性方面具有优势，并且在视频 SR 方面的表现优于当前的技术水平。
Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation论文解析（视频超分）相关推荐
- [video super resolution] ESPCN论文笔记
ESPCN是twitter2017年提出来的实时视频超分辨率的方法.下面记录下对论文的一些理解. 上面这张图就是整个网络的架构.输入t帧的相邻图像,t-1和t+1,在具体的网络中,有输入连续3张,5张 ...
- 超分论文笔记2020CVPR视频超分：Zooming Slow-Mo- VSR with Temporal Group Attention-TDAN
Space-Time Video Super-Resolution (STVSR) 问题定义: 从一个低像素低帧率恢复出高帧率高分辨率的视频. 1.Zooming Slow-Mo: Fast and ...
- 视频超分：DUF（Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without ...)
论文:基于 非动作补偿 动态上采样滤波器的深度视频超分网络 文章检索出处:2018 Conference on Computer Vision and Pattern Recognition(CVPR ...
- real-word super resulution: real-sr, real-vsr, realbasicvsr 三篇超分和视频超分论文
real-world image and video super-resolution 文章目录 real-world image and video super-resolution 1. Towa ...
- 视频超分：TGA（Video Super-resolution with Temporal Group Attention）
论文:视频超分与时域注意机制 文章检索出处:2020 CVPR 摘要和简介 提出了一种新颖的神经网络,通过帧速率组以分层的方式有效的融合了时空信息. 介绍了一种快速空间对齐方法去处理大规模运动的视频. ...
- 视频超分:Zooming Slow-Mo（Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution）
论文:慢动作缩放:快速准确的一阶时空视频超分 文章检索出处: 2020 CVPR 摘要和简介 时空视频超分辨率任务旨在从低帧率(LFR),低分辨率(LR)视频中生成高分辨率(HR)慢动作视频. 一个简 ...
- 视频超分：SMFN（A Single Frame and Multi-Frame Joint Network for 360-degree Panorama Video Super-Resol...）
论文名称:一种用于360度全景视频超分的单帧多帧联合网络 论文链接: https://arxiv.org/pdf/2008.10320.pdf 参考代码:https://github.com/love ...
- AI视频增强 -- Topaz 视频超分 | Topaz Video Enhance AI | 【软件试用】
视频增强 – Topaz 视频超分 | 软件试用 视频超分重建 -->低分辨率 - 转换 高清分辨率 1920 x 1080.4k.8k 文章目录 ❤️ 视频增强 -- 软件试用
- 视频超分：EDVR（EDVR: Video Restoration with Enhanced Deformable Convolutional Networks）
论文:EDVR:视频超分与加强的可变形卷积网络 文章检索出处: 2019 ICCV 摘要和简介 为了处理较大的运动,我们设计了一个金字塔,级联和可变形对齐模块 (PCD).在该模块中,使用可变形卷积从 ...
最新文章
- Java小青蛙跳台街,青蛙跳台阶问题：Java版，递归算法和循环
- C++STL容器大全
- C++中重写与覆写（虚函数virtual）的区别
- python3爬虫学习笔记
- 论文学习5-NODE2BITS: Compact Time- and Attribute-aware Node Representations for User Stitching
- 基于springboot+vue的交通事故案例库系统
- 远程复制无法读取源文件或磁盘
- 《领域驱动设计 DDD》核心知识梳理笔记
- substring字符串截取
- qtp:vbs基础教程
- 使用 Let‘s Encrypt 为 Zimbra-8.8.15 安装可信任的SSL证书
- uniapp-自定义导航栏样式不生效问题(一)
- 在广告文案中的最有诱惑力的十个词
- audio标签无法自动循环播放问题
- Python OpenCV crosscheck交叉特征点出现错误解决办法
- android 环信客服修改自己的头像
- 【LaTeX】MikTex+TexStudio安装及配置论文写作环境
- 渗透tools之POC-bomber
- 模拟电子技术学习笔记-NPN三极管的内部结构
- 鸿蒙最新功能及承载设备详解：HarmonyOS 2及华为全场景新品发布会全纪录