7、Detail-revealing Deep Video Super-resolution(DRDVSR, ICCV2017)

港中文的工作，贾佳亚大佬背书，虽然有公开代码，但是直接使用pb文件，所以无法查看具体模型。即使把pb用tensorboard可视化出来也超级乱。网络整体结构如下：

7.1 先说一下动量估计（Motion Estimation， ME）

直接采用第一篇讲解中VESPCN的MCT模块获得光流预测图F，该部分不需要原文模块中最后的warp操作。

7.2 主要说一下SPMC

这部分所有分析都说很重要，但是原文讲的我感觉蛮乱的，而且使用的字母表达和下图中字母也不一样。比如文中示用JLJ^{L}JL、JHJ^{H}JH表达图像，下面图示又是用ILI^{L}IL、YYY。你再看看上面图示，又是ILI^{L}IL、JHJ^{H}JH。我建议不要看图示了，直接看公式，因为这俩也不匹配。

SPMC包含采样栅极发生器（Sampling Grid Generator）和图像采样器（Image Sampler）前者用于将光流放大，后者用于将图像放大并与光流结合。

7.2.1 采样栅极发生器（Sampling Grid Generator）

令F=(u,v)F=(u, v)F=(u,v)，图像坐标(x,y)(x, y)(x,y)。坐标转换表示为：

这时候得到的(xs,ys)(x^{s}, y^{s})(xs,ys)还只是坐标变换值。
代码实现很简单：

mapping = (get_coords(img) + flow) * scale

7.2.2 可导的图像采样器（Differentiable Image Sampler）

这段甚是麻烦，作者网络实现都还没讲清，就介绍可导性了。图像采样的实现公式表达如下

其中M(x)=max(0,1−∣x∣)M(x) = max(0, 1 − |x|)M(x)=max(0,1−∣x∣)，为双线性插值核。看公式很简单，将采样后的坐标(xps,yps)(x^{s}_{p}, y^{s}_{p})(xps,yps)与放大后的坐标(xq,yq)(x_{q}, y_{q})(xq,yq)做差,然后计算双线性插值，再与原图JpLJ^{L}_{p}JpL相乘。
但问题是1）坐标与LR图像相乘的意义是什么？2）对LR的坐标p求和，又是什么意义？表示双线性插值的那个求和吗？
我个人觉得具体实现是这样的：一般的warp得到光流F后，直接在LR空间对LR图像进行warp。得到的结果依旧是在LR空间的。本文作者将光流F通过乘以系数α\alphaα变换到HR空间，同时将LR图像也经过双线性插值变换到HR空间，然后在HR空间进行warp。个人能力有限，欢迎大佬拍砖解答

7.2.3 SPMC优点

1）将第0帧映射到第i帧，而非其他常用的超分方法将第相邻帧映射到中间帧。
2）提升动量补偿可以直接就产生高质的SR结果，因此用SPMC。
3）在动量补偿时同时扩大尺寸

7.3 最后聊聊细节融合网络（Detail Fusion Net）

说JHJ^{H}JH是大尺寸，而且稀疏具有很多0，所以先降采，然后中间使用LSTM融合多帧信息。此处有个点说之前的VSR可以产生尖锐边缘，但不知道是输入帧固有的，还是从额外数据学的，经过证明发现只有真实的HR细节有用。

7.4 loss

phase1: ME时使用L1 loss
phase2: DF时使用L2 loss
phase3: 最后用上述两者联合训练

8、Recurrent Back-Projection Network for Video Super-Resolution（RBPN，CVPR2019）

这篇很好理解，大概看图就懂。代码
与其他网络通过warp或者stack将多帧堆叠在一起不同，本文将每对(距离当前帧相同远的)上下文信息帧作为分开的信息源。意思就是

经典视频超分论文总结2相关推荐

经典视频超分论文总结1
本文总结一下PaperWithCode中VID4榜上的几篇超分论文. 相关的论文可以查看地址经典视频超分论文总结1 https://blog.csdn.net/longshaonihaoa/art ...
经典视频超分论文总结4
继续看论文,感觉头发都要掉完了,哭== 这次写paperWithCode上vid4榜首的两篇论文相关的论文可以查看地址经典视频超分论文总结1 经典视频超分论文总结2 经典视频超分论文总结3 经典视 ...
real-word super resulution: real-sr, real-vsr, realbasicvsr 三篇超分和视频超分论文
real-world image and video super-resolution 文章目录 real-world image and video super-resolution 1. Towa ...
Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation论文解析（视频超分）
Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation论文解析(视频超分) 论文可 ...
【论文解读】传统图像处理与深度学习又一结合：时空多尺度非局部自相似集成视频超分...
作者丨Happy 编辑丨极市平台导读本文将传统图像处理中的自相似性.金字塔等思路与深度学习相结合进行视频超分,得到了SOTA指标,并为传统图像处理思路与深度学习提供了一个新的结合点.>> ...
超分论文笔记2020CVPR视频超分：Zooming Slow-Mo- VSR with Temporal Group Attention-TDAN
Space-Time Video Super-Resolution (STVSR) 问题定义: 从一个低像素低帧率恢复出高帧率高分辨率的视频. 1.Zooming Slow-Mo: Fast and ...
在Vid4上突破28dB大关！视频超分新的里程碑：IconVSR
BasicVSR:The Search for Essential Components in Video Super-Resolution and Beyond BasicVSR:在视频超分组件上的 ...
图像超分论文阅读列表 super_resolution_paper_lists
文章目录 1. Up-sample operation Real-Time Single Image and Video Super-Resolution Using an Efficient Sub ...
一点就分享系列（理解篇_4+实践篇_2）”干货-全网最简且全”的理解！2020年了！您只知道GAN？ECCV超分论文“IRN” 全家桶大放送！！
一点就分享系列(理解篇_4+实践篇_2)"最新干货"--2020 ECCV 超分论文之一"IRN"(更新中..) 最近开始了csdn坚持原创之旅,目前到了理解篇 ...

经典视频超分论文总结2