基于深度学习的超分辨率综述

1.单图像超分辨率重建

SISR方法框架由两部分组成，非线性映射学习和上采样模块。
非线性映射学习模块负责完成LR到HR的映射，这过程中利用损失函数引导和监督学习的进程；上采样模块实现重建图像的放大，两个模块协同完成SISR
1.1 超分框架
（1）前端上采样超分框架
前端上采样避免在低维进行映射学习，降低了学习难度，但噪声和模糊也被放大，并且高维卷积运算增加计算量，消耗更多资源

（2）后端上采样超分框架
该框架大部分卷积计算在低维进行，最后再利用端到端可学习上采样层，例如转置卷积和亚像素卷积进行上采样放大

（3）渐进式上采样超分框架
在该框架中，图像放大逐级进行，直到达到目标分辨率，常用卷积级联或者Laplace金字塔等，再结合多级监督等学习策略。

（4）升降采样迭代超分框架
反复进行LR-HR映射学习。

1.2 上采样方法
（1）基于插值的上采样
最邻近插值：放大后灰度值等于最邻近像素
双线性插值：中心点四邻域像素线性内插
双三次插值：16个相邻点进行三次插值
（2）端到端可学习的上采样
转置卷积：逆卷积，即卷积的逆过程
亚像素卷积：像素清洗，利用卷积对图像进行特征提取，再对不同通道的特征图重组，从而得到更高分辨率的特征图，参数都是学习产生。
1.3 非线性映射学习模块
该模块在训练过程中利用LR-HR学习，使模型获得映射能力，可分为四种：基于CNN，基于GAN，基于强化学习，基于Transformer
（1）基于CNN的SR方法
SRCNN、FSRCNN、CDSR、EDSR、DBPN
（2）基于GAN的SR方法
SRGAN
（3）基于深度强化学习的SR方法
（4）基于Transformer的SR方法
TTSR
1.4 损失函数
（1）像素损失函数
包括MSE(均方误差)，像素L1损失函数(平均绝对误差)
实践中L1损失函数实际效果比MSE更好，更能提高模型性能
（2）内容损失
追求人眼感官层面的相似，提升感知质量
（3）对抗损失
对抗损失来源于GAN，后续经WGAN等一些优化
（4）感知损失

2.基于参考的图像超分辨率重建

RefSR借助引入参考图像，将相似度最高的参考图像信息转移到低分辨率图像并进行信息融合。
第一步先将参考图像有用的信息与输入图像信息匹配，再将匹配到的信息进行提取并与输入图像融合，进而重建图像。取决于匹配和融合的准确性。

2.1 像素对齐
先从LR检测稀疏的特征，再在参考图像中进行特征匹配，最后基于匹配特征将原LR映射到另一个图像，从而实现图像对齐。
2.2 patch匹配
Patch匹配是一种纹理合成方法，利用自身图片或参考图片其他区域来恢复目标边缘，如上图的一些方法。
RefSR利用参考图像的信息来补偿低分辨率图像的丢失信息，比SISR有更大优势，但网络模型较复杂，需要消耗更大计算资源，同时探索更好的对齐方法和匹配准则也是研究热点和难点。

3 常用数据集和质量评估

**
3.1 常用数据集
Set5、Set14、BSD100、Urban100、DIV2K、Flickr2K、RealSR、City100、DRealSR等
3.2 图像质量评估
超分重建评估主要分为客观和主观评估两种
（1）峰值信噪比PSNR
是目前超分领域使用最广泛的客观评价指标
（2）结构相似度SSIM
SSIM从人类视觉系统获得灵感，将图像分为亮度、对比度、结构三个部分，
（3）意见平均分MOS
MOS是一种常用的主观图像质量评估方法。
**

4 对比分析与总结展望

**
（1）提出更加复杂的损失函数
（2）实现任意尺度下的超分重建
（3）提升性能的同时追求轻量化
（4）多网络模块组合
（5）真实场景超分重建
（6）无监督超分重建
（7）特殊领域超分重建
（8）交叉模态下的超分