基于稀疏表示字典学习的图像超分辨率-杨建超论文解析

文章：《Image Super-Resolution via Sparse Representation》
作者：杨建超

信号稀疏的定义：

令字典D的原子个数M，信号维度为N，则有以下三种关系：

M = N时，D为完备的；

M > N时，D为冗余的；

M>>N时, D为过完备的。

图解如下：

借鉴了压缩感知的思想，通过对大量低分辨率图像和高分辨率图像的稀疏表示和训练降维，实现超分辨率在整个学习样本空间的优化求解。一方面保证了足够的先验知识，减少了重构时所需的数据，提高了效率；另一方面有效克服了领域嵌入方法的过拟合或欠拟合现象。（可以稀疏化表示）

程序函数调用图（右键在新标签页打开图片可以看得更清楚）

程序理解：

在训练字典的时候，只对高分辨率块进行了去中心化，对低分辨率块进行了特征提取，是因为用高分辨率图像块减去其均值是为了更好地表示图像的纹理，而后面对低分辨率样本做的是滤波处理，目的在于提取低分辨率图像的多种特征，不仅仅是纹理特征，所以没有对其进行减去均值的操作。

程序中对低分辨率图像字典Dl和输入图像块同时进行了归一化，然后利用Dl和y，优化求解得到稀疏表示系数w，归一化的操作让优化求解更快的收敛。后面，利用求解得到的稀疏表示系数w与高分辨率图像字典Dh相乘得到高分辨率图像块，对Dh只是一个相乘的操作，没必要归一化，如果要对Dh进行归一化的话，后面还得进行还原，这样反而增加了程序运行的复杂度，所以对高分辨率图像字典Dh可以不进行归一化。

流程图：

对一系列高分辨率图像进行HR图块的选取，再对这些高分辨率的图像降质，形成一系列LR的图块，组成训练集，用字典训练算法联合训练高低分辨率图像块对，形成高低分辨率字典对，保证两个字典的稀疏系数一致。用低分辨率字典作为稀疏表示矩阵，提取待求低分辨率图像的稀疏表示系数，再结合用高分辨率字典反向投影出高分辨率图像块，再连接形成高分辨率图像。

总结一下特征块的选取步骤：

低分辨率图像特征小块的步骤：首先对训练库中的高分辨率图像进行下采样处理，得到低分辨率图像，然后对得到的低分辨率图像进行上采样，通过插值得到与原始高分辨率图像同样大小的图像，最后，利用四个滤波器hf1, vf1, hf2,vf2来提取其中的高频细节特征。

高分辨率图像特征小块的获取简单些：首先，对训练库中原始高分辨率图像进行分块操作，然后，减去其均值即可。

得到低分辨率图像特征小块和高分辨率图像特征小块之后，再将它们组合在一起进行联合字典训练来保证低分辨率图像块和高分辨率图像块稀疏表示系数的一致性。

《Image Super-Resolution via Sparse Representation》（基于稀疏表示的图像超分辨率）译文：

转自：http://www.aichengxu.com/view/1500436

摘要：本文提出了一种基于稀疏信号表示来实现单幅图像超分辨率重建的新方法。研究图像的统计数据表明，图像块可以表示为选择适当超完备字典的稀疏线性组合形式，通过这种观测报告的启发，我们寻求一种对低分辨率输入图像块的稀疏表示，然后用此稀疏表示的系数来生成高分辨率输出。压缩感知理论（Compressive
Sensing，CS）指出，一幅图像能够在非常苛刻的条件下由它的一组稀疏表示系数在超完备字典上得到精确重建。通过对低分辨率图像块字典和高分辨率图像块字典的联合训练，我们可以强化低分辨率和高分辨率图像块与之对应真实字典稀疏表示的相似性，从而低分辨率图像块的稀疏表示和高分辨率超完备字典一起作用可以重建出高分辨率图像块，然后由高分辨率图像块连接得到最终完整的高分辨率图像。学习字典对是块对更紧凑的表示，它只需对大量图像块对进行采样，相比传统方法，该方法的计算成本得到显著地降低。稀疏表示的有效性在图像超分辨率重建和人脸幻构（face
hallucination）的特殊情况下均得到了证明。在这两种情况下，我们的算法生成的高分辨率图像具有极大的竞争性，甚至在生成图像的质量上比其他类似的图像超分辨率（SR）方法更有优势。此外，我们这种方法的局部稀疏模型对噪声具有自适应鲁棒性，因此，该算法可以在一个更统一的框架下对有噪声输入的图像进行图像超分辨率处理。

关键词：人脸幻构，图像超分辨率，非负矩阵分解，稀疏编码，稀疏表示
一、前言
超分辨率图像重建是当前非常活跃的一个研究领域，它克服一些低成本成像传感器（例如，手机或监控摄像机）固有分辨率的限制，并且使高分辨率显示器（例如，高清液晶显示器）得到更好的利用。这样的分辨率增强技术也可能在医疗影像和卫星成像中被证明是必不可少的，因其从低质量图像中诊断或分析是非常困难的。传统方法生成超分辨率图像通常需要输入同一场景的多幅低分辨率图像，所以这些方法也需要对亚像素精度进行对准。图像超分辨率重建的过程可以看作是低分辨率图像融合恢复出原始高分辨率图像的逆问题，这一问题是以合理假设或先验知识将高分辨率图像映射成低分辨率图像的观测模型为基础的。SR重建的基本约束，就是对恢复的图像应用相同的生成模型后，本应该重新生成所观测的低分辨率图像，然而，超分辨率图像重建本身是一个病态问题(ill-posed problem)，因其低分辨率图像数量不足，病态的登记和未知的模糊算子，以及重构约束的解不唯一，为了更进一步稳定这个病态问题反演的各种正则化方法也不断被提出。
然而，当所需的放大因子变大或可用的输入图像数量很少时，这些基于重建的SR算法性能将急剧降低。在这些情况下，结果可能是过于光滑，丢失重要的高频细节信息。另一类是基于插值的图像超分辨率方法，虽然简单的插值方法如双线性或双三次插值会产生带有振铃和锯齿伪影的过平滑图像，但是利用自然图像先验知识进行插值通常会产生更好的结果。Dai等人提出用背景/前景描述算子来表示局部图像块和重建两个图像块之间的尖锐不连续。Sun等人探索出了针对局部图像结构的梯度轮廓的研究方法并应用于图像超分辨率重建，这种方法在放大图像边缘信息的保留方面比较有效。然而，它们对于模拟实际图像的视觉复杂性却是有限的,对自然图像的精细纹理或渐变，这些方法往往会产生类似水彩画的假象。

图像超分辨率重建技术的第三类方法是基于机器学习的方法，这种方法主要利用低分辨率和高分辨率图像块的先验知识来进行SR重建。【9】提出了针对普通格式图像的基于实例学习的方法，该方法主要是通过置信传播的马尔科夫随机场（MRF）来预测低分辨率到高分辨率图像的重建过程；【10】使用初始简图增强模糊边缘、脊、角点，然而，这和先前方法一样需要巨大的数据库要求和成千上万的高分辨率和低分辨率图像块对，自言而然它的计算复杂度也就很高了；【11】采纳了流行学习局部线性嵌入的方法，推定高分辨率和低分辨率图像块空间存在相似的流行向量，该算法是将低分辨率图像块的局部几何空间映射投影到高分辨率图像块几何空间，从而生成一个线性邻域组合，利用这种方法，更多的图像块模式可以用一些更小的训练集来表示，然而，由于过拟合或欠拟合，K邻域重建方法经常会造成模糊效应。上文中提出了一种基于稀疏编码的自适应选择最相关重建邻域，有效避免了过拟合和欠拟合，但缺点是对大量采样图像块数据库的稀疏编码是比较耗时的。
尽管已经有了很多通用的图像超分辨率重建方法，但是针对特定的领域（比如人脸图像）需要采取特定的SR处理方法。人脸幻构的问题是由Baker和Kanade首次提出来的，然而，基于梯度金字塔的预测并没有直接对人脸先验知识进行建模，像素的单独预测也造成了间断点和假象。Liu等人提出了融合PCA主成分分析和局部图像块建模的“两步走”统计方法，虽然这种方法可以得到比较好的结果，但是整体PCA主成分分析模型得到的平均脸和概率局部图像块模型是很复杂和计算量很大的。WeiLiu等人提出了一种基于TensorPatches和剩余补偿的新方法，虽然该算法可以得到更多的脸部细节，但是它也会相应地产生更多的假象。
本文重点研究低分辨率图像的超分辨率重建问题，类似于上述基于学习的方法，我们也将依靠输入的图像块信息，不同的是，我们是首先对图像块对进行压缩表示，而不是直接处理低分辨率和高分辨率图像块对，这样显著地提高了算法速度。我们的方法主要是受到近期关于稀疏信号表示研究的启发，研究表明高分辨率信号可以由它们低维投影的线性关系重新恢复出来，尽管图像超分辨重建是一个不可能精确恢复的病态问题，但是依靠图像块的稀疏表示，这个逆问题的鲁棒性和有效性可以得到很大的改善。
1.基本思路

二、基于稀疏度的图像超分辨率重建
1.重建约束条件

（2）

2.稀疏先验知识

2.1基于稀疏表示的普通图像SR重建

2.1.1稀疏表示的局部模型

2.1.2全局重建的约束增强

2.1.3全局优化

2.2基于稀疏表示的人脸图像SR重建

人脸图像分辨率增强在监控方面需求较大，由于监控摄像头和感兴趣的目标物体（或人）一般距离较远，与上述普通图像的SR重建不同，人脸图像的结构更加规则，所以更容易处理。对于人脸SR，基本思想：首先利用人脸先验知识将输入低分辨率图像放大到合适的中等分辨率图像，然后利用局部稀疏先验模型来恢复细节。确切的说，过程应该分两步：
（1）全局建模：利用重建约束恢复出中等分辨率人脸图像，但是这只能在人脸子空间中处理；
（2）局部建模：利用局部稀疏模型恢复细节。
2.2.1非负矩阵分解（NMF）
人脸SR中最常用的子空间建模方法就是主成分分析（PCA）,它主要是选取低维子空间，然而PCA是基于全局的方法，和中值一样会产生平滑脸，并且由于主成分表示会出现负系数，所以PCA重建过程往往也是很难描述的。
尽管人脸是包含无数方差的物体，但是它也是由几个相对独立的部分组成的，比如眼睛，眉毛，鼻子，嘴巴，脸颊和下巴。非负矩阵分解NMF把所给人脸图像信号表示成局部特征的一种相加组合，为了找到合适的基于部分的子空间，非负矩阵分解NMF转换成如下的优化问题：

2.2.2“两步”人脸SR重建

基于最大后验概率（MAP）

算法2（基于稀疏表示的人脸幻构）

三、学习字典对
3.1．单一字典训练

（17）

这是一个带有二次约束的二次规划问题，存在很多优化方案；

3.2. 联合字典训练
给定采样训练图像块对，其中是高分辨率图像块的样本集，是低分辨率图像块的样本集，我们的目的是为了实现对高分辨率和低分辨率图像块学习字典的稀疏表示，对高分辨率图像块的稀疏表示和低分辨率图像块的稀疏表示方法是一样的，同时由于图像SR重建本身是就是一个病态（ill-posed）问题，所以这在实际处理也是比较困难的，高分辨率和低分辨率图像块空间各自的稀疏编码问题分别是：

假如把这些组合起来，用相同的编码来表示高分辨率和低分辨率图像块，表达式可以转换为：

3.3 低分辨率图像块的特征表示
考虑到一阶和二阶导数的简单高效，本文主要使用一阶和二阶导数作为低分辨率图像块的特征，以下是用来提取导数的四个一维滤波器：

（26）

这四个滤波器处理每个图像块可以产生四个特征向量，通过连接组合作为低分辨率图像块的最终表示，我们的实现方法中，这四个滤波器并不是直接作用于采样的低分辨率图像块，而是作用于训练的图像，所以对每一幅低分辨率训练图像，可以得到四个渐变映射，然后从这些渐变映射每个位置提取四个图像块并将其连接成为特征向量。因此，每个低分辨率图像块的特征表示也将其领域信息编码进去，这将更好地预测最终SR重建图像的邻边信息。
实际中，我们发现从低分辨率图像的上采样图像中提取特征效果要好于原始图像。

四、实验结果
4.1 单幅图像的SR重建
4.1.1 普通图像的SR重建

4.1.2 脸部图像的SR重建

4.2 字典大小的影响

4.3 对噪声的鲁棒性

4.4 全局约束的影响

五、总结
本文提出了一种新颖的基于稀疏表示的单幅图像超分辨率重建算法，基本思想是通过对高分辨率超完备字典和低分辨率超完备字典进行联合训练以保证它们稀疏表示系数的一致性，这种方法使得局部和全局的相邻图像块之间的兼容性均得到了加强，实验结果表明这种基于图像块先验知识的稀疏表示对普通图像和人脸图像都有很好的效果。然而，对于图像超分辨重建，接下来的重点研究问题是对自然图像块确定最优的字典大小，并将其与压缩感知的理论更加紧密地联系起来，利用其找到合适的图像块大小和训练字典对的合适方法。
附：由于博客上传图片容量大小的限制，论文的部分实验结果图片本未放上来。
杨建超大牛主页：http://www.ifp.illinois.edu/~jyang29/

参考：

论文名字：《Image Super-Resolution via Sparse Representation》
作者：杨建超

杨建超主页：http://www.ifp.illinois.edu/~jyang29/

论文原文：http://www.columbia.edu/~jw2966/papers/YWHM10-TIP.pdf

论文中文翻译：http://blog.csdn.net/mengmee_pku/article/details/51577603

论文详解及程序流程图：http://blog.csdn.net/jiangjieqazwsx/article/details/50414259

论文源程序（MATLAB CODE）：https://github.com/luckyjie/digital-image-processing/tree/master/ScSR

代码可能遇到的问题：http://blog.csdn.net/jiangjieqazwsx/article/details/50373866

基于稀疏表示字典学习的图像超分辨率-杨建超论文解析相关推荐

【图像重建】基于matlab字典学习KSVD图像低秩重建【含Matlab源码 1762期】
⛄一.低秩稀疏图像重建简介 1 矩阵的低秩稀疏分解理论从数学上讲, 矩阵的秩反应了矩阵的固有属性, 矩阵的低秩性是指矩阵的秩相对于矩阵的行数和列数而言很小.低秩矩阵稀疏分解模型是将已知矩阵M (M∈ ...
FusionNet：基于稀疏雷达点云和RGB图像的深度图补全
作者:Tom Hardy Date:2020-02-09 来源:FusionNet:基于稀疏雷达点云和RGB图像的深度图补全
ESRGAN：基于GAN的增强超分辨率方法（附代码解析）
作者丨左育莘学校丨西安电子科技大学研究方向丨计算机视觉之前看的文章里有提到 GAN 在图像修复时更容易得到符合视觉上效果更好的图像,所以也是看了一些结合 GAN 的图像修复工作. ESRGAN: ...
【图像超分辨率重建】——GRL论文精读笔记
2023-Efficient and Explicit Modelling of Image Hierarchies for Image Restoration(RGL) 基本信息作者: Yawei ...
【图像超分辨率重建】——HAN论文阅读笔记
Single Image Super-Resolution via a Holistic Attention Network 基本信息期刊:ECCV2020 摘要:信息特征在单幅图像的超分辨率处理中 ...
【图像超分辨率重建】——EDSR论文精读笔记
2017-Enhanced Deep Residual Networks for Single Image Super-Resolution(EDSR) 基本信息作者: Bee Lim Sanghy ...
【图像超分辨率重建】——HAN论文精读笔记
2020-Single Image Super-Resolution via a Holistic Attention Network(HAN) 基本信息作者: Ben Niu; Weilei We ...
【图像超分辨率重建】——SwinIR论文精读笔记
2021-SwinIR: Image Restoration Using Swin Transformer (SwinIR) 基本信息作者: Jingyun Liang, Jiezhang Cao, ...
【图像超分辨率重建】——SAN论文精读笔记
2019-Second-order Attention Network for Single Image Super-Resolution(SAN) 基本信息作者: Tao Dai, Jianrui ...
【图像超分辨率重建】——RCAN论文精读笔记
2018-Image Super-Resolution Using Very Deep Residual Channel Attention Networks(RCAN) 基本信息作者: Yulun ...

基于稀疏表示字典学习的图像超分辨率-杨建超论文解析

基于稀疏表示字典学习的图像超分辨率-杨建超论文解析相关推荐

最新文章

热门文章