Remote Sensing Image Super-resolution: Challenges and Approaches

  • 遥感图像超分辨率的挑战和方法
    • 1 摘 要
    • 2 遥感观测模型
    • 3 遥感中的SR模型
      • 3.1 基于学习的SR模型
      • 3.2 基于内插的SR模型
      • 3.3 频域SR模型
      • 3.4 概率论SR模型
    • 4 实验结果
    • 5 结论
    • 参考文献

遥感图像超分辨率的挑战和方法

1 摘 要

随着卫星图像处理的发展，遥感在现代社会中也越来越重要。然而，由于目前成像传感器的局限性和复杂的大气条件，空间分辨率、光谱分辨率、辐射分辨率和时间分辨率有限，我们在遥感应用中面临着巨大的挑战。因此，超分辨率技术引起了人们的广泛关注，通过该技术可以提高低质量低分辨率的遥感图像。本文讨论了遥感图像超分辨率中的挑战，回顾了相关方法。更具体地说，我们回顾并讨论了不同类别的遥感技术，即基于学习的、基于插值的、基于频域的和基于概率的方法。此外，还对超分辨率的应用和未来的研究方向进行了讨论。

在遥感成像应用中，需要高质量的图像，而高分辨率(HR)图像通常是遥感图像分析和处理过程中所需要的。然而，由于遥感图像传感器的限制和其他因素，如光学系统畸变、大气干扰、运动、成像系统噪声等，RS图像总是失真。同时，获取的低分辨率RS图像在许多遥感应用中存在困难，如地图更新、道路提取和军事目标识别等。因此，从低分辨率(LR)图像构建HR图像是非常有用的。这样就可以提高LR图像的分辨率与补充信息，提高图像质量。SR技术可以突破图像采集设备的分辨率限制，在亚像素级实现LR图像序列的互补信息的图像重建。因此，SR技术可以在资源开发、环境监测、灾害研究、全球变化分析等方面提供帮助。

超分辨率(SR)技术是用单幅低分辨率(LR)图像或LR图像序列重建HR图像。LR图像序列的亚像素移动通常用于SR图像重建。它们可以从不同传感器的同一区域图像中同时获取。SR重建技术是由Harris[1]和Goodman[2]在20世纪60年代提出的，旨在利用单幅LR图像重建HR图像。1984年，为了提高Landsat TM图像的空间分辨率，Tsai和Huang[3]首次提出了多帧LR图像的重建思想。经过多年的发展，超分辨率重建技术已经趋于成熟，并在很多领域得到了应用。SR技术因其简单易行的定位模型(registration model)，可以实现对视频图像、静态图像的良好重建。但对于遥感影像，由于地形地貌复杂，定位难度较大。SPOT-5卫星系统中的超级模式是最成功的应用之一。它通过使用硬件方法和影像处理方法来克服注册的问题[4]。本文其余部分的组织结构如下：

  1. 第一节，介绍SPOT-5卫星系统中的超模式。
  2. 第二节，首先介绍了观测模型，并描述了遥感图像的退化过程，然后介绍了四类SR图像重建技术。
  3. 第三节讨论了四类SR图像重建技术。
  4. 第四节介绍了不同现状SR图像重建方法的实验结果。
  5. 第五节是本文的结论。

2 遥感观测模型

图像在采集过程中会出现各种退化。降级过程可以通过四种操作[4]，[5]，[6]来建模。

  • 翘曲（Warping）：平移、旋转和缩放。
  • 模糊（Blurring）：低通滤波器。
  • 下采样（Down-sampling）：按q1×q2的系数进行下采样。
  • 噪声（Noise）：大概率的白高斯（white Gaussian）。

该模型可以用矩阵形式表示：

Yk=DkBkWkX+Nk，k=1，2，…，Z （1）

其中

  • X为原始HR图像，大小为M1×M2，
  • Z为LR图像的总数，
  • Wk为翘曲矩阵，保留图像采集过程中的运动信息，
  • Bk为模糊矩阵，代表光学系统问题引起的模糊因子，
  • Dk为下采样算子，Nk通常表现为高斯噪声，
  • Yk为第k张LR图像，大小为L1×L2，其中L1=M1/q1，L2=M2/q2。

HR图像和LR图像均采用词序向量形式表示，大小分别为M1M2×1和L1L2×1。
根据公式1，降级程序可以简化模型，使Ak=DkBk。则公式表示为

yk＝Akx＋nk，k＝1，2，…，z （2）

HR图像与LR图像相关的观测模型如图1所示。SR重建是一个可行的图像退化的逆过程。因此，解等于确定矩阵Ak。即

  • （一) 运动估计得到Wk
  • (二)模糊估计得到Bk
  • (三)噪声估计，确定Nk

这三个矩阵都是稀疏的，应从LR图像中估计，因此SR重建是一个病态问题（ill-posed problem）[7]。

3 遥感中的SR模型

超分辨率重建方法是指从低分辨率（LR）图像序列中生成高分辨率（HR）图像的技术。如本文前面所述，遥感中使用的SR图像重建技术可分为四类。

  • (i)基于学习的方法
  • (ii)插值法
  • (iii)基于频域的方法
  • (iv)基于概率论的方法

3.1 基于学习的SR模型

基于学习的方法是目前SR重建的一个重要研究方向。它的目的是通过训练数据库中LR和HR图像之间的对应块（patch）来学习事先的映射知识。映射模型可以是一组学习到的插值核，也可以是LR图像块的查找表或LR图像块和HR图像块之间的映射系数。
稀疏表示法是基于学习的SR方法之一。它最早是由Yang等人在[8]中提出的，可以分为三个步骤。首先，从训练集中简单随机采样的训练补丁中学习一个超完全字典。然后，将每个测试补丁用具有稀疏系数的过完备字典表示。最后，用加权系数重建HR图像。

在[9]中，应用稀疏表示法重建遥感图像。过完全字典可以分为两部分，原始字典对和残差字典对。第一种是从单幅LR图像中获得初始HR遥感图像。第二种是基于学习的方法，从原始HR图像中重建有损信息。据考证，采用这种方法，可以有效提高分辨率。支持向量回归（SVR）是一种内核回归方法，具有良好的非线性映射能力。Zhang等人在[10]中利用支持向量回归(SVR)方法学习HR图像和LR图像之间的先验知识。将[10]中缺乏高频的插值图像过度采样到相同分辨率，采用双线插值法进行插值。在重建HR图像时，利用从SVR中学到的先验知识来估计高频成分。[10]的目的是将LR ETM+图像转换为单一的HR ASTER图像。[10]的实验结果表明，即使是少量的样本，SVR也能很好地学习模型。

3.2 基于内插的SR模型

与基于学习的方法相比，SR图像重建的插值法是一种比较直观的方法。它可以分为三个步骤。

  1. 识别步骤：SR重建的基础。
  2. 重建步骤。将LR图像插值到规则的HR网格中。插值方法可以是二次插值、投影到凸集上(POCS)、迭代反向传播(IBP)等。
  3. 去模糊化步骤：去除模糊和噪声，提高重建图像的分辨率。

在这三个步骤中，步骤(ii)是插值SR的核心步骤。步骤(i)和(iii)是辅助步骤。Aguena等[11]采用POCS方法来做融合过程中的插值。POCS算法最早是由Stark和Oskoui[7]提出的，他们成功地将先验知识以凸集的形式结合到模型中。

[11]的目标是得到多光谱(CBERS-1的波段)和全色(Landsat-7的波段)图像的组合特征。该过程可分为两步：插值重建和综合。在这里，我们只介绍重建过程。POCS最重要的特点是可以很容易地将解的先验信息纳入到模型中，找到一个满足限制条件的点。凸约束集由所有的限制条件组成。通过迭代投影到凸集上，可以在交点中找到所需的点，并将其纳入SR重建图像中。

迭代反向传播(IBP)也是最流行的插值方法之一。在[12]中，通过成像模糊模拟LR图像与观察到的LR图像之间的差值进行反向传播，从而估算出SR图像。重建过程是通过迭代最小化误差能量来实现的。在原有方法的基础上，Li等人[13]对遥感图像应用了改进的IBP，并对每个传感器分别选择模糊核。此外，在反向传播过程中，对误差图像采用了不同的系数。通过对一组由一个ETM+通道生成的图像和一组ALOS图像序列进行实验，将得到SR重建结果。

3.3 频域SR模型

频域的SR模型通过傅里叶变换和反傅里叶变换（或其他变换，如小波变换）来解决重建问题。频域SR重建的主要思想是以较低的计算复杂度直观地增强高分辨率信息。它可以分为四个步骤。

  1. (i)图像注册；
  2. (ii)向频域变换；
  3. (iii)重建；
  4. (iv)回空间域变换。

为了提高图像在频域的分辨率，我们可以增加图像的高频成分。其中一个可行的方法是避免别名效应。Chen等[14]采用频谱去锯齿的方法重建HR图像。LR图像首先由原始HR遥感图像的子采样和傅里叶变换生成。为了得到转换参数，采用相位相关法。有了转换参数和光谱去锯齿法，就可以重建图像。最后，通过反傅里叶变换生成HR图像。与双线性插值法相比，去锯齿法的结果表现更好。基于小波插值的方法将小波变换和插值结合起来，最早由Nguyen和Milanfar[15][16]提出。

在[17]中，Tao等人首先用DWT方法对遥感图像进行分解。小波系数插值图像可以通过最近插值、双线插值或双立方插值生成。通过反离散小波变换得到SR图像。结果表明，小波-小波插值组合算法有效地保护了原HR图像的高频信息。傅里叶-小波正则化解卷(ForWarD)是另一种恢复HR图像的方法[18][19]。它利用傅里叶域和小波域的标量收缩来实现噪声正则化和重建。ForWarD是一种两步算法。第一步是基于傅里叶的Weiner滤波，这是为了建立一个锐利的图像。第二步是应用静止小波变换进行去噪。对NASA的几幅卫星图像进行了测试。结果表明，该算法可以应用于任何分辨率的图像，以实现高分辨率。

3.4 概率论SR模型

由于SR重构问题是一个不确定的问题，因此必须附加一些先验条件和限制，以将SR重构问题转化为一个确定的问题.，由此提出了一些基于概率论的方法。贝叶斯方法由于可以将先验概率密度函数与先验约束条件结合起来，因此在SR重建中得到了广泛的应用。其基本思想是同时考虑LR观测图像和未知HR图像的先验知识，用贝叶斯理论得到HR图像。最大似然(ML)方法是最流行的基于贝叶斯的方法之一，它是由Tom和Katsaggelos[20]首先提出的。解决的方法是找到HR图像的ML估计方法，关键点是求解概率密度函数（PDF）。

最大后验(MAP)方法是另一种基于贝叶斯的流行方法，该方法假设在LR图像序列存在的条件下，通过最大化其后验概率可以获取HR图像。Wang等[21]提出了一种基于迭代优化的MAP方法，在保留多光谱图像光谱信息的前提下重建SR图像。除了一组SPOT XS LR图像外，还需要全色图像。通过高通滤波器，可以提炼出高频信息，用于与插值的多光谱图像相结合。基于映射计算均值和方差后，将得到初级HR图像。然后提出基于MAP的迭代优化方法，以收到进一步提高分辨率和避免质量下降的效果。通过这种方法，重建后的HR图像的空间分辨率得到提升，且光谱信息损失小。

总变异(TV)是一种有效的基于正则化的SR方法，具有保留边缘的能力。然而，伪边缘也可以被保留并产生平滑区域。针对这一缺点，袁志明等[22]提出了一种基于遥感图像的区域空间自适应总变异(RSATV)模型，明显改善了伪边缘。首先，逐个像素提取空间信息，并采用中值滤波器对其进行增强。然后构建空间权重，并进行过滤。之后，采用K-means聚类进行分类。通过这两个过滤过程，分别对伪边缘进行抑制。最后，对于每个区域，聚类中心值代表正则化强度。所以，总变正则化由基于像素的转变为基于区域的。在遥感上测试，这种方法不仅可以保留边缘，而且对噪声也很健壮。tikhonov正则化也是一种SR重建方法，它以Tikhonov A N命名[23]。它是解决不确定问题的一种常用方法。通过加法，Tikhonov正则化在均方误差成本函数的基础上生成原图像的先验概率函数。与其他正则化方法相比，Tikhonov正则化可以同时保持边缘和平滑噪声。

4 实验结果

本文利用从ISPRS下载的多伦多市中心上空拍摄的数字航空图像做遥感SR重建实验。如图2所示，将尺寸为512×512的裁剪图像作为原始HR图像，生成LR图像。在图1所示观测模型的基础上，通过亚像素精度的移位和变焦系数的下采样，得到4幅LR图像（每幅尺寸为256×256）。我们采用四种方法来比较SR重建的效果。稀疏表示法(SRP)、POCS、小波插值法(WI)、Tikhonov正则化法(TR)。POCS和Tikhonov Regularization方法需要一个LR图像序列来利用互补信息。我们将四幅LR图像全部作为输入，但小波插值法和Tikhonov正则化法需要一连串的LR图像来利用互补信息。然而，小波插值法和稀疏表示法只需要一张LR图像。所以我们取第一幅LR图像作为输入。特别是对于稀疏表示法，我们采用论文的官方代码[8]。训练数据为100张数字航空图像。我们选择50000个补丁来训练另一个字典。

结果分别如图2所示。为了评价重建结果的质量，与原始HR图像进行比较，我们采用了三个质量评价因子。PSNR(Peak Signal to Noise Ratio)、MSE(Mean Squared Error)、SSIM(Structural Similarity)。我们还计算了每种方法的时间成本。所有的评价指数都在表I中列出。时间成本的获得其中CPU为Intel® Xeon® E5-2630 v2，双核处理器，主频2.60GHz，内存64G。根据表I中的结果，我们可以得出结论，WI方法在我们测试的RS图像上优于其他方法。而且，WI方法的速度比其他方法快。值得注意的是，SRP方法的训练过程需要较长的时间来获得补丁数据和用于训练的RS图像的字典。

5 结论

本文对遥感图像的超分辨率重建技术进行了全面综述。具体介绍了四种SR重建类别：基于学习的SR、基于插值的SR、基于频域的SR和基于概率理论的SR。我们还基于几种最新的方法进行了实验，提出了遥感图像的SR重建结果。由于SR重建技术可以克服成像系统固有的分辨率限制，可以有效提高航空图像或卫星图像的分辨率。因此，SR重建技术在遥感领域已被证明具有实用性和重要价值，在识别定位、图像融合、环境监测、灾害研究和全球变化分析等方面得到了广泛应用。

参考文献

[1] J. L. Harris, “Diffraction and Resolving Power,” Journal of the Optical Society of America (1917-1983), vol. 54, p. 931, Jul. 1964.
[2] J. W. Goodman et al., Introduction to Fourier optics. McGraw-hill New York, 1968, vol. 2.
[3] R. Tsai and T. S. Huang, “Multiframe image restoration and registration,” Advances in computer vision and Image Processing, vol. 1, no. 2, pp. 317–339, 1984.
[4] H. Zhang, Z. Yang, L. Zhang, and H. Shen, “Super-resolution reconstruction for multi-angle remote sensing images considering resolution differences,” Remote Sensing, vol. 6, no. 1, pp. 637–657, 2014.
[5] C. Papathanassiou and M. Petrou, “Super resolution: an overview,” DTIC Document, Tech. Rep., 2005.
[6] J. Yang and T. Huang, “Image super-resolution: Historical overview and future challenges,” Super-resolution imaging, pp. 20–34, 2010.
[7] P. Oskoui-Fard and H. Stark, “Tomographic image reconstruction using the theory of convex projections,” IEEE Transactions on Medical Imaging, vol. 7, no. 1, pp. 45–58, 1988.
[8] J. Yang, J. Wright, T. S. Huang, and Y. Ma, “Image super-resolution via sparse representation,” IEEE Transactions on Image Processing, vol. 19, no. 11, pp. 2861–2873, 2010.
[9] Y. Zhang, W. Wu, Y. Dai, X. Yang, B. Yan, and W. Lu, “Remote sensing images super-resolution based on sparse dictionaries and residual dictionaries,” in International Conference on Dependable, Autonomic and Secure Computing (DASC). IEEE, 2013, pp. 318–323.
[10] H. Zhang and B. Huang, “Scale conversion of multi sensor remote sensing image using single frame super resolution technology,” in International Conference on Geoinformatics. IEEE, 2011, pp. 1–5.
[11] M. L. Aguena and N. D. Mascarenhas, “Multispectral image data fusion using pocs and super-resolution,” Computer Vision and Image Understanding, vol. 102, no. 2, pp. 178–187, 2006.
[12] S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: a technical overview,” IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 21–36, 2003.
[13] F. Li, D. Fraser, and X. Jia, “Improved ibp for super-resolving remote sensing images,” Geographic Information Sciences, vol. 12, no. 2, pp. 106–111, 2006.
[14] X. Chen, “The research on the althorithms of super-resolution remote sensing image reconstruction in spectral domain (in chinese),” Master’s thesis, China University of Geosciences (Beijing), 2008.
[15] N. Nguyen and P. Milanfar, “An efficient wavelet-based algorithm for image superresolution,” in International Conference on Image Processing, vol. 2. IEEE, 2000, pp. 351–354.
[16] ——, “A wavelet-based interpolation-restoration method for superresolution (wavelet superresolution),” Circuits, Systems and Signal Processing, vol. 19, no. 4, pp. 321–338, 2000.
[17] H. Tao, X. Tang, J. Liu, and J. Tian, “Superresolution remote sensing image processing algorithm based on wavelet transform and interpolation,” in Third International Asia-Pacific Environmental Remote Sensing Remote Sensing of the Atmosphere, Ocean, Environment, and Space. International Society for Optics and Photonics, 2003, pp. 259–263.
[18] R. Neelamani, H. Choi, and R. Baraniuk, “Forward: Fourier-wavelet regularized deconvolution for ill-conditioned systems,” IEEE Transactions on Signal Processing, vol. 52, no. 2, pp. 418–433, 2004.
[19] S. A. Devi and A. Vasuki, “Image super resolution using fourier-wavelet transform,” in International Conference on Machine Vision and Image Processing (MVIP). IEEE, 2012, pp. 109–112.
[20] B. C. Tom and A. K. Katsaggelos, “Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of lowresolution images,” in Proceedings of the IEEE International Conference on Image Processing, vol. 2. IEEE, 1995, pp. 539–542.
[21] S. Wang, L. Zhuo, and X. Li, “Spectral imagery super resolution by using of a high resolution panchromatic image,” in IEEE International Conference on Computer Science and Information Technology (ICCSIT), vol. 4. IEEE, 2010, pp. 220–224.
[22] Q. Yuan, L. Yan, J. Li, and L. Zhang, “Remote sensing image superresolution via regional spatially adaptive total variation model,” in IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2014, pp. 3073–3076.
[23] A. N. Tikhonov, “Regularization of incorrectly posed problems,” in Soviet Math. Dokl, vol. 4, no. 6, 1963, pp. 1624–1627.

【图像超分辨率】Remote Sensing Image Super-resolution: Challenges and Approaches相关推荐

  1. 【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network

    对于遥感图像的超分辨率,本文提出了一种自适应多尺度特征融合网络(AMFFN). AMFFN 可以直接从原始低分辨率图像中提取密集特征,而无需任何图像插值预处理.串联几个自适应多尺度特征过滤块(AMFE ...

  2. 学习笔记之——基于深度学习的图像超分辨率重建

    最近开展图像超分辨率( Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已 ...

  3. 基于深度学习的图像超分辨率重建

    最近开展图像超分辨率( Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已 ...

  4. 深度学习（6）：图像超分辨率（Image Super Resolution）重建

    目标:使用深度学习技术对图像进行超分辨率重建,涉及到的技术包括卷积神经网络,生成对抗网络,残差网络等. 技术:本实验使用到"Jupyter Notebook"等开发组件,涉及到了& ...

  5. 基于Python的图像超分辨率（Image Super Resolution）

    资源下载地址:https://download.csdn.net/download/sheziqiong/85596189 一.业务背景 本实验将使用时深度学习技术对图像进行超分辨率重建,设计到的技术 ...

  6. 深度学习（二十）——Ultra Deep Network, 图像超分辨率算法

    http://antkillerfarm.github.io/ Ultra Deep Network FractalNet 论文: <FractalNet: Ultra-Deep Neural ...

  7. 【图像超分辨率】MSAN:Scene-Adaptive RS Img SR a Multiscale Attention

    MSAN:Scene-Adaptive Remote Sensing Image Super-Resolution Using a Multiscale Attention Network 摘要 I ...

  8. 【图像超分辨率】SR for RS via Local–Global Combined Network

    Super-Resolution for Remote Sensing Images via Local–Global Combined Network 摘要 I. 引言 II. 方法 A. 用于超分 ...

  9. 一键提升多媒体内容质量：漫谈图像超分辨率技术

    编者按:作为将模糊的图像变清晰的神奇技术,图像超分辨率技术在游戏.电影.相机.医疗影像等多个领域都有广泛的应用.在这篇文章中,微软亚洲研究院的研究员们为你总结了图像超分辨率问题中的主流方法.现存问题与 ...

最新文章

  1. Go 学习笔记（62）— Go 中 switch 语句中的 switch 表达式和 case 表达式之间的关系
  2. ADO.NET—数据提供程序(连接类)
  3. 【LDPC/STBC】基于LDPC/STBC编译码的图像传输系统的MATLAB仿真
  4. maven中jar下载失败
  5. c语言输入字符串做四则运算,C++字符串四则运算实例讲解
  6. java连接mysql url_java连接数据库URL
  7. WP7之LongListSelector控件
  8. 老男孩python14期全套-老男孩第十四期Python学习班之Day01
  9. Srs之state-threads研究
  10. 【重磅】《演化学习：理论与算法进展》| 南大周志华、俞扬、钱超重要成果...
  11. Student数据库创建
  12. 基于51单片机的铂电阻PT100温度计proteus仿真
  13. Linux页高速缓存与文件读写
  14. 国外名校课程视频爆红 网友总结“必杀技”(图)
  15. 我的网站，爱野史网，上线。
  16. 住院管理系统数据库课程设计
  17. 向爱康家园投稿：将“女排精神”发扬到工作中去
  18. 加州大学计算机硕士,加州大学伯克利分校计算机科学硕士
  19. html 最小长度单位,最小的长度单位是多长？
  20. 使用Hook拦截sendto函数解决虚拟局域网部分游戏联机找不到房间的问题——以文明6为例

热门文章

  1. recyclerview的数据刷新（下拉刷新和自动加载更多）以及添加提示语（例如：“数据已加载完毕”）
  2. iphone图片编辑画笔_苹果超强新功能上线！它打开了 iPhone 摄影的新大门
  3. Android修改原生AlertDialog按钮的颜色大小边距位置以及标题居中等
  4. sql入侵 mysql日志_服务器入侵日志分析（一）——mysql日志位置确定
  5. DeepLink唤醒App的简单实现方法
  6. 理解SpringMVC-------DispatchServlet
  7. CoreOS上的Fleet，第二部分
  8. Java操作memcache
  9. 利用 CocoaLumberjack 搭建自己的 Log 系统
  10. Oracle访问数据的存取方法