Spectral–spatial hyperspectral image classification

2022/05/19-20,22-24

遥感影像的全色、多光谱、高光谱图像
高光谱图像分类
Spectral–spatial hyperspectral image classification based on KNN
- 已有工作及其缺陷
- 本文提出的方法
- - 理论
  - 步骤
  - 结果
  - - 参数分析
    - 对比实验
  - 结论
  - - 主要贡献
  - 启发

遥感影像的全色、多光谱、高光谱图像

遥感成像原理：光进入相机镜头，光电感应装置将光信号转换为电信号，量化电脉冲信号，记录为一个像素值。传感器响应函数设计为，要使光电感应装置产生这个电脉冲信号，光子强度必须达到一个阈值。进入镜头的光子数量取决于相机的感受野大小，镜头能通过的光子。多光谱图像要分出多个波段，镜头会分光，红滤镜只过红光，蓝滤镜只通过蓝光，假设相同的光打到全色与多光谱镜头上，显然因为滤光的缘故，多光谱感光器接收到的光子要少于全色感光器。而这些光子已经足够全色产生电脉冲，却不够多光谱产生电脉冲，这时，为了接收到更多的光子，多光谱相机需要更大的感受野。
也就是说，全色看了一眼北京市，就吃够了光子，多光谱需要看一遍河北省，才能吃的和全色一样饱。后面接收光子的底片一样大，也就是说将北京市和河北省画到同样大小的一张纸上且占满整张纸，显然北京市的一张纸细节要多的多，而河北省的红绿蓝三张纸却一片模糊。

全色
全色图像是单通道的，其中全色是指全部可见光波段0.38~0.76μ\muμm，全色图像为这一波段范围的混合图像。因为是单波段，所以在图上显示为灰度图片。全色遥感图像一般空间分辨率高，但无法显示地物色彩，也就是图像的光谱信息少。
多光谱
多光谱图像是指对地物辐射中多个单波段的摄取，得到的影像数据中会有多个波段的光谱信息。若取其中RGB三个波段的信息显示，就是RGB彩色图像。一般文献显示出来的多光谱图像，其实是RGB三通道的图像。
由于光谱信息其实也就对应了色彩信息，所以多波段遥感图像可以得到地物的色彩信息，但是空间分辨率较低。更进一步，光谱通道越多，其分辨物体的能力就越强，即光谱分辨率越高。
高光谱
高光谱是由很多通道组成的图像，具体有多少个通道，这需要看传感器的波长分辨率，每一个通道捕捉指定波长的光。把光谱想象成一条直线，由于波长分辨率的存在，每隔一定距离才能“看到”一个波长。“看到”这个波长就可以收集这个波长及其附近一个小范围的波段对应的信息，形成一个通道，也就是一个波段对应一个通道。如果我们进行对高光谱上某一个像素的采样，就可以针对此像素生成一个“光谱特征”。多光谱图像其实可以看做是高光谱图像的一种情况，即成像的波段数量比高光谱图像少，一般只有几个到十几个。
国际遥感界的共识是光谱分辨率在λ/10\lambda/10λ/10 数量级范围的称为多光谱(Multispectral)，这样的遥感器在可见光和近红外光谱区只有几个波段，如美国LandsatMSS，TM，法国的SPOT等；而光谱分辨率在λ/100\lambda/100λ/100的遥感信息称之为高光谱遥感 (HyPerspectral)；随着遥感光谱分辨率的进一步提高，在达到λ/1000\lambda/1000λ/1000时，遥感即进入超高光谱(ultraspectral)阶段。

高光谱图像分类

不同物质在不同波段光谱信号下的不同表现，可以绘制成一条关于光谱波段和光谱值之间的曲线，根据曲线的差异，我们可以高光谱图像中不同物质进行分类。

Spectral–spatial hyperspectral image classification based on KNN

光谱与空间信息的融合是提高高光谱图像分类精度的有效途径。在本文中，提出了一种基于K最近邻（KNN）的光谱-空间高光谱图像分类方法，该方法包括以下步骤。首先采用支持向量机得到初始分类概率反映每个高光谱像素属于不同类别的概率的地图。然后，使用基于匹配和平均非局部邻域的 KNN 过滤算法对获得的逐像素概率图进行细化。所提出的方法不需要复杂的分割和优化策略，同时仍然能够通过使用KNN充分利用真实图像的非局部原理，从而提供具有竞争力的分类和快速计算。

近年来，人们发现在图像分析中融合光谱和空间信息可以进一步提高分类结果。具体来说，基于该像素的特征向量和从像素邻域提取的特征值对高光谱像素进行分类。

已有工作及其缺陷

局部处理技术：例如最近提出的基于边缘保留滤波的方法，只考虑局部邻域。虽然可以使用不同尺度的滤波操作来定义局部邻域，但这种方法不能充分利用高光谱像素之间的深度和全局空间相关性。
图像分割技术：虽然可以提高分类精度，但分割算法可能很耗时。

本文提出的方法

理论

考虑到局部处理技术的缺陷，本文提出了一种新的基于 KNN 的融合光谱和空间信息的方法。通过利用 KNN 来探索非局部的信息，而这种非局部性由以下公式体现：
F(i)=(I(i),λ⋅l(i),λ⋅h(i))F(i)=(I(i), \lambda \cdot l(i), \lambda \cdot h(i)) F(i)=(I(i),λ⋅l(i),λ⋅h(i))
其中 I(i)I(i)I(i) 指的是归一化像素值，l(i)l(i)l(i) 和h(i)h(i)h(i) 分别指的是像素 iii 的归一化经度和纬度。 kkk 控制 KNN 搜索过程中像素值和空间坐标之间的平衡。F(i)F(i)F(i)就是利用空间信息和光谱信息生成的新的特征向量。

基于KNN的非局部滤波方法可定义如下：
O(i)=∑P(j)K,j∈ωiO(i)=\frac{\sum P(j)}{K}, j \in \omega_{i} O(i)=K∑P(j),j∈ωi
式中，ωi\omega_iωi是指使用新的特征空间f(i)f(i)f(i)中像素点的kkk个最近邻居，O(i)O(i)O(i)是过滤输出，P(j)P(j)P(j)是原图使用 SVM得到的估计的概率映射矩阵。

如上图所示，（a）为输入，（b）是引导图像，（c）是不利用空间信息的输出，（d）是利用了空间信息的输出。
通过对比（c）和（d）可以发现（d）的边界细节更加清晰。

步骤

如图所示，所提出的方法包括以下步骤

SVM 分类：对于DDD维光谱图像x=(x1,…,xi)∈Rd×ix=\left(x_{1}, \ldots, x_{i}\right) \in \mathbb{R}^{d \times i}x=(x1,…,xi)∈Rd×i 和 τ\tauτ个训练样本。Tτ≡{(x1,c1),…(xτ,cτ)}∈(Rd×Lc)τT_{\tau} \equiv\left\{\left(x_{1}, c_{1}\right), \ldots\left(x_{\tau}, c_{\tau}\right)\right\} \in\left(\mathbb{R}^{\mathbb{d}} \times L_{c}\right)^{\tau}Tτ≡{(x1,c1),…(xτ,cτ)}∈(Rd×Lc)τ。使用 SVM 对高光谱图执行逐像素分类。LC={1,…,N}L_{C}=\{1, \ldots, N\}LC={1,…,N}为标签，NNN为分类的数量。
KNN 滤波：采用主成分分析法计算高光谱图像的一个波段表示得出引导图 III。然后基于公式(2)对每个类别 n 的初始概率图PnP_nPn执行 KNN 滤波。最后，通过给每个像素分配给出高概率标签，即可得出分类结果。其中主成分法采用第一主成分作为指导图，因为其给出了高光谱图像在均方意义上的最佳表示，包含大部分显著的信息。

结果

参数分析

如图所示，对于参数KKK和λ\lambdaλ设置的太小，可能导致空间信息的利用不充分，设置太大又会导致过于平滑，从而大大降低准确率。因此选择合适的参数对与分类准确性有显著的影响，通过分析本文最终设置K=40K=40K=40和λ=5\lambda=5λ=5。

对比实验

结论

主要贡献

第一个贡献是 KNN 搜索对图像进行非局部滤波的扩展，这充分利用相邻像素之间的空间相关性。
第二个贡献是将基于 KNN 的滤波算法扩展到光谱-空间高光谱图像分类。

启发

以后在构建新的想法的时候其实并不是一定要去使用最新、复杂的模型结构，有时候使用简单的模型也许有不一样的惊喜，就像本文一样仅仅使用简单的模型，就实现了较好的效果。
我们可以通过原始的特征向量和一些我们想要的信息相组合，构建新的特征向量，例如本文，原始特征向量仅仅包含高光谱信息，然后利用空间的经纬度信息来对原始的特征向量进行升级，在新的特征向量的支持下，得到了更加优秀的分类结果。本文是直接对原始特征添加原本没有信息，采用这种做法的话就必须对数据集的详细属性进行分析，查看还缺少什么属性，不同的数据集所需要添加的信息可能有所不同。
本文最后的分类结果，相当于使用了一个均值滤波，利用K近邻的预测的均值来重构自己的预测结构，采用这种方法的话，可以使边界的处理更加的清晰。
对于初次预测本文使用的SVM，引导图像是利用PCA的得到的，在这两个步骤之中，是否可以把SVM换成其他的预测模型，把PCA换成其他的降维模型呢？我认为应该是可以的，但是最终会呈现出怎样的效果，还得需要具体去做实验。

Spectral–spatial hyperspectral image classification相关推荐

[HSI论文阅读] | HybridSN: Exploring 3-D–2-D CNN Feature Hierarchy for Hyperspectral Image Classification
仅整理个人和组里对下文引用的论文(HybridSN)的学习所获,如有错误,感谢指正~ 更新记录 ⭐️ 2021.3.6 -- 关于本文2.2.2节卷积层参数的计算 ⭐️ 2021.3.8 -- Hyb ...
Spatial-Spectral Transformer for Hyperspectral Image Classification
论文地址:https://doi.org/10.3390/rs13030498 Abstract 近年来,人们提出了大量基于深度卷积神经网络(CNN)的高光谱图像(HSI)分类方法.本文提出的基于cn ...
高光谱图像分类--HybridSN: Exploring 3-D–2-DCNN Feature Hierarchy for Hyperspectral Image Classification
<HybridSN: Exploring 3-D–2-DCNN Feature Hierarchy for Hyperspectral Image Classification> S. K ...
遥感图像处理-Spectral–Spatial Weighted Kernel Manifold Embedded Distribution Alignment for Remote Sensing
Spectral–Spatial Weighted Kernel Manifold Embedded Distribution Alignment for Remote Sensing Image C ...
Hyperspectral Imagery Classification Based on Contrastive Learning
对比学习四. The algorithm uses a two-stage training strategy. the first strategy: pretrained the second s ...
论文阅读笔记：《Hyperspectral image classification via a random patches network》（ISPRSjprs2018）
论文阅读笔记:<Hyperspectral image classification via a random patches network>(ISPRSjprs2018) 论文下载地址 ...
Deep Few-Shot Learning for Hyperspectral Image Classification（2019）——深度学习论文笔记（四）
Deep Few-Shot Learning for Hyperspectral Image Classification(2019) 文章目录 Deep Few-Shot Learning for ...
Deep Learning for Hyperspectral Image Classification:An Overview
这是一篇2019年10月份的关于高光谱图像分类的综述,有李树涛和陈雨时两位大佬的署名. 1.Introduction two main challenges: 1.the large spatial ...
Cross-Modality Contrastive Learning for Hyperspectral Image Classification
对比学习第三篇,多模态对比学习多模态的对比学习. I. INTRODUCTION 介绍了解决小样本问题的三种途径:数据增强,迁移学习,非监督学习. 创新点: 多模态对比学习. 语义信息和结构信息迁移 ...