自监督论文阅读笔记SELF-SUPERVISED SPECTRAL MATCHING NETWORK FOR HYPERSPECTRAL TARGET DETECTION

高光谱目标检测是一个像素级的识别问题。给定几个目标样本，它旨在从整个高光谱图像中识别特定的目标像素，例如飞机、车辆、船舶。一般来说，背景像素占图像的大部分并且分布复杂。结果，数据集的注释很弱并且非常不平衡。为了解决这些问题，为高光谱数据设计了一种基于光谱混合的自监督范式，以获得有效的特征表示。该模型采用 基于光谱相似性的匹配网络框架。为了学习更多的判别特征，采用 基于对的损失 来最小化目标像素之间的距离，同时最大化目标和背景之间的距离。此外，通过背景分离步骤，将复杂的未标记光谱下采样为不同的子类别。在三个真实高光谱数据集上的实验结果表明，与现有检测器相比，本文所提出的框架取得了更好的结果。

高光谱技术在遥感中发挥着重要作用[1, 2]。高光谱图像 (HSI) 包括空间信息和光谱信息。由于光谱中包含丰富的信息，高光谱图像在检测像素较少的小目标方面具有很大的优势。高光谱图像中的目标检测是一个非常实用和重要的研究领域[3, 4]。与目标检测不同，高光谱目标检测是像素级的一类的one-class 分类问题。给定几个目标像素，它旨在从整个图像中识别所有目标像素[5]。尽管 HSI 具有丰富的光谱信息，但这是一项相当具有挑战性的任务，因为数百个光谱维度往往会产生数据冗余 并显著 增加计算消耗。目标通常非常小，并且被大而复杂的背景包围，更不用说一些背景像素与目标非常相似。更糟糕的是，图像的注释很弱，因为只给出了少量的目标像素。考虑到背景占据了图像的大部分，目标和背景像素非常不平衡。

文献[6,7,8]中高光谱目标检测的发展稳定。早期的工作 直接采用光谱作为像素的表示，并通过简单的信号处理或稀疏编码算法检测目标像素[9, 10]。最近，受深度学习在计算机视觉任务中取得巨大成功的启发，深度神经网络已被用于学习更多的判别表示[11]。尽管实现了更好的性能，但这些方法也存在 缺乏注释数据 以及 样本极度不平衡 的问题。其中一些采用同心concentric窗口的方法 将局部背景像素和给定的目标像素结合起来。与周围环境差异较大且与给定目标相似的中心像素将被视为目标。但是，这种方法是基于所有目标都非常小的假设，大部分目标区域都包含在内部窗口中，而外窗中包含的大部分像素都是背景。如果目标很复杂，或者有大量与目标相似的干扰样本，就会影响这一假设。还有一些方法可以手动标记各种背景样本。高光谱图像难以用肉眼标记像素的类别，耗时且难以广泛使用。

在本文中，为了更好地区分目标和背景，采用粗粒度分类步骤将未标记的数据分成不同的子类别。

首先，我们 粗略地选择一个预检测器pre-detector 设置的目标和背景。根据给定的目标，预检测器可以抑制背景光谱，目标样本会获得更高的分数。
利用预检测器的结果得分，对目标和背景数据采用聚类方法。整个数据分为不同的子类别。因此，可以为未标记的数据获得伪标签，以对复杂的背景样本进行建模。
接下来，选择伪标记数据的质心以生成大量训练数据，这些训练数据可以通过监督方式进行训练。通过这样的前置任务，我们可以通过自监督范式学习更具辨别力的特征表示。
最后，我们使用 基于对的损失 训练特征嵌入网络，该损失可以最小化目标像素之间的距离并最大化目标与背景之间的距离。

采用硬负样本挖掘策略，会得到一个判别能力强的模型。通过计算与给定目标的相似度，我们可以得到特定目标在高光谱图像中的位置。

Contributions：

• 采用粗粒度分类策略将未标记的样本分类为不同的子类别。该策略可以缓解样本不平衡和背景光谱的可变性问题。

• 提出了一种 基于光谱混合特性的自监督学习方法。在注释数据有限的情况下，特征提取器网络可以以自监督的方式学习更具辨别力的特征表示。

• 本文提出了一种新的基于光谱相似性的高光谱目标检测匹配框架。在三个真实高光谱数据集上的实验结果验证了本文方法的有效性。

本文所提出的目标检测方法主要包括以下步骤：粗粒度分类、自监督特征表示学习和最终检测器。整个过程见图1。

有着子类别分离的粗粒度分类：

通过一个简单的 预检测器，光谱可以大致分为目标和背景类别。约束能量最小化（CEM）[7]检测器被用作 粗粒度检测器。

将高光谱数据集的所有像素视为 H =，其中 N 是像素数，B 是光谱带数。表示 HSI 中的像素。对于线性滤波器 w = [w1, w2,····, wB]T 和给定的目标像素 d，CEM 检测器设置 wTd = 1，同时抑制背景像素输出。 CEM 检测器的公式如下：

其中，是一个自相关矩阵。

通过对 CEM 检测器的结果进行排序，排除 1% 的样本作为目标集 Ht，其余样本为纯化背景集 Hb。实际上，CEM 检测器受给定像素方差的影响。为了增强鲁棒性，本文取多个目标像素的的平均值作为最终检测结果。

由于背景样本数量过多，导致训练数据极度不平衡。此外，由于光谱的多样性和复杂性，背景或目标样本内部存在一些差异。为了对数据进行重采样，本文根据 CEM 预检测器的结果，分别对背景集 Hb 和目标集 Ht 应用 k-means 聚类方法。该方法旨在最小化以下目标函数：

其中，表示数据点与聚类中心 cj 之间的欧几里得距离。 K是集群的数量。

为了充分利用未标记的数据，本文以自监督的方式训练模型。根据光谱混合特性，本文设计了光谱数据的前置任务。对于聚类中心 C = {c1, c2, c3, ..., cK}，其中 K 是聚类中心的数量，通过聚类中心的线性组合 可以生成大量样本。线性组合的权重可由下式生成：

其中 T是比例因子，zi是从0到1之间的均匀分布中采样的。因此，生成的数据集可以表示为。对于每个 hi，标签可以通过 yi = max (α) 获得。然后可以通过监督方法使用生成的数据训练特征提取器。通过前置任务的训练过程，嵌入式网络可以提取 包含光谱语义信息 的特征。

为了分离目标和背景，模型应该 最小化目标像素之间的距离，同时最大化目标和背景之间的距离。因此，本文采用 N-pair loss[12] 来同时约束多个子类别。每个类的训练数据样本，由连音数据组成，x+是x的正样本，是负样本。损失函数公式如下，

其中，是嵌入网络。

训练过程完成后，光谱匹配网络 可以直接从高光谱图像像素中 度量相似度。设f(x)为特征提取网络，在特征空间中可以计算出先验目标像素与每个测试样本的距离。

为了消除不同像素点 方差的影响，本文采用了考虑 多个目标 与待测样本之间的距离的集成方法。对于给定的目标像素, Nt是给定目标的总个数，将每个像素送入子网，将原始像素映射到特征空间。然后通过 欧氏距离 计算相似度，，最终的相似度得分计算为。

为了验证本文方法的性能，将所提出的模型与自适应相干估计器（ACE）[6]、约束能量最小化（CEM）[7]、集成约束能量最小化（E-CEM）[13]、稀疏和协作表示的组合 (CSCR) 和 DCSSAED[11] 进行了比较。采用的三个真实高光谱数据集是 HYDICE、AVIRIS 和 AVIRIS2[5, 8]。

对于 HYDICE 数据集，从图 3(a) 可以看出，本文所提出的方法涵盖了所有其他曲线，这表明本文的方法比所有其他方法工作得更好。从表 1 可以看出，本文方法的 AUC 值优于其他方法，这表明本文的方法优于所有其他检测器。此外，从图 2（e）可以看出，本文可以检测到所有目标。此外，虽然可以检测到目标，但背景噪声仍然存在，但相对于整个样本量而言很小。证明样本数据不平衡的问题得到缓解。

对于 AVIRIS 和 AVIRIS2 数据集，从图 3 中可以看出，本文的 ROC 曲线与其他曲线相交。 ROC曲线很难判断性能。但是，从表 1 可以清楚地看出，本文得到了更好的 AUC 值，本文的方法的性能优于所有其他检测器。另外，从图2可以看出，本文可以检测到所有的目标，只有少量的误报。

总体而言，通过对两个数据集的比较，本文可以简单地发现：1）通过采用自监督学习，可以学习到更具判别性的表示。 2）受益于N-pair loss，样本不平衡问题得到缓解，使得所提出的方法可以优于其他方法。

CONCLUSION：

本文提出了一种 基于光谱相似性的高光谱目标检测匹配网络框架。使用所提出的结构，可以以自监督的方式学习有效且冗余较少的特征表示。在嵌入空间中，目标像素之间的特征距离最小化，而目标与背景之间的特征距离通过 N-pair loss 训练最大化。三个真实高光谱数据集的实验结果表明，与现有检测器相比，本文所提出的框架取得了更好的结果。由于光谱之间的类内差异，给定的先验光谱不同，模型结果会非常不同。这项工作 采用简单的集成方法 来缓解这个问题。在进一步的研究中，我们将专注于提高高光谱目标分析的模型鲁棒性。

自监督论文阅读笔记SELF-SUPERVISED SPECTRAL MATCHING NETWORK FOR HYPERSPECTRAL TARGET DETECTION相关推荐

论文阅读笔记《Neural Graph Matching Network: Learning Lawler’s Quadratic Assignment Problem With Extension》
核心思想该文提出一种图匹配神经网络用于解决Lawler's形式的二次分配问题,并将其推广到超图匹配和多图匹配领域.在之前的文章中,我们介绍过图匹配问题通常被定义为一种二次分配问题(QAP),通常 ...
【论文阅读】Hierarchical Multi-modal Contextual Attention Network for Fake News Detection --- 虚假新闻检测，多模态
本博客系本人阅读该论文后根据自己理解所写,非逐句翻译,欲深入了解该论文,请参阅原文. 论文标题:Hierarchical Multi-modal Contextual Attention Networ ...
自监督论文阅读笔记 Urban feature analysis from aerial remote sensing imagery using self-supervised and semi-s
"Urban feature analysis from aerial remote sensing imagery using self-supervised and semi-super ...
自监督论文阅读笔记Reading and Writing: Discriminative and Generative Modelingfor Self-Supervised Text Recogn
现有的文本识别方法通常需要大规模的训练数据.由于缺乏带注释的真实图像,它们中的大多数依赖于合成训练数据.然而,合成数据和真实数据之间存在领域差距,这限制了文本识别模型的性能.最近的自监督文本识别方法 ...
【自监督论文阅读笔记】Contrastive Self-Supervised Learning With Smoothed Representation for Remote Sensing
在遥感中,随着时间的推移不断积累大量未标记的图像,很难对所有数据进行标注.因此,一种可以使用未标记数据提高识别率的自监督学习技术将对遥感有用.这封信介绍了基于 SimCLR 框架的遥感平滑表示的 ...
自监督论文阅读笔记DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive
"DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learni ...
论文阅读笔记：Ultra-Scalable Spectral Clustering and Ensemble Clustering
Author: Dong Huang, Chang-Dong Wang, Jian-Sheng Wu, Jian-Huang Lai, and Chee-Keong Kwoh 摘要摘要本文重点研究了 ...
自监督论文阅读笔记 Self-Supervised Pretraining for RGB-D Salient Object Detection
现有的基于 CNN 的 RGB-D 显著对象检测 (SOD) 网络都需要在 ImageNet 上进行预训练,以学习有助于提供良好初始化的层次特征.然而,大规模数据集的收集和注释既耗时又昂贵.在本文中, ...
【自监督论文阅读笔记】Efficient Visual Pretraining with Contrastive Detection
摘要自监督预训练已被证明可以为迁移学习产生强大的表征.然而,这些性能提升是以巨大的计算成本为代价的,最先进的方法需要比监督预训练多一个数量级的计算量.我们通过引入一个新的自监督目标.对比检测来解决这 ...

自监督论文阅读笔记SELF-SUPERVISED SPECTRAL MATCHING NETWORK FOR HYPERSPECTRAL TARGET DETECTION

自监督论文阅读笔记SELF-SUPERVISED SPECTRAL MATCHING NETWORK FOR HYPERSPECTRAL TARGET DETECTION相关推荐

最新文章

热门文章