李沐：如何读论文？

阶段一：标题，摘要，结论。看一眼方法，实验部分和重要的图表。大体浏览！！！
阶段二：读整体结构，快速过一遍论文，不需要搞懂细节，需要将方法，重要图表搞清楚干啥，每一部分在干啥，圈出重要文献。
阶段三：重点研读，提出什么问题，用什么方法解决这个问题，实验室是怎么做的，知道每一句话，每一段在干什么，多思考。

进阶论文new中标！号论文

JMnet: Joint Metric Neural Network for Hyperspectral Unmixing

Abstract
现有的基于学习的高光谱解混方法一般采用自编码器的形式，以几何距离，如光谱角距离(SAD)作为损失函数。这些方法①忽略了观测值与重构值之间的分布相似性，有助于提高解混性能。同时，直接比较观测值和重构值的差异，②忽略了它们之间的特征差异，从而训练了自编码。基于上述考虑，我们提出了一种联合度量神经网络用于高光谱分解，引入①Wasserstein距离和②特征匹配作为正则化项，并引入SAD作为潜在损失。

该神经网络由两部分组成:自编码器用于端元提取和丰度估计，识别器用于计算Wasserstein距离和特征匹配。Wasserstein距离可以稳定地提供有用的梯度信息，促进自动编码器得到具有更好解混性能的解决方案。采用特征匹配作为鉴别器的中间层，使观测特征与重构特征相等，从而进一步提高解混性能。通过模型分析和正则化参数分析验证了该方法的有效性。在四个真实高光谱数据集上的实验结果表明，我们的方法优于目前最先进的方法，特别是在丰度估计方面。
。

• X = [ x 1 , x 2 , . . . , x P ] ∈ R B × P X= [x_1,x_2,...,x_P] ∈R^{B×P} X=[x1​,x2​,...,xP​]∈RB×P表示B个波段和P个像素的高光谱图像。
• W W W表示连接输入层和隐藏层的编码器权重矩阵
• x p x_p xp​表示第p个像素
• m p m_p mp​表示丰度矩阵
• m p m_p mp​通过线性映射得到 x ˆ \mathop{x} \limits^ˆ xˆ p _p p​，其中 E E E表示端元矩阵。

对于discriminator而言，中间层通过Leaky-ReLU激活函数的密集层得到，用于特征匹配。最后一层是线性的，输出是标量。discriminator用于计算 x ˆ \mathop{x} \limits^ˆ xˆ p _p p​和 x p x_p xp​Wasserstein距离

• f是鉴别器中间层的特征映射。

使用均方误差 ζ f m = E [ ( 1 / L ) ∣ ∣ f ( x p ) − f ( ˆ x p ) ∣ ∣ 2 2 ] \zeta_{fm}=E[(1/L) ||f(x_p)−f(ˆxp)||^2_2] ζfm​=E[(1/L)∣∣f(xp​)−f(ˆxp)∣∣22​]来匹配 f ( x ˆ f(\mathop{x} \limits^ˆ f(xˆ p ) _p) p​)和 f ( x p ) f(x_p) f(xp​)，其中L是向量 f ( x p ) f(x_p) f(xp​)的长度，我们称之为特征匹配。在实际应用中，它提高了判别器的训练稳定性，帮助解混模型得到更好的解。

SAD损失函数提取端元和估计丰度。

将观测和重构看作两个分布，通过鉴别器隐式计算它们之间的Wasserstein距离，在鉴别器的中间层采用特征匹配来比较它们之间的特征差异。理论和实践证明，将SAD与上述两种正则化子相结合作为最终目标，解混合模型可以得到更细化的解。

在四组真实高光谱数据集上的实验结果表明了该方法相对于基线的有效性和优越性。我们的方法是基于LMM的浅密集神经网络，我们可以在接下来的工作中重点研究深度卷积网络，可以对特征匹配进行理论研究。此外，如何通过网络来模拟NLMM可能是未来的研究热点。最后，将**先验信息(如图)**注入到网络中，可能会取得更好的结果。

UnDIP: Hyperspectral Unmixing Using Deep Image Prior

Abstract

本文介绍了一种基于深度学习的线性高光谱分解方法。该方法包含两个主要步骤。首先，采用几何端元提取方法提取端元，即在数据集的子空间中实现单纯形体积最大化。然后，利用深度图像先验估计丰度。

主要动机是提高丰度估计和使解混问题对噪声的鲁棒性。提出的深度图像先验使用卷积神经网络估计分数丰度，依赖于提取的端元和观测的高光谱数据集。

端元是用几何方法提取的，并且在整个分解过程中都是固定的。

该框架允许使用无监督CNN进行分解，其中卷积可以在整个空间域上进行全局应用，以提取空间信息。

在UnDIP中，输入是高斯噪声，输出由丰度映射给出。对网络进行训练，使其仅对丰度损耗函数最小。

UnDIP网络的核心是基于带有跳跃连接的卷积编码器-解码器。

Endmember-Guided Unmixing Network (EGU-Net): A General Deep Learning Framework for Self-Supervised Hyperspectral Unmixing

在过去的几十年里，为了提高线性或非线性混合模型的高光谱分解(HU)的性能，人们做出了巨大的努力。但由于其数据拟合和重构能力较差，对各种谱变异的敏感性较差，同时概化各种谱变异并提取具有物理意义的端元的能力仍然有限。受深度学习(deep learning, DL)强大学习能力的启发，我们试图在充分考虑从高光谱图像中提取的端元特性的基础上，开发一种用于HU的通用DL方法，称为端元引导解混网络(endmember-guided unmixing network, EGU-Net)。除了单独的类似自动编码器的架构，EGU-Net是一个双流连体深度网络,自监督的方式，它从纯或几乎纯的端成员学习额外的网络，通过共享网络参数和添加频谱有意义的约束来纠正另一个分离网络的权值(例如，非负性和和对一)，以更准确和可解释的分离解决方案。此外，得到的一般框架不仅限于像素光谱分解，而且适用于空间信息建模的卷积算子空间光谱分解。

由于复杂SV的存在，最好采用强非线性模型。与传统的非线性HU方法不同的是，深度学习(DL)技术具有强大的学习能力，可以以更一般化的方式对HSI进行非线性分解。大多数以前开发的基于dl的分解方法基本上遵循自动编码器(AE)的架构。这些方法虽然能够很好地重构数据，但由于盲HU中对真实端元缺乏有效的引导，在实际应用中往往会产生物理上无意义的端元。这可能进一步导致丰度估计差和模型对SV敏感性的高不确定性。

Contributions

• EGU-Net，以更有效和一般化的方式解决非线性盲HU问题。
• 提出的总体框架由两种不同的版本组成:一种是只考虑DNN主导的像素级HU，另一种是联合考虑空间——光谱信息，将HSI与cnn主导的架构分解。
• 在经典的AE分解结构的基础上，提出了一种端到端双流深度分解网络，通过一种新颖的自监督策略来模拟真实端成员的物理意义性质。据我们所知，在基于dl的光谱分解中，这是第一次考虑这样的端元信息。
• 由于缺乏ground truth
  (GT)，这些解混算法很难得到定量评价。为此，我们为HU提供了一个新的慕尼黑（Munich）高光谱场景。GT可以通过一个简单但可行的处理链生成。
  

EGU网络是一种自监督的双流端到端网络，包括端成员网络(E-Net)和解混重构网络(UR-Net)。前者的目的是通过将真实HS场景中提取的伪纯端元映射到简单HU方法(如LMM)获得的类单热点丰度来学习端元的层次表示。后者是一种常见的编解码器体系结构，通常被作为解混网络的骨干。
值得一提的是，参数共享策略使得两个流之间的关系更加紧密，能够更好地将特定的信息交互到整个网络系统中。此外，E-Net能够将终端成员潜在的内在属性转移到UR-Net中，而UR-Net考虑全局像素的反馈也可以引导E-Net向更稳定、更高效的网络学习方向发展。图2显示了双流网络架构(EGU-Net)的基本概述。

A. Endmember Network
为了提供足够的端元样本用于训练E-Net，我们从HSI中提取光谱束。
三步走：

• HSI被分成部分重叠的块，块的数量由[47]默认决定。
• 利用VCA从每个区块中提取端元，通过hysim[48]自动估计端元数量。
• 一种聚类算法，如K-means，被用于去除重复的端元，并将所有提取的端元聚合到k聚类中。在我们的案例中，参考[47]中的设置，通过实验和经验将k值设置为所有高光谱像素的20%左右

B.Unmixing-Reconstruction Network
基于AE的分解框架成功的启发，我们设计了一个类似的UR-Net，如图2底部所示，涉及两个相同的基本模块:分解和重构。

• 在重构部分，我们仍然采用非线性激活函数，而不是广泛使用的线性激活函数。由于各种svv的复杂性，线性化操作不能很好地重建原始光谱特征。
• 更重要的是，UR-Net流中的网络参数与E-Net流中的网络参数部分共享，使其能够有效地分层次地将不同的端成员信息传递到UR-Net中。

空间-光谱版本

在解混过程中用cnn对目标像素及其相邻像素的空间关系进行建模。具体来说，得到的空间-光谱EGU-Net(简称EGU-Net-ss)与pixelwise EGU-Net(见图2)(简称EGU-Net-pw)的网络架构基本相同。两者的主要区别在于两个方面。其中，尽管在E-Net中输入相同，但EGU-Net-ss利用1×1卷积核而不是全连接编码器，并且只与UR-Net共享最后两个块中的卷积核。换句话说，除了逐像素重建光谱特征外，EGU-Net-ss的UR-Net还能够将整个HSI输入到网络中，通过对具有不同大小接受域的空间信息给予同等关注，实现“全局”分解。

本文提出了一种通用的自监督解混网络，称为EGU-Net，它由EGU-Net-pw和EGU-Net-ss组成。这两种网络分别适用于基于全连接编码器和卷积运算的像素光谱解混和空间光谱解混。此外，与广泛使用的类ae模型不同，EGU-Net还从纯或几乎纯端元学习E-Net，并将其参数转移到另一个基于ae的分解网络:UR-Net。同时，UR-Net的解混结果也可以反馈到E-Net中，指导更好的端元学习，从而产生更合理、更优的解混。在我们未来的工作中，我们希望通过使用更高级的重构损耗来优化网络架构(例如，研究E-Net中端元提取和解混方法的最佳组合，并借助多模态数据(如多光谱数据、激光雷达)开发一个更通用、更强大的基于网络的框架，以更有效地解决解混问题。

Deep Half-Siamese Networks for Hyperspectral Unmixing

Abstract

在过去的几十年里，人们提出了许多方法来解决高光谱分解(HU)中的线性或非线性混合问题。光谱变异性（SV）和非线性的存在，在很大程度上限制了大多数传统方法的解混能力，特别是在复杂场景中。近年来，深度学习(deep learning, DL)因其强大的学习和拟合能力而在非线性HU中受到越来越多的关注。然而，由于缺乏考虑有物理意义的端元信息，基于dl的方法往往会产生琐碎的解混合结果。为此，我们针对HU提出了一种新的连体网络，称为深半连体网络(deep HSNet)，充分考虑了不同的端元提取算法所提取的不同的端元属性。此外，本文提出的Deep HSNet在原有的类自编码器架构的基础上，采用另一个子网络有效学习端元信息，以合理准确的方式指导解混过程。在合成和真实高光谱数据集上进行的实验结果验证了Deep HSNet相对于几种先进的解混算法的有效性和优越性。

引入了多种端元提取算法，提出了一种新的深度半连体网络，简称深HSNet，简称HU。利用连体(siamese)网络中权值共享的特点，从HSI中提取端元的先验知识，以更准确和可解释的方向解决解混问题。深度HSNet能够从端元中学习有物理意义的信息，从而进一步指导解混网络获得更好的丰度结果。

据我们所知，这也是第一次考虑不同端元提取算法的集成，将端元信息传递到深度解混网络中。

我们提出的框架结构由两个流网络组成，即端元引导网络(EG-Net)和重构网络(R-Net)。
EG-Net的目的是学习从提取的端元到相应丰度的映射。R-Net是用于重建HSI的简单的自动编码器网络结构。
为了将端元信息的物理意义嵌入到R-Net中，EG-Net和R-Net的编码器部分通过连体网络设计共享相同的权值。图1展示了提出的Deep HSNet架构。

A. Endmember-Guided Network

为了稳定盲HU过程并提供物理上有意义的端成员信息，我们提出了EG-Net来学习将提取的端成员映射到其相应丰度的端成员表示。如图1所示，丰度信息由基于LMM的方法给出，如尺度约束最小二乘(SCLS)方法。

提取的端元称为候选端元，通过不同的端元提取算法得到。为简便起见，采用像素纯度指数(PPI)[17]、N-FINDR[18]和VCA三种典型的端元提取算法提取候选端元。请注意，EG-Net可以学习候选端元，将其视为引导R-Net中所有高光谱像素分离的一种先验。反过来，R-Net也可以被视为一种正则化，以约束EG-Net学习更准确的丰度结果。

用均方误差来评估EG-NetLoss

B.Reconstruction Network

在这封信中，我们提出了一种新的两流分离网络，遵循半连体架构，称为深HSNet。通过将基于不同算法的端元信息引入到网络学习中，Deep HSNet模型得到了更加合理和优越的解混结果。在合成和真实高光谱数据集上的实验表明，与其他先进的分离方法相比，该方法具有良好的鲁棒性和有效性。未来，我们将尝试在DL网络的帮助下探索光谱-空间信息，以获得更准确和有效的HU。

CyCU-Net: Cycle-Consistency Unmixing Network by Learning Cascaded Autoencoders

Abstract
近年来，深度学习(DL)由于其强大的学习和数据拟合能力，在高光谱分解(HU)应用中受到越来越多的关注。自动编码器(AE)框架作为一种解混基线网络，通过自动学习低维嵌入和数据重构，在HU中取得了良好的性能。然而，传统的基于AE的建筑在重建过程中往往会丢失某些材料的一些重要的详细信息(如材料的相关属性)，而传统的基于AE的建筑更注重像素级的重建损失。因此，受此感知机制的启发，我们提出了一种循环一致性解混网络CyCU-Net，通过端到端学习两个级联AEs来更有效地提高解混性能。CyCU-Net通过将原有的像素级重构假设放宽到由级联AEs控制的周期一致性，减少了重构过程中细节和物质相关信息的损失。更具体地说，周期一致性可以通过新提出的自我感知损失来实现，该损失由两个光谱重构项和一个丰度重构项组成。利用网络中的自感知损失，在解混过程中可以很好地保留高级语义信息。

Batch m = 50设置每次输入的数据大小

• 端到端的深度网络，由两个AEs级联HU任务，称为CyCU-Net。CyCU-Net能够比以往的方法更有效地估计材料的丰度信息，从而产生显著的性能改进。
• 通过设计周期一致性策略，在CyCU-Net中引入新的自我感知损失，进一步细化分解过程中的详细信息。更具体地说，所提出的损失包括两个谱重构项和一个丰度重构项。
• 据我们所知，这是第一个通过放松原始像素级重构假设并施加周期一致性约束，将高级语义信息转移到基于ae的分解网络的研究。由于目前基于蚁群算法的解混方法结构的多样性，很难选择合适的结构来满足解混需求。为此，我们对CyCU-Net的性能增益进行了广泛的消融研究，包括不同的目标函数类型、丰度约束、卷积滤波器大小和更复杂的分离场景。

为了减少重构过程中细节信息和物质相关信息的损失，本文采用CyCU-Net方法对原始像素级重构损失进行放松，并引入周期一致性，进一步探索HSI中的高层语义信息。

在应用激活函数之前，采用批归一化(BN)和dropout层对输入数据进行归一化，在一定程度上防止SV效应。

为了满足ANC，将clamp函数应用于编码器的输出，迫使丰度的所有组件进入[0,1]范围。clamp()方法将input中的元素限制在[min,max]范围内并返回一个Tensor。

虽然softmax函数可以直接迫使网络的输出满足ANC和ASC，但由于softmax函数只考虑不同类别之间的相对概率，不能产生稀疏输出并达到一定的收敛精度，导致收敛速度较低。所以作者 L r e g L_{reg} Lreg​来使网络满足输出ANC和ASC。

在未来，我们将致力于利用DL来考虑光谱空间信息来改进CyCU-Net。

CONVOLUTIONAL AUTOENCODER FOR SPATIAL-SPECTRAL HYPERSPECTRAL UNMIXING

Abstract

在本文中，我们提出了一种基于深度学习的全卷积自编码器形式的盲高光谱解混方法。该技术首次充分利用高光谱图像的空间结构进行端元和丰度图估计。该框架与旧方法相比有许多优点，因为它直接与HSI的块(patch)一起工作，因此保留了空间结构，同时丰富的地图自然出现，作为隐藏卷积层的特征地图。我们用一个真实的HSI来评估所提出的方法，并将其与三种最先进的方法进行比较。

Patch是CNN输入图像的其中一块，在CNN学习训练过程中，不是一次来处理一整张图片，而是先将图片划分为多个小的块，内核 kernel (或过滤器或特征检测器)每次只查看图像的一个块，这一个小块就称为 patch，然后过滤器移动到图像的另一个patch，以此类推。

基于自动编码器的方法都没有直接结合任何空间信息来辅助端元提取，因为它们都以单个像素光谱作为输入。

在本文中，我们介绍了一种新的完全卷积神经网络(CNN)自动编码器方法，它直接利用了HSI的空间结构。据我们所知，这是第一个盲解混合的方法。作为CNN，该技术保留了HSI的空间结构，并易于实现空间正则化，因为丰度图作为特征图自然出现。

该方法不使用偏差、池化层或上采样，只使用不降低输入空间分辨率的非跨卷积层。

Convolutional Autoencoder for Spectral–Spatial Hyperspectral Unmixing

Abstract

盲高光谱分离是将一个像素的测量光谱表示为一组称为端元的光谱特征的组合，同时确定它们在像素中的分数丰度的过程。大多数分离方法都是严格的光谱分离方法，并不利用高光谱图像的空间结构。本文提出了一种新的基于卷积神经网络自编码解混(CNNAEU)的光谱-空间线性混合模型及其估计方法。CNNAEU技术利用HSI的空间和光谱结构进行端元和丰度图估计。由于它直接与HSI的Patch一起工作，不使用任何池化或上采样层，因此整个空间结构都得到了保留，并获得了丰度图作为隐藏卷积层的Feature Map。

盲高光谱分解(Blind hyperspectral unmixing, HU)是确定不同材料的光谱特征及其在每个像素中的分数丰度的过程。在这个过程的最后，我们希望能够从提取的端元集合和它们相关的丰度映射中，以尽可能小的误差重建原始数据。

A.Motivation and Contributions

我们采用这种方法的动机是除了利用HSI的光谱信息外，还利用其空间结构。和其他自然图像一样，HSI中的像素与它们的邻居有着很强的相关性。这种空间结构包含的信息可以与光谱信息一起使用，进一步的约束解混问题。

利用空间结构的解混方法称为光谱-空间方法。最常用的使利用HSI空间结构的方法，也就是细化光谱方法，通过利用一些空间先验来正则化或控制获得的丰度图的稀疏性和平滑性，或者使在使用光谱方法之前对数据进行预处理，开发全新的面向空间的方法并不常见。

本文介绍了一种新的光谱-空间线性混合模型，以及基于卷积神经网络(CNN)自编码器的相关估计方法。据我们所知，这是第一个基于CNN的盲光谱-空间解混方法。由于该方法使用CNN，因此需要空间滤波来提取特征以辅助解混任务，从而直接利用HSI的空间结构。此外，该技术在整个方法中保留了HSI的空间结构，而丰度图自然生成为隐藏卷积层的特征图。这使得在丰度地图上应用各种空间规整变得非常简单，例如总变异(TV)。

B. Publication Review

稀疏回归方法试图将观测光谱表示为光谱库中已知光谱特征的线性组合。这种方法是最早的分离方法之一。基于压缩感知的方法，通常用稀疏回归方法进行分组。

基于几何的方法，无论是否依赖于纯像素，都可以进一步分为纯像素方法和最小体积方法。最著名的纯像素方法无疑是顶点分量分析(VCA)，而最小体积单纯形分析(MVSA)则是最小体积技术的一个很好的例子。

基于自动编码器，因此是无监督。非负稀疏自编码器(NNSAE)已被证明是成功的解混。这种自编码器通过具有非负权值的线性译码器和对丰度[19]施加丰度和一约束(ASC)来满足线性混合模型。最近的自动编码器方法，一次处理单个频谱，也就是单个像元，因此不包括任何空间信息。

在解混合中结合空间信息，特别是端元提取，主要通过三种不同的方式进行。

• 首先，通过开发新的面向空间的方法，提供某种方法来评估像素或邻域的纯度，而不使用几何方法。
• 其次，利用纯谱方法的精化，例如利用空间先验对现有方法得到的解进行正则化或惩罚。
• 最后，在应用光谱方法之前，可以通过对数据进行预处理来合并空间信息。其中，对于每个像素，计算一个标量空间衍生因子，该因子与位于某个空间邻域内的像素的相似性有关，并用于根据像素的空间上下文衡量其光谱信息的重要性。超像素方法也是使用超像素分割方法作为分解前的预处理技术的例子。

关于丰度估计的另一个潜在问题是我们对SAD损失的使用。这种损失虽然对端元提取很好，但对数据重构来说不是最佳度量，因为它是比例不变的。SAD损失导致的丰度估计方差可能比仅考虑提取的端元质量的方差要高。

本文提出了一种新的用于高光谱解混(HU)的光谱-空间线性混合模型，以及一种用于盲解混的卷积自编码器。该模型扩展了线性模型，适用于相邻像素参与像素重构的情况。分离技术是第一个利用CNN的盲分离方法，直接利用HSI中的空间相关性进行端元和丰度提取。与旧方法相比，这个新框架提供了许多优点，比如使实现空间规格化变得非常容易。

Deep Autoencoders With Multitask Learning for Bilinear Hyperspectral Unmixing（没怎么看懂）

Abstract

高光谱解混是遥感数据解译中的一个重要问题。它主要用于估计场景中纯光谱成分(端元)的光谱特征及其相应的亚像素分数丰度。虽然解混合问题本质上是非线性的(由于多次散射)，但高光谱数据的非线性解混合一直是一个非常具有挑战性的问题。这是因为非线性模型需要详细了解被多种材料散射的阳光之间的物理相互作用。而双线性混合模型(BMMs)可以在相对简单的散射模型下达到较好的精度。

在本文中，我们开发了一种新的BMM和相应的无监督分解方法，该方法包括两个主要步骤。

第一步，使用深度自编码器线性估计端元特征及其相关的丰度分数。
第二步，使用双线性模型改进初始(线性)估计，其中另一个深度自编码器(具有低秩假设)适用于模拟二阶散射相互作用。

需要注意的是，在我们所开发的BMM模型中，两个深度自编码器在多任务学习框架下以相互依赖的方式进行训练，并以相对重建误差作为停止准则。=

开发了多任务学习(multitask learning, MTL)，利用不同任务之间的共享信息，来提高优化性能。MTL作为一种常用的训练策略，已成功应用于语音识别、计算机视觉、自然语言处理等多个领域，在高光谱解混中也具有广阔的应用前景。利用MTL和光谱空间信息的线性解混方法，证明了该方法在高光谱解混方面的良好潜力。

在本文中，我们开发了一种基于层次BMM的无监督分解方法，该方法可以估计端元签名、丰度分数、丰度分数之间的交互以及由双线性分量引起的交互离群值。在这里，相互作用异常值物理上代表了高光谱图像中材料之间的散射相互作用。为此，我们的方法在MTL框架内操作以组合两个不同的任务。

Task 1通过一个深度自编码器估计端元和丰度

Task 2同时采用另一个深度自编码器更新双线性分量。估计双线性分量，即丰度分量和离群值之间的相互作用。在高光谱图像中，散射相互作用主要位于物质[41]之间的边界和混合区域。

编码器可以对高光谱数据进行分解，解码器可以对高光谱数据进行重构。需要注意的是，这两个深度自编码器的训练方式是相互依赖的，停止准则是基于相对重建误差(RE)。此外，我们还将深度半NMF的一些方面集成到上述的自动编码器中，以便从数据中学习一些隐藏的表示，并进一步提高优化的性能。

贡献如下：

• 1)我们提供一种完全无监督的解混方法，不需要任何先验知识。
• 2)采用分层框架，能够学习多个隐藏表示，提高了解混性能。
• 3)利用MTL框架，我们的分解(基于BMM)被分割成两个可以并行执行的任务。
• 4)该方法可以同时估计端元和丰度，以及相互作用丰度和异常值。

在该方法中，通过最小化原始数据与重构数据之间的差异来共同训练自动编码器。我们方法的训练包括两个阶段:预训练和微调。两个自动编码器首先分别对所有因子进行逐层预训练，然后对所有因子进行微调。在训练中，任务2中隐含层的每个节点都通过任务1中对应隐含层的任意两个节点之间的Hadamard积来激活。

在MTL框架中，两个自动编码器对应两个任务，由于编解码器结构相同，每个自动编码器都有 2 m − 1 2m-1 2m−1的隐藏层，如图1所示。在task 1中，端元由解码器的权值矩阵得到，丰度矩阵对应于中间隐含层。而在task 2中，交互异常值是从解码器的最后一层估计出来的，交互丰度对应于中间隐含层的。对于对应线性项的自编码器，每个隐层的节点数设为端元数。对于相应双线性项的自编码器，每个隐层的节点数等于虚端元数。两个自动编码器的输入和输出节点数等于场景中的像素数。

自编码器已经成功地用于解决解混问题的重点是LMM。此外，以往基于自编码器的研究工作大多只关注于增加网络深度以提高解混性能。然而，我们在本文中的反思是，仅仅增加网络的深度可能不足以模拟二阶散射。为了解决这个问题，在本文中，我们开发了一种新方法，将两个深度自动编码器与MTL框架结合在一起，以进行双线性解混。我们的框架，称为DMBU，通过使用两个不同的任务来模拟分解问题，这两个任务通过一个迭代方案进行微调。我们的实验结果表明，新开发的DMBU能够准确估计端元特征和丰度派系，同时也能建模二阶散射相互作用的影响。为了加强我们提出的方法的实际利用，我们将进一步考虑在真实场景中存在的空间相关性和光谱变异性。

TANet: An Unsupervised Two-Stream Autoencoder Network for Hyperspectral Unmixing

Abstract

光谱分解是高光谱分析进一步发展的一项重要技术。其目的是在亚像素水平上盲目地确定基本光谱特征(端元)的相应比例(分数丰度)。近年来，基于学习的高光谱解混方法在高光谱解混中受到了广泛的关注，自编码器被设计出来有效地解决了无监督解混场景。然而，它们提取物理上有意义的端元的能力仍然有限，而且性能也不令人满意。在本文中，我们提出了一种新的双流网络，称为TANet，以解决上述问题。网络由双流结构组成。

首先，采用超像素分割作为预处理，从图像中提取端元束;然后，第一个流从伪纯像素学习到它们相应的丰度的映射。

第二个流使用相同的无加权自动编码器来最小化原始像素数据的重构误差。通过对纯或近似纯候选像素的学习来校正解混权值，本文提出的TANet具有更准确和可解释的解混性能。

但端元萃取的不稳定性限制了分离性能的进一步提高。在Deep Half-Siamese Networks for
Hyperspectral Unmixing 中，提出了一种新的用于解混任务的共享加权网络Deep HSNet，该网络将不同算法的端元特性引入到半连接网络中，得到了更合理、更优的解混结果。而Deep HSNet是一种非端到端结构，其稳定性和性能主要取决于提取的端成员的准确性和初始化的丰度。在处理更复杂的场景时，噪声和初始化条件会极大地影响估计的解决方案。因此，如何充分考虑端元性质，解决解混过程中初始化不稳定的问题是我们算法的主要关注。

基于学习的方法的一个显著缺点是，训练过程更接近于黑盒机制，这导致难以在特定语义中明确地描述各个层的特征。这样的缺点往往导致泛化和准确性在很大程度上依赖于训练样本的数量和质量。当涉及到SU的特定任务时，这些限制也阻碍了进一步改进性能的分解。

基于自编码器的方法，直接将解码器的权矩阵作为得到的端元签名，提取物理上有意义的端元是有限的。端元定义为与像素相对应的地面区域只包含一个特征特征。由于缺乏对端元性质的有效指导，网络仅在满足丰度物理意义(ANC和ASC)的情况下寻找重构误差最小的解，往往会产生琐碎而无意义的解混结果。

非端到端方法很容易在解混之前引入额外的去噪误差。为了解决离群值的问题，我们使用了staked非负稀疏自编码(SNSA)来获得良好的端元初始化，用于解混过程[29]，[30]。还开发了卷积自动编码器[31]和非线性自动编码器[32]来处理无监督解混任务。

在本文中，我们开发了一个完全端到端的高光谱分离网络，称为TANet。提出的TANet由两流体系结构组成。

第一个网络学习从图像中提取的伪纯像素到它们相应的丰度的映射。

第二个网络进行相同的无加权自动编码器，以最小化原始像素数据的重建误差。

两个网络的参数以相同的权值共享，使得在解混过程中可以将端元的固有性质考虑在内。与其他基于学习的算法相比，双流网络等效为传统自编码器提供了额外的自适应训练误差，进一步提高了网络的鲁棒性和准确性。

我们所提议的TANet的主要贡献有三个方面。

• 首先，针对目前基于自编码器的方法存在的问题，提出了SU任务的双流体系结构，解决了解混过程中端元属性缺乏有效引导和初始化不稳定的问题。通过对纯或近似纯候选像素的学习来校正分离网络的权值，该TANet能够表现出更准确和可解释的分离性能。
• 其次，提出了一种新的基于超像素分割的端元束提取策略，该策略不需要仔细调整参数，可以充分利用场景中的空间信息;
• 最后，该方法可以在无监督的情况下完全实现;可以同时获得有意义的端元签名和丰度分数。

隐藏层的输出表示估计的丰度，解码器的权值矩阵表示得到的端元签名。 A s l i c s A_{slics} Aslics​表示从纯或近似纯的候选像素中提取的丰度特征。需要注意的是，由于两个网络的端元签名都是从同一幅图像中估计出来的，所以共享策略是在两个网络(EN和UN)的权值矩阵具有相同含义的假设下进行的。

该方法主要包括两个步骤。

第一种方法是采用一种有效的聚类策略，通过整合观测数据中包含的空间和光谱信息来提取端元束集。然后，将端元束聚集在一起，并通过最小化重构误差将其提供给EN。

另一方面，两个网络(EN和UN)的特定层类型被设计成相同的结构。两个网络的解码器参数也被迫共享权重。通过学习候选伪纯像素映射到它们的丰度，EN可以被视为提供了额外的训练误差，以纠正TANet收敛到一个更准确和可解释的解混合解决方案。最后，可以得到有意义的端元和相应的丰度。

A. Region-Based Endmember Bundles Extraction From the Observed HSI

基于区域的端元束提取方法如图3所示。基本思想是从原始HSI的子集中找到一个合理准确的纯像素 M 0 ∈ R B × R M_0∈R^{B×R} M0​∈RB×R的估计。然后，在适当的距离度量下，端元束可以从图像像素聚类。根据相关研究，相邻像素的光谱特征具有高度的相关性，并且总是具有相同的统计性质，这意味着光谱纯的特征更有可能出现在空间均匀的区域。

超像素分割是目前图像分割的主流方法。与传统的基于窗口的固定大小和形状方法相比，分离区域可以根据不同的空间结构来适应。特别是在噪声和异常值方面，可以表现出更好的比较性能，显著提高计算效率。

在本文中，我们采用简单线性迭代聚类(SLIC)[41]作为图像预处理。在原始HSI的随机选择子集上运行端元提取算法。从每个子集中提取端元后，以ED作为相似性测度对每个地面分量的端元束进行聚类。

在这里，我们采用一种更健壮和更容易的策略从HSI中选择纯像素。采用基于SLIC的超像素分割方法，将图像分割成P个超像素。然后对每个超像元进行平均，得到P平均谱。最后，采用基于纯像素的端元提取(如VCA)在P平均谱内运行，可以获得参考特征的M_0;

通过不同的实验，我们发现光谱信息发散(SID)-SAD方法能更好地捕捉图像中不同像素之间的变异性和相似性。因此，在我们的方法中，我们分别采用SID-SAD和ED来测量光谱距离和空间距离。

B. Autoencoder Framework of UN

C. Autoencoder Framework of EN

现有的基于自编码器的方法**，直接将解码器的权矩阵作为端元签名的输出，传统的训练是基于端到端重构误差准则**。因此，它们处理光谱变异性和提取物理上有意义的端元的能力仍然有限。当这类算法涉及更复杂的场景时，噪声和初始化条件会极大地影响解混的性能。这种限制或多或少存在于基于自动编码器的方法中。

在解决上述问题时，DAEN[29]采用堆栈式自动编码器(SAEs)来学习光谱特征，从而为解混过程生成良好的初始化。然而，当图像相对较大时，SAE需要极高的计算量。

uDAS[28]将去噪能力融入到网络中，并采用 l 21 l_{21} l21​范数来提高解混性能。因此，如何充分考虑端元特性，解决解混过程中初始化不稳定的问题，可以极大地提高解混性能。

在EN的训练过程中，将伪纯像素(端元束)映射到它们的丰度可以看作是对网络的预训练。由于基于区域提取的伪纯像素包含的混合像素更少，网络能够更有效地学习端元的性质。

在UN的过程中，可以将与UN共享的参数视为从误差最小的端元束中选择每个端元组合，从而将网络修正为更准确、更可解释的解混。从这个角度来看，这种训练过程类似于传统的基于端元集的方法的精神。然而，当端成员集合较大时，基于集合的方法都面临极端的搜索效率问题。基于深度学习的方法由于其优越的学习能力，可以更有效地解决这类问题。

在本文中，我们介绍了一种新的基于双流自编码网络的无监督高光谱分解方法。TANet主要由两个网络组成:EN和UN。与其他基于学习的算法相比，在相同权重的情况下共享参数使其有可能转移端元潜在的内在性质。然而，大多数基于自编码器的方法直接将解码器的权矩阵作为获得的端元签名，它们提取物理上有意义的端元的能力仍然有限。额外的端元束训练误差可以表现出更准确和可解释的解混性能。由于所提出的TANet是基于LMM的，未来的工作将发展一个更通用的网络，以非线性解混合场景。此外，由于端元束具有处理谱变异性的能力，我们还将进一步探索TANet在处理端元不确定性任务时的解混合性能。

注：亓老师的三篇论文

Hyperspectral Unmixing via Recurrent Neural Network With Chain Classifier

两阶段网络，特征提取阶段和丰度估计阶段。

上半部分RNNC的框架：考虑到单个像素光谱波段的序列性，采用序列模型BiLSTM[11]来处理序列数据并实现特征提取阶段。与CNN的局部表示能力相比，BiLSTM能更好地捕捉光谱波段间的远距离影响。

下半部分是使用CNN进行光谱波段局部信息的提取。

基于链分类器的融合网络(Fusion network with Chain Classifier, FNNC)，该网络分别利用CNN和RNN从光谱波段提取局部和全局特征。该方法可以充分利用高光谱图像中丰富的光谱信息，获取更多可识别的特征，从而提高高光谱解混性能。然后，将CNN和RNN分别提取的特征连接为向量，以供丰度估计阶段使用。

链分类器可以将多标签估计问题分解成多个有序的二值分类子问题，显著提高解混性能。具体来说，我们训练第一个二值分类器，并将其预测提供给第二个具有共同特征的二值分类器，以获得第二个预测，然后继续这个过程，直到最后一个分类器被训练。链分类器的先进性是指体系结构中除第一个分类器外的每一个二个子分类器都可以从前一个分类器中获得额外的信息，以提高其预测的准确性。然后根据分类器的预测指标对分类器进行排序，并按照新的顺序对链分类器进行再训练，以获得更好的性能。

一种基于链分类器的多度估计方法，将提取的特征映射到多度。与以往的估计方法不同的是，链分类器将多标签问题分解为一些有序的二分类问题，然后逐个得到丰度预测。

上半部分，使用了LSTM捕捉长期依赖问题。

Deep spectral convolution network for hyperspectral image unmixing with spectral library

受稀疏HU中光谱库成功植入的启发，本文针对HU提出了一种新的包含光谱库的深光谱卷积网络SCNL，该网络经过训练后可用于一系列的HSI。本文的主要贡献可以总结如下。

• 1.光谱库使得网络在训练之后可以用于多个HSI。同时，将光谱库中的端元特征作为监督信息加入到网络中，提高了网络的表示能力。
• 2.用光谱卷积来提取局部光谱特征，充分利用hsi的光谱信息。采用更深层次的网络来处理规范库的合并，因为它需要提取更多的特性。更深层次的网络结构可以带来更好的特征表示和更好的估计结果。
• 3.构造了一个新的损失函数，包括重构误差、丰度稀疏度和丰度交叉熵，以端到端方式训练网络。

频谱卷积:卷积网络的主要特征是权值共享，这在极大程度上降低了神经网络的参数和过拟合现象，同时降低了神经网络结构的复杂性。

如图1所示，提出的SCNL架构由13层组成。SCNL的输入是原始高光谱数据中像素的光谱向量，输出是输入像素的重构光谱向量。详细地说，SCNL包括8个卷积层、4个池化层和4个全连接层。通过卷积和maxpool处理，提取输入像素的高级特征。同时，利用前两个完全连通层进行特征分类，获得光谱库中材料的丰度。最后，利用具有固定权重（光谱库中端元特征提供）参数的全连通层进行像素重构。

最后两层FC神经元个数，设置为光谱波段数L，输入为端元的丰度
对于前两个完全连通层，如果与谱库中的实端元一致，则认为丰度为“1”，其他情况则认为丰度为“0”。

Spatial-Spectral Autoencoder Networks for Hyperspectral Unmixing

我们提出了一种用于高光谱分解的空间光谱自编码器(SSAE)，包括端元提取网络(EENet)和丰度估计网络(AENet)。EENet利用高光谱图像的空间信息采用“多对一”策略，即像素的丰度与其相邻像素的丰度相结合。这个想法是基于这样的假设:一旦一个端元混合在一个像素中，它就会以高概率混合在周围的像素中。该策略促进了丰度的连续和平滑的空间分布，比其他方法更有效的端元提取。此外，为了充分利用丰富的光谱信息，获得更准确的丰度，我们设计了一个AENet，该网络应用深度卷积神经网络来估计丰度与从EENet获得的端元。

EENet得到的丰度精度不够好，但提取的端元精度要高得多。

AENet，从EENet中提取端元后得到更精确的丰度。

在本文中，我们将 以一种特殊的方式集成到自动编码器中，将周围的像素编码为一个隐藏的表示，并将其重建到中心像素中。以这种方式编码的丰度促进了丰度的空间连续性。在得到端元后，用CNN方法进一步估计丰度。深度学习的目的是提取可识别的特征，从而获得精确的丰度。在模型的优化过程中，采用了编码器和解码器的统一学习速率策略。在两个真实数据集上的实验结果表明，该方法优于比较方法。

Hyperspectral Unmixing论文泛读（一）相关推荐

1. 【论文泛读】 Deep Learning 论文合集

   [论文泛读] Deep Learning 论文合集 文章目录 [论文泛读] Deep Learning 论文合集 Batch Normalization: Accelerating Deep Netw ...

2. 【论文泛读】 ResNet：深度残差网络

   [论文泛读] ResNet:深度残差网络 文章目录 [论文泛读] ResNet:深度残差网络 摘要 Abstract 介绍 Introduction 残差结构的提出 残差结构的一些问题 深度残差网络 ...

3. 【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

   [论文泛读] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift ...

4. 方面级情感分析论文泛读02：Syntax-Aware Aspect-Level Sentiment Classification with Proximity-Weighted Convolution

   提示1:原文链接 提示1:代码链接 文章目录 前言 一.论文信息 二.笔记要点 2.1. 目前存在的问题 2.2. 目前解决方法: 2.3.本文方法和创新点 2.4. 实验效果 2.5. 模型结构 2 ...

5. 【论文泛读】Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks

   Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks [2018 ...

6. ICRA2017三篇论文泛读

   1.Convergence and Consistency Analysis for a 3-D Invariant-EKF SLAM(泛读)(ICRA2017)引用 9 摘要翻译: 在这篇文章中,我 ...

7. 云计算中微服务相关论文泛读

   以下是最近对于云计算中微服务系统调度论文的泛读,欢迎一起探讨问题,如需要论文请私聊. Amoeba: QoS-Awareness and Reduced Resource Usage of Micro ...

8. 【论文泛读】ChineseBERT：融合字形与拼音信息的中文预训练模型

   本次分享的论文ChineseBERT来自于ACL 2021会议,论文全名为ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin I ...

9. SP 2022论文泛读

   S&P 2022的论文分类:https://www.ieee-security.org/TC/SP2022/program.html 接收的论文:https://www.ieee-securi ...

最新文章

1. 独家 | 菜鸟级机器学习入门（附代码实例）
2. .NET Framework 4.7 安装
3. springboot mybatis 项目框架源码 shiro 集成代码生成器 ehcache缓存
4. Hibernate 一对一关联关系
5. C/C++ 给Python写扩展模块
6. （实用）Ubuntu 开启NFS服务
7. Java基础---网络编程
8. 刘润、叶军、付晓岩等大咖同台“论道”：如何成为数字化经济中的刚需人才？|福利赠票...
9. 被骂十几年，躺赚上千亿！这个“土匪”行业，还能浪多久？
10. GDB watch的使用
11. Python Dict笔记
12. Office 2003如何打开后缀名为docx的Microsoft Word 文档
13. 模式识别 算法练习（一）——C均值算法
14. PS 前端技能一 白色背景图片变为透明的图片
15. C语言象棋马的遍历程序,马走日遍历
16. 新猿木子李：0基础学python培训教程 Python操作日期
17. 2020平面设计新手入门技巧
18. a16z 合伙人：Web3 的新思维、新策略和新指标
19. 2023武汉理工大学计算机考研信息汇总
20. 问道科技产业新变局，2022「甲子引力」年终盛典圆满举办｜甲子引力

热门文章

1. TP-LINK安装USB共享打印机小记
2. 2020，新的一年的flag立起来
3. [转]让程序员跳槽的非钱原因
4. sliverlight学习博客
5. 2013全国计算机一级考试试题,2013计算机一级考试试题汇总
6. 蓝桥杯真题：受伤的皇后
7. Apache个人用户主页设置
8. 计算机专业好还是铁道运输管理好,2018年铁路最好的5个专业是什么
9. 开学宿舍必备物品清单，这些宿舍好物你要知道
10. 机器学习之正则化（Regularization）