Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges

基于人工智能变化检测：最先进的和挑战

Abstract

基于遥感（RS）数据的变化检测是检测地球表面变化的重要方法，并且在城市规划，环境监测，农业调查，灾害评估和地图修订中具有广泛的应用。近年来，综合人工智能（AI）技术已成为开发新变化检测方法的研究重点。虽然一些研究人员声称AI的变化检测方法优于传统的变化检测方法，但它没有立即明显如何以及在多大程度上可以提高变化检测的性能。本综述重点是AI变化检测的最先进的方法，应用和挑战。具体地，首先引入基于AI的变化检测的实现过程。然后，呈现来自用于改变检测的不同传感器的数据，包括光学RS数据，合成孔径雷达（SAR）数据，街景图像和组合的异构数据，并且还列出了可用的打开数据集。系统地评估和分析了基于AI的变化检测方法的一般框架，进一步分析了AI基变化检测中使用的无监督方案。随后，描述了用于改变检测的AI中的常用网络。从实际的角度来看，基于AI的改变检测方法的应用领域基于其适用性进行分类。最后，讨论了AI用于变革检测的主要挑战和前景，包括（a）异构大数据处理，（b）无监督的ai，（c）AI的可靠性。本综述将有利于研究人员了解这一领域。

1. Introduction

改变检测是通过在不同时间观察到来识别物体或现象状态的差异的过程[1]。它是地球观测中的主要问题之一，并在近几十年中被广泛研究。多时间RS数据，如卫星图像和空中图像，可以提供丰富的信息来识别在一段时间内特定区域的土地利用和陆地覆盖（LULC）差异。这在各种应用中非常重要，例如城市规划，环境监测，农业调查，灾害评估和地图修订。随着地球观测技术的持续发展，现在提供了具有高光谱空间 - 时间分辨率的巨额RS数据，这为改变检测技术带来了新的要求，大大促进了他们的发展。为了解决更改检测过程期间通过更精细的空间和光谱分辨率图像所带来的问题，提出了许多改变检测方法。在这里，它们大致分为两类：传统和基于AI的。图1显示了传统变革检测的一般流程和基于AI的变化检测。

现有的变更检测审核主要集中在多时间超光谱图像（HSIS）和高空间分辨率图像中的变化检测技术的设计[1-4]。他们审查的技术主要是传统的变革检测方法，可以概括为以下组：
目视分析：通过手动解释获得变更图，这可以根据专家知识提供高度可靠的结果，但是耗时和劳动密集型的效率;
•基于Aalgebra的方法：通过对多时间数据执行代数操作或转换来获得变化图，例如图像差异，图像回归，图像比和改变向量分析（CV A）;
•T ransformation：数据减少方法，例如原理分析（PCA），流苏帽（KT），多变量改变检测（MAD），Gramm-Schmidt（GS）和Chi-Square，用于抑制相关信息和突出显示多时间数据方差;
•基于分类的方法：通过比较多个分类映射（即，分类后比较），或者使用训练分类器来直接对来自多个时段（即，多种分类或直接分类）直接对数据进行分类的更改;
•高级模型：高级模型，如Li-Strahler反射模型，光谱混合模型和生物物理学参数方法，用于将多个时期数据的光谱反射率值转换为物理基础的参数或分数以进行变化分析，这更直观，具有物理意义，但它是复杂且耗时的;
•其他：混合方法和其他人，例如基于知识，空间统计数据和集成的GIS和RS方法。

根据检测单元，这些方法也可以基于像素级，特征级，对象级别和三维（3D）对象级别分类，并且在文献中被系统地审查[5-7] 。由于计算机技术的快速发展，传统变革检测方法的研究已经转向集成AI技术。在传统的变化检测流程和基于AI的流动中，第一步是数据采集，改变检测的目的是获得各种应用的变化检测图;在准备数据之后，传统方法通常由两个步骤组成，包括均质化过程和变化检测过程，而基于AI的方法通常需要额外的训练集生成过程和用于改变检测的AI模型训练过程。显然，基于AI的方法的关键组成部分是AI技术。

AI技术，也称为机器智能，可以在各种数据处理任务中提供更好的性能。它可以定义为系统正确解释外部数据的能力，以从这些数据中学习，并使用这些学习通过灵活的适应来实现特定的目标和任务[8]。本文中的AI技术侧重于最近的深度学习方法，新的网络结构和智能机器学习方法的出现，这些方法由生物系统启发。由于他们相对较低的智能和现有的评论[7]，传统机器学习方法（如支持向量机和决策树）尚未考虑在本次审查中尚未考虑。

已经开发了许多集成AI技术的新方法以提高变化检测的准确性和自动化。宽体RS研究表明，基于AI的变化检测方法优于传统的特征提取[9,10]。由于强大的建模和学习能力，AI技术可以尽可能地将图像对象与其现实世界地理特征之间的关系模拟，这使得能够检测更实际的变化信息。通常，它们利用多时间数据中的空间上下文信息来学习分层特征表示，并且这些高级特征表示在更改检测任务中更有效且稳健。

审查AI的大多数现有研究都是关于AI算法的发展的一般性评定[11]或对特定热场的详细RS应用审查[12]。在[13]中，作者专注于RS社区深度学习的理论，工具和挑战。换句话说，这些审查文章基于卢比的AI技术的理论和应用。在RS数据变化检测的领域中，仍然缺乏对应用于多源数据的AI方法的彻底审查。本文提供了对AI技术在RS改变检测处理中的应用的深度审查。它侧重于AI在多时间数据中改变检测的最先进的方法，应用和挑战。本文的主要贡献如下：

1.介绍了基于AI的变更检测的实施过程，我们总结了可以帮助初学者理解这一研究领域的常见实施策略;
2.我们详细介绍了用于AI的改变检测的不同传感器的数据，主要包括光学RS数据，SAR数据，街道视图图像和组合异构数据。更实际上，我们列出了带有注释的可用打开数据集，可以用作培训和评估未来改变检测研究的基准的基准;
3.通过系统地审查和分析基于AI的变更检测方法的过程，我们以实际的方式总结了他们的一般框架，这有助于将来设计变更检测方法。此外，分析了基于AI的变化检测中使用的无监督方案，以帮助解决实际应用中缺乏培训样本的问题;
4.我们描述了AI中的常用网络进行变更检测。分析其适用性有助于在实际应用中选择AI模型;
5.我们提供了在各种领域的基于AI的变更检测，并将其细分为不同的数据类型，这有助于那些对这些领域感兴趣以找到相关的AI的变化检测方法;
6.我们描绘并讨论AI对三个主要方向的变更检测的挑战和前景，即异构大数据处理，无监督的AI和AI的可靠性，为未来的研究提供有用的参考。

本文的其余部分安排如下。我们在第2节中介绍了基于AI的变更检测的实现过程;我们列出了用于改变检测的数据源，第3节;在第4和5节中介绍了AI中的一般框架和常用网络的审查;在第6节中，我们总结了这些方法的各种应用;在第7节中讨论基于AI的变更检测的挑战和机遇后，我们在第8节中得出了本综述的结论。

2.基于AI的变化检测实施过程

图1说明了基于AI的变化检测的一般流程。关键是获得高性能训练的AI模型。详细地说，如图2所示，基于AI的变更检测的实现过程包括以下四个主要步骤：

1.均质化：由于照明和大气条件的差异，季节和传感器态度在采集时，通常需要在改变检测之前均化均质。几何和辐射矫正是两个常用的方法[14,15]。前者旨在通过登记或共同登记来几何对准两个或更多个给定的数据。仅在两个时段数据中，只有当它们被覆盖时，相应位置之间的比较就会有意义[16]。后者旨在消除由传感器的数字化过程和由大气中的吸收和散射引起的大气衰减变形引起的辐射或反射差异[4]，这有助于减少由这些辐射误差引起的变化检测引起的误报。对于异构数据，可以设计特殊的AI模型结构以实现变化检测（参见第4.1.2节）;

2.训练集生成：要开发AI模型，需要一个大型高质量的培训集，可以帮助算法来了解某些模式或一系列结果具有给定的问题。使用某些技术（例如，手动注释[17]，使用主题数据[19]）来标记或注释多个时段数据（例如，手动注释[17]）以使AI模型简单地学习改变的特征对象。图2呈现了用于构建变更检测的注释示例，该示例由两个时段RS图像组成，并在像素级别的构建变化标记的相应地形真理组成。基于地面真理，即，先验知识，可以以监督方式培训AI模型。为了减轻缺乏培训数据的问题，被广泛使用的数据增强是一种很好的策略，例如水平或垂直翻转，旋转，尺度变化，作物，翻译或增加噪声，这可以显着提高多样性可用于培训模型的数据，而无需实际收集新数据;

3.模型培训：生成训练集后，通常可以根据样品或地理区域的数量分为两个数据集：用于AI模型训练的训练和用于训练过程中的准确性评估的测试集[ 20]。训练和测试过程是交替和迭代的。在培训过程中，该模型根据学习标准进行了优化，这可以是深度学习中的损失功能（例如，软MAX丢失[21]，对比丢失[22]，欧几里德丢失[23]或交叉熵损失[24]）。通过监视培训过程和测试精度，可以获得AI模型的收敛状态，可以帮助调整其超参数（例如学习率），也可以在判断模型性能是否已达到最佳状态（即，终止）条件;

4.模型服务：通过部署训练有素的AI模型，可以更智能地和自动为实际应用程序生成更改映射。此外，这有助于验证模型的泛化能力和鲁棒性，这是评估基于AI的变化检测技术的实用性的重要方面。

上述步骤提供了基于AI的变化检测的一般实现过程，但是AI模型的结构是多样的，并且需要根据不同的应用情况和训练数据进行充分的设计，这将在第4和5节中引入。值得一提的是，现有的成熟框架如Tensorflow [25]，Keras [26]，Pytorch [27]和Caffe [28]，帮助研究人员更容易实现AI模型的设计，培训和部署，以及他们的发展文件提供详细的介绍

3.用于改变检测的数据源

随着数据采集平台的发展，如卫星，无人机和地面调查车辆，它们产生的巨大多源RS数据带来了土地变革监测的新应用要求。特别地，多传感器高空间和高时分辨率数据需要更自动化和强大的改变检测方法，以降低手动解释的成本。通过总结用于更改检测的数据类型，我们可以深入分析现有变更检测方法对数据的适用性。在本文中，用于改变检测的数据类型分为光学RS图像，SAR图像和街道视图图像。应该注意的是，街道视图图像通常不用为RS数据，而是作为辅助数据[29-31]，因此在RS社区中不常见。尽管如此，还有重叠的改变检测的想法。在本文中，街景图像被视为一种广泛的感觉和审查的一种RS数据，因为它们可以提供街道级观察数据。此外，总结和分析了组合异构数据进行变化检测的方法。不同数据源的示例如图3所示。光学RS和SAR图像分别用无源和有源传感器聚集，覆盖不同的电磁谱范围。其他数据源（如数字高程模型（DEM），地理信息系统（GIS）数据和点云数据，都可以提供有价值的补充属性。架空遥感度收集大型空间区域的信息，但其时间分辨率相对较低。街景图像可以提供街道级别的几乎实时信息。有关光学RS图像，SAR图像，街道视图图像和组合异构数据的详细说明，请参阅第3.1节。此外，第3.2节列出了现有的开放数据集，用于更改检测任务，可用作未来研究的基准。

（数据集待补充）

4.总基于AI的变更检测框架

改变检测任务的输入是多时间数据，其在两个或更多个时段中是同质或异构数据。根据双时态数据的深度特征提取或潜在特征表示学习过程，可以概括基于AI的变化检测框架：单流，双流和多模型集成。此外，我们还进一步分析了他们在这些框架中的无监督计划，这是AI非常重要和有挑战性的研究问题。

4.1 单流框架

对于基于AI的变化检测，有两种主要类型的单流框架结构，如图5所示，即直接分类结构和映射转换基结构。

它们通常只需要核心AI模型来实现变化检测，因此它们可以被视为单流结构。值得注意的是，在实践中，一些研究基于这些结构进行了改进，以满足特定的变化检测目的，并在下面给出详细的分析。

4.1.1 直接分类结构

直接分类方法使用各种数据处理方法将两个或更多个数据熔断到中间数据中的两个或更多个数据，然后使用单个AI的分类器来执行特征学习并实现融合数据的两个或多个分类。也就是说，如图5A所示，该结构将变化检测任务转换为分类任务，也称为一些文献中的双通道结构[108,147]。它的两个关键研究问题是数据融合方法和基于AI的分类器的选择。

为了从多个时段数据获取融合数据，两个最常见的方法正在使用变化分析方法和直接连接。改变分析方法，例如CV A [47]，按日志比运算符的差异[18,148]或改变措施[103,149]，可以直接提供多模型数据中的变化强度信息（即，差异数据），可以突出显示更改信息并促进变更检测。直接级联方法可以保留多个时段数据的所有信息，变化信息由后续的分类器提取。通常，一维输入数据直接连接[24,42,101,150-152]，而二维数据通过通道连接[111,112,153,154]。此外，原始数据的融合和差异数据[21,99]是另一个好的策略，可以在突出显示差异信息的同时保持所有信息。

分类器使用AI技术将融合数据分为两种类型（即，改变或不变）或多种类型（不同类型的更改）[77]。其性能和相关训练数据是最终获得满意变化地图的关键。更多详细信息在第5节中审核。

4.1.2 基于转换的结构

基于映射转换的框架结构通常用于检测不同域或异构数据的变化。其主要思想是使用AI方法来学习特征映射转换，并使用它在一种数据上执行功能转换，如图5B所示。转换的特征对应于另一种数据的特征。简而言之，它将数据从一个要素空间转换为另一个特征空间。最后，通过对两种数据的相应特征执行决策分析，可以获得更改图。在[16]中，映射神经网络（MNN）被设计为学习多空间分辨率数据之间的映射函数，然后实现特征相似性分析以构建变化图。该方法还实现了SAR和光学图像之间的变化检测。在[60]中，作者使用ANN实现相对辐射归一化，然后在相同的辐射条件下检测两个周期数据的变化。此外，使用该映射变换的思想，已经提出了几种改进的结构，用于检测异构数据的变化或不同的域数据[10]。

4.2 双流框架

由于变化检测任务通常基于两个数据句点，即两个输入，双流结构对于变化检测非常常见，并且可以汇总为三种类型，如图6所示。它们是暹罗结构，基于转移学习的结构和分类后结构。

4.2.1 暹罗结构

如图6a所示，暹罗结构通常由两个具有相同结构的子网组成，即，特征提取器，其将输入的两个时段数据转换为特征映射。最后，通过使用变更分析（即决策者）获得更改图。这种结构的主要优点是其两个子网直接培训，同时学习输入的两期数据的深度特征。

根据子网的重量是否共享，这可以分为纯暹罗结构[22,68,94,117,155,156,156]和伪暹罗结构[79,109,157,158]。主要区别在于，前子网通过共享权重提取两句数数据的共同特征。后一来自子网提取分别具有相应的输入数据，导致可训练参数和复杂性的数量增加，而且在其灵活性中增加。同样，[159]的作者设计了一个三维网络，其由三个子网组成，其中具有共享重量进行改变检测。

虽然这种结构使得特征提取器能够通过标记样本的监督培训直接学习深度特征，但无监督的培训更具挑战性。一个共同的解决方案是以无监督的方式单独训练特征提取器[105-107,160]。这些预先训练的特征提取器提供了用于进一步改变检测的原始数据（即，特征映射）的潜在表示。为了生成更改映射，两个时段中的输出特征映射可以通过通道的串联直接分类，或者可以用于使用一定距离度量[9]产生差异图，然后用于进一步改变分析[ 162,163]。为了保留多尺度更改信息，可以连接不同深度的特征映射，以便更改检测[164-167]，这效果很好。

4.2.2 基于迁移学习的结构

提出了基于转移学习的结构，以减轻缺乏培训样本并优化培训过程。传输学习在一个域中使用培训来实现另一个域中的更好结果，具体而言，在原始域中学习的较低到MIDlevel特征可以被传输为新域中的有用功能[13]。作为特征提取器的预先训练的AI模型用于生成两个时段的特征映射，并且两个时段的特征提取器可以是相同的，如图6B所示。预先训练的模型是否可以正确提取输入数据的深度特征图或潜在特征表示，确定改变检测任务的性能。

转移学习的结构通常具有两个训练阶段，即深度特征学习阶段和微调阶段。在深度特征学习阶段，通常监督AI模型，预先培训，在其他域数据中具有足够的标记样本[67,110,168]。微调阶段是可选的，在此阶段，微调[125,169-172]或附加分类器训练需要少量标记的样品[90,140]。因此，可以通过训练的分类器直接获得变化图。在没有微调的情况下，可以基于使用变化分析的两个周期特征映射获得最终变化映射，例如低秩分析[173]，CV A [72]，聚类[73,82]和阈值[119,174] 。这意味着进一步培训不需要更多标记的样品。此外，基于转移学习的想法，训练有素的AI模型也可用于产生训练样本或掩模以实现无监督的方案[78]，这是一个非常实际的策略

4.2.3 分类后结构

如图6c所示，分类后结构由两个分类器组成，通常可以转换为分类任务并以关节或独立方式培训。它为每个时段数据提供了一个分类映射，并且可以通过比较分类映射来获得具有改变方向的变化图。然而，这些方法的变化检测结果的准确性取决于分类器的性能。

许多研究[43,44,52,56,61,70,75,76,131,175,176]已证明AI技术将陆地覆盖分类的准确性提高到显着水平，结果可以进一步使用改变检测。通过将直接几何或光谱比较转换为标签变化，分类后结构可以被视为非常一般和实际的结构，并且它提供了一种类型的变化矩阵。有利地，它适用于在不同获取条件（照明条件，传感器姿态，季节等）或甚至不同的传感器下获取的数据进行的数据进行工作[45,50,62,130]。基于AI的分类器的监督培训需要大量的训练样本，其可以由表示土地覆盖的现有的GIS数据生成[128]或主题地图[177]。

4.3 多模型集成结构

许多作品已经集成了多种AI模型，以提高变化检测方法的性能。考虑到大量和复杂的结构，只概述了代表性结构，如图7所示

多模型集成框架是混合结构，其类似于双流结构，但它包含更多类型的AI模型，也可以在多个阶段培训。变化检测是一种时空分析，并且可以通过通过基于AI的特征提取器获取空间光谱特征来实现，然后通过作为时间模块的基于AI的分类器来建立时间依赖性的时间依赖性[14,38] ，53,74]。此外，这种混合结构巧妙地用于无监督变化检测[100]和物体级变化检测[87]。这使得整个变化检测过程在提高性能时更复杂。

4.4 更改检测框架中的无监督计划

基于AI的变更检测框架通常包括特征提取器或分类器，需要监督和无监督的培训。由于获得了大量标记的监督培训样本，通常是耗时和劳动密集型的，因此已经努力以无监督或半监督的方式实现基于AI的变化检测。如第4.2.2节所介绍，转移学习可以减少甚至消除对训练样本的需要，但这些不是纯粹的无监督计划，因为需要来自其他域的样品。此外，最常用的无监督方案是使用更改分析方法和采样选择策略来选择绝对变化或/和不变作为AI模型的训练样本。其流程图如图8A所示。

可以看出，该方案中有两个变化检测阶段。第一阶段，即预分散，通常是简单的，但值得学习，并且大多数是无监督的方法，可以用差异分析和聚类[101]，例如k-means [162]，模糊C-means（ FCM）[90,99,1111,151,160,165,178-181]，空间FCM [102,154]或分级FCM [21,113]。在某些作品中的这种阶段通过阈值分析来实现[18,39]，显着性分析[78]或精心设计的规则[38,83,84,124,148,182,183]。在获得高置信度或/和不变的样本之后，可以以监督方式培训AI模型，以便在第二阶段改变检测。此外，另一个常用的无监督方案基于潜在的变化图，如图8B所示。除了通过转移学习获得的预先训练的模型之外，它还可以由无监督的AI模型（例如，AES）生成，然后通过使用聚类算法生成最终变化图[23,79,98,107,157,163,184]

虽然无监督的变化检测不需要标记的训练样本，但有时缺乏先验知识使其不适合涉及语义信息的变化检测。弱和半监督方案使用不准确或不足标记的样本作为解决此问题的先验知识，可以用标签聚集[97]，迭代学习[58,185]，深生成模型[186]（参见第5.6节）更详细的审查），样品生成策略[156]或新的成本职能[36,187]。

5. AI中的主流网络

第4节总结了基于AI的一般变更检测框架，但详细介绍了其特征提取器和分类级分类。特别分析了用于改变检测的AI中的术语，用于变化检测的令人惊心的网络结构。目前，它们主要包括AutoEncoders（AES），深度信仰网络（DBNS），CNNS，经常性神经网络（RNN），脉冲耦合神经网络（PCNNS）和生成的对抗网络（GANS），如图9所示。另外，还简要概述了用于改变检测的AI中的其他网络或方法。

5.1 自编码

AE的基本结构如图9A所示。它主要包括两个部分：编码器和解码器。编码器对输入向量X进行编码以获得潜在特征H（x），其可以被配制为：h（x）= f（wx + b）。解码器，其可以配制为：ex = f（w0h（x）+ b0），重建学习的潜在特征以输出应该尽可能靠近原始x的vectore x。 W和B是可培训参数，可以通过无监督的方案获得。直观地，AE可用于特征维度降低，类似于PCA，但由于神经网络的强特征学习能力，其性能更好。因此，它广泛用于将检测任务改变为特征提取器。常用的AE模型是堆叠AES [97,98,104]，堆叠的去噪AES [16,101,106,121-123,151,160,188]，堆叠的Fisher AES [189]，稀疏的AES [80]，去噪AES [102]，模糊AES [105]和反射AES [99,103]。这些AES通过将像素邻域扩展到向量中来保留空间信息，而卷积AES通过卷积内核直接实现[170,190]。根据其特性，AE可以用于以无监督的方式实施变化检测并表现良好。

5.2 深度信仰网络

DBN是一种生成图形模型，并学习概率地重建其输入。它可以通过堆叠多个简单和无监督的网络，例如受限制的Boltzmann机器（RBMS）或AES来形成。如图9B所示，DBN由多个隐藏单元组成，具有层之间的连接。然而，其在同一层内的单元未彼此连接，并且每个隐藏层用作下一个的可见层。作为特征提取器，它可以贪婪地训练，即一次一层，并且出现在许多无监督的变化检测方法中[23,37,157,183]。另一方面，作为类似于DBN但无向的图形的深度Boltzmann机器（DBM）也可以实现这样的功能[182]。

5.3 卷积神经网络

根据是否考虑了空间关系，深神经网络提取的深度特征可以分为两类。一种类型使用一维数据作为输入（例如，DBN和AES）。它们的输入是从输出完整空间信息的输入图像补丁转换的列向量。另一个使用二维数据作为输入，考虑到空间关系及其典型代表是CNN。如图9C所示，它通过局部连接和共享重量分层检测特征，并且更接近人类视觉感知机制。对于那些不熟悉的CNNS的人，由Goodfellow等人的一本很棒的书。可以在[191]中找到。

由于其强大的自动学习深度特征，CNN在各种图像处理任务中实现了令人满意的性能。许多经典CNN和它们的改进用作改变检测的分类器或特征提取器，例如VGGNET [78,86,119,140,164,168]，Caffenet [174]，Segnet [192]，UNET [169,193]，Inceptionnet [67]和Reset [194,195] ]。然而，文献中的大多数网络结构是新设计的，并且通常由输入层和一系列卷积层，池层，激活功能和完全连接的层组成。但是，为了实现特殊功能，CNNS集成了一些特殊结构进行变更检测。例如，基于CV的对象检测的区域CNN（R-CNN）包含一个区域 - 提议结构，以预测改变对象的区域[87,196,197]。 PCANet与其从PCA过滤器中选择的卷积滤波器银行，能够降低斑点噪声的影响，并已用于SAR图像变化检测[178,180]。最近的工作提出了内核PCA卷积，以以无监督的方式从RS图像提取代表性空间谱特征[163]。

总之，CNN的使用使得改变检测方法能够达到现有技术，但没有系统的方式设计和/或培训网络，这是RS社区中的一个长期问题

显然，改变检测的输入包括两个或更多个数据段，因此可以将改变检测任务转换为直接从多个时段序列数据获得改变信息的过程。作为其输入是序列数据的存储网络，RNN非常适合这种情况。如图9D所示，其核心部分是可以展开链的链条，其依次连接的单位（即RNN细胞）。 RNN单元具有两个输入：一个是当前时间输入XT，用于实时更新状态，另一个是上一段时间的隐藏层HT-1AT的状态，用于记住状态。不同时间的网络共享相同的参数集F.

5.4 循环神经网络

长期内存（LSTM）网络，这是一种特殊的RNN，可在长时间训练期间减轻梯度消失和渐变爆炸问题的特殊RNN，已被采用变更检测任务中的时间模块（参见第4.3节）[14,38,53,64,74]。在[51]中，作者使用改进的LSTM网络来获取和记录多时间RS数据的变化信息。有利地，培训的模型可以转移到其他数据域;也就是说，它具有良好的概括能力。此外，在[52]中，基于相同的想法，即知识转移，作者提出了一种基于RNN的框架来检测四个城市的年城市动态。这些方法可以帮助解决城市变革的长期检测中的时间谱差异和样本不足的问题。

5.5 脉冲耦合神经网络

PCNN是一种由哺乳动物的视觉皮层的仿生神经网络。与传统的神经网络不同，它不需要学习和培训阶段来提取来自非常复杂的背景的有效信息，这意味着它是无监督的并且可以容易地用作特征提取器。如图9E所示，它主要由三个部分组成：接收的字段，调制字段和脉冲发生器。 PCNN接收二维输入图像，并且每个神经元对应于图像中的一个像素。每个像素的值用作每个神经元的外部刺激，并且其连接的相邻神经元提供局部刺激。外部和局部刺激在调制区域和脉冲发生器中组合以产生脉冲输出。随着迭代的数量增加，PCNN产生可用于图像分割和特征提取[198]的脉冲序列，并且类似地用于改变检测[54,66,71,85,124,199-201]。

5.6 生成的对抗网络

GAN是使用两个神经网络，即发电机和鉴别器的算法架构，在游戏中彼此比赛，以获得最佳生成和辨别模型[202]，如图9f所示。发电机学会为鉴别器生成合理的数据作为判别符号的负训练示例，而鉴别者则学会将这些假数据与真实数据区分开来。因此，具有少量标记数据（即，实际数据），可以训练进行良好的识别模型以进行更改检测[17]。不同于使用随机高斯噪声来生成假数据[83]，[203]的作者使用了基于CNN的发电机，基于两个周期数据的联合分布产生假差异图，这有助于削弱影响的影响网络上的坏像素。在[204]中，作者设计了一个W-Net作为发电机，以减少网络参数，使它们易于训练，并使用许多手动注释的样本来提高结果的可靠性。更新的工作[127]提出了一种条件GaN，实现异构数据的变化检测，其中用于将异构数据转换为相同的特征空间，并且可以通过直接比较来获得变化映射。类似地，[126]中使用耦合翻译网络。对于映射山体滑坡，[93]的作者使用映射发生器将Preand Landslide图像转换为同一域，然后采用暹罗网络来检测滑坡变化。

获得一个功能良好的GaN，方法需要精心设计的损失功能和良好的培训策略;否则，由于神经网络的自由，模型结果可能是不令人满意的。此外，需要实际数据来确保网络的可靠性。这些是许多实际应用中存在的挑战。

5.7其他人工神经网络和AI方法

AI中有许多人工神经网络，上面描述了用于改变检测的主流网络结构。此外，其他网络（如Hopfield网络）[47,48,65,205-207]，反传播网络[42,149,208,209]，多层感知（MLP）[70,210-214]，极端学习机[215]和自组织地图（SOM）网络[55,216-221]，不需要大量培训样本来学习作为深度神经网络的高级抽象特征，而是由于其浅的网络结构，样本量低，培训方便培训过程中，它们也广泛用于改变检测任务，并可以实现令人满意的结果。由于它们可以被视为传统的机器学习技术，因此由于空间限制和现有评论，我们不会在此处进行更详细的评论[7,222,223]。

除了AI中的神经网络之外，还有其他用于实现变化检测的AI技术。最近，已经采用了字典学习，它专注于从数据集中学习内部特征表示[141,176,224,225]，就像AES一样。蜂窝自动机（CA），由蜂窝行为启发的空间和时间分立模型，可以帮助模拟LULC [226]的未来变化，并预测城市空间扩展[227]。这些AI技术的开发显着促进了改变检测的研究，有助于开发更加自动，智能和准确的方法，以满足各种应用的需求。

6. 应用程序

在实际应用中，根据更改信息，最终变更映射可以分为四种类型，即二进制映射，单级映射，从到映射和实例映射，如图10所示。

二进制映射使用1和0表示变化，没有变化。它包含任何更改，无法为已更改的地面对象提供其他类型的信息。单级地图提供单型更改信息，指示特定类型的地面对象的外观和消失。例如，构建变化检测的结果是指示建筑物的添加和拆卸的单级地图，可用于城市管理[86]。从到映射提供更改传输信息，指示接地对象从一个类型改变为另一个类型，并且这些改变类型由分类器[128]确定。更改实例映射为每个更改实例提供边界，这可能是基于对象的变化检测的结果[89]。可以通过训练的AI模型生成这些变化检测映射并在各种应用中使用。为了展示未来的潜在应用需求和基于AI的变更检测技术的可能性，目前在本节中总结了各种应用领域的尝试和工作。基于AI的改变检测技术的开发极大地促进了许多应用，并提高了自动化和智能。基于AI的大多数更改检测生成二进制映射，这些研究仅关注算法本身，而无需特定的应用程序。因此，可以认为它们通常适用于LULC变化检测。在本节中，我们专注于与特定应用程序相关的技术，它们可以广泛分为四类：

•城市背景：城市扩张，公共空间管理和建筑变革检测;
•资源与环境：人力导向的环境变化，水力环境变化，海冰，地表水和森林监测;
•自然灾害：山体滑坡映射和损害评估;
•天文学：行星表面。

城市化是导致土地表面变化的重要因素。由于人口增长，城市化的扩张在将自然土地覆盖转化为人民的城市设施方面发挥着重要作用。在[52]中，作者提出了一种基于转移学习的新框架和用于城市区域提取和变更检测的RNN。其单年城市地图的整体准确性约为四个目标城市（北京，纽约，墨尔本和慕尼黑）的96％。使用遗传算法演进的ANN [228]或CNN [229]，通过在预测的城市分布图中差异获得城市变化。对于公共空间管理，基于街道视图图像的更改检测是识别公共空间侵占的好方法。在[117]中，CNN使用暹罗结构和转移学习在VL-CMU-CD数据集中实现了98.3％的像素精度。此外，许多研究侧重于建设变化。由于建筑规模小，改变检测通常基于高空间分辨率的RS数据，例如空中照片[86,90]和来自Quickbird的卫星图像[192]或WorldView 2 [ 85]。然而，由于实验数据的差异，难以评估哪一个具有最佳性能。尽管某些方法基于Whu Building DataSet [88]，但是，它们的实验数据与面积不同，这使得难以将它们直接比较。在[89]中，作者提出了两个CNN模型，用于基于对象的实例分割的掩模R-CNN，以及用于基于像素的语义分割的多尺度CNN，以及它们的联合（IOU）的建筑精度的交叉量大0.83。

在[94]中，作者提出了基于金字塔的注意力引导暹罗网络来检测建筑变化，改变地图的IOU超过0.97。有时，恒定云覆盖的问题可防止光学RS图像完全利用，并且SAR数据表示良好的替代方法[112]。另一方面，为了获得更多建筑信息来促进变化检测，空中激光扫描数据[91]和建筑专题数据分别可以提供3-D信息和建筑物的先验知识，并证明是有效的。

土地覆盖变化通常反映了气候学和水文的变化。因此，基于AI的变化检测技术可以提供有效的方法来监视资源和环境的变化。例如，通常通过使用多时期Landsat卫星图像检测变化来实现森林监测[45,63,150,196,232]。除了Landsat数据之外，[56]的作者除了检测LULC变化位置，使用ANN探讨LULC变化和对出口径流的影响。地表水对人类至关重要;使用ANN [230]或CNN [231]，可以有效地检测其变化。获得海冰变化对于极地地区的导航安全和气候研究至关重要。 [171]的作者采用基于转移学习的框架和CNN模型，以检测来自两阶段SAR图像的海冰变化，并获得κ系数超过94％的结果。

自然灾害是一种强大的代理，改变了景观的外观。因此，基于RS数据的改变检测技术是监测自然灾害的重要措施。例如，通过基于CNN的变化检测方法可以实现更多自动和准确的滑坡映射[20,93,129,233]。损伤评估是变更检测的重要应用领域。在自然灾害之后，基于AI的变更技术可以帮助使用前列前和事件后数据来识别受损区域。现有研究主要包括海啸[92,119,190,234,236]，洪水[235]，火[104]和地震[19,110]。

许多变更检测技术专注于与人们日常生活密切相关的应用，但在[170]中，提出了一种新的AI基方法，用于行星表面变化检测，采用基于转移学习的框架和卷积AE楷模。实验表明，该方法优于基于差异图像的方法。

7 基于AI的变更检测的挑战和机遇

通过组合基于AI的变化检测框架和在第4节和5中总结的网络结构，可以实现各种应用的变化检测。 AI模型的设计通常需要考虑多个周期输入数据类型，训练集大小和所需的更改图。具体地，应首先基于异构数据来首先考虑基于映射转换的结构或伪暹罗结构。要从更改地图获取，分类后结构是最佳选择。如果培训样本不足，基于转移的基于学习的结构可以帮助缓解这个问题，并且使用AES和GAN也可以减少对地面真理的依赖。通常使用多模型集成结构和RNN模型来实现基于长期序列数据的更改检测。 CNN具有强大的特性提取能力，并且当存在足够的训练样本时是最佳选择。

基于AI的变化检测的各种应用表明，AI技术在RS社区中的变化检测领域取得了巨大成功。但是，过程中存在许多挑战，并且它们与以下内容有关：

•随着各种平台和传感器的开发，它们带来了显着的挑战，如高维数据集（高空间分辨率和高光谱特征），复杂的数据结构（非线性和重叠分布）和非线性优化问题（高计算复杂性）。多源数据的复杂性大大有助于学习通过使用AI技术的训练数据学习鲁棒和辨别性表示的难度。这可以被认为是异构大数据处理的挑战;
•监督的AI方法需要大量培训样本，通常通过耗时和劳动密集型过程获得，例如人类解释RS产品和现场调查。实现基于AI的方法的鲁棒模型是一个很大的挑战，培训样本不足。无监督的AI技术需要开发;
•有各种有效和准确的AI模型和框架，因为我们在第4节和5节中审查。目前，研究人员不断提出基于新的AI的变化检测方法。尽管如此，选择有效的挑战也是一个巨大的挑战，并确保其对不同应用的准确性。在实际应用中需要考虑AI的可靠性。

一些研究人员对这些问题的解决方案并提出了有用的策略。我们将单独讨论并提供观点。

7.1 异构大数据处理

异质性是大数据和异质数据的主要特征之一，导致变化检测结果的产生和分析中的问题[237]。从数据源的角度来看，RS技术可以为改变检测提供各种数据类型，例如SAR，GIS数据，高分辨率卫星图像以及各种时间和空间测量数据。由于缺少值，高数据冗余和不诚实，这些具有高可变性的数据类型和格式的可变性的数据难以使用。此外，在RS数据处理中需要提高现有AI方法的泛化能力，尤其是在异构大数据处理中[88]。因此，在我们看来，以下方面需要进一步研究：

•尽管基于异构数据的基于AI的改变检测方法已经取得了令人满意的结果，但如第3.1.4节所述，这些研究的类型和数据规模的类型相对有限。此外，它们主要考虑在不同源数据之间的变化检测，而不是在同一时期找到数据的融合。在同一时期（例如，光学RS图像和DEM）和数据融合理论（即，各种类型数据的相互补偿）的充分利用多源数据，与AI技术相结合，可以有助于提高变化检测的准确性充分地; •由于电流变化检测方法主要取决于2D信息的检测，通过3D重建技术的开发，使用3D数据来检测建筑物等的变化，也是未来发展的方向[6]。在这种技术中，基于倾斜图像或激光点云数据和基于航空图像和地面街道视图图像的3D重构的三维重建（即，空中地集成）是研究的热门话题。仍然没有实现3D变化检测的有效AI技术;
•RS大数据的处理需要大量的计算资源，限制了AI模型的实现。例如，通常需要在块中处理大格式数据的处理，这容易导致边缘问题。大量数据意味着需要AI模型中的大型培训参数，从而产生困难的训练过程和消耗大量的计算资源。因此，有必要平衡数据量和培训参数的数量。它们对基于AI的变化检测方法的设计构成了挑战。
简而言之，在设计变更检测的型号时应考虑异构大数据，以便实际上可以用于RS大数据处理，这是值得追求的。

7.2 无监督 AI

虽然域名知识可用于帮助设计传统机器学习方法中的设计表示，但是寻求AI的追求是激励更强大的无监督的表示 - 学习算法[238]。这是因为无监督的AI具有直接从数据本身学习层次结构的能力，并且可用于进行数据驱动的决策。在以下几个方面可以考虑对无监督AI的研究：

•由于在过去几年中缺乏标记的样本来培训高效的AI模型，许多研究人员对这些问题致力于努力，并且一直始终产生令人印象深刻的结果。新的无监督AI技术不断出现，包括GaN，转移学习和AES，如第4.4节所述。虽然这些技术在一定程度上缓解了缺乏样品，但仍有改进余地;

•变化检测通常被认为是低似然问题（即，变化图中不变的不变比改变大得多），具有变化位置和方向的不确定性。由于缺乏先验知识，目前无监督的AI技术不容易解决这个问题。不包括监督AI，弱和半监督的AI技术是可行的解决方案，但需要进一步研究来提高性能。然而，纯粹的无人监督的AI技术改变检测技术应该是最终目标;

•学习无监督AI技术的原因之一是缺乏培训样本，即先前知识。考虑到Internet已进入Web 2.0时代（强调用户生成的内容，易用性，最终用户的参与性文化和互操作性），使用人群源数据作为先验知识是一个很好的替代解决方案。例如，一个免费的维基世界地图[32]，可以提供由志愿者培训AI模型的志愿者标有大量注释数据。虽然某些人群资源数据的标签精度不高，但AI模型也可以以弱监督方式培训以实现变化检测。

另一方面，鉴于CV的当前趋势，无监督的AI技术将仍然是一个热门研究领域，并且在变化检测中也更受欢迎。

7.3 AI的可靠性

虽然使用AI的许多改变检测框架呈现模型结构，但它们的培训参数是不透明的，如黑匣子，这使得难以确定为什么他们做他们所做的事或他们的工作方式或如何工作[239]。 AI的可靠性旨在开发技术，以帮助提高变化检测方法的可靠性和可解释性。因此，有必要开发用于改变检测的鲁棒AI和可解释的AI。相关的理论文学可以在[240,241]中找到。我们只讨论可用于提高以下几个方面改善变更检测结果可靠性的策略：

•策略1：减少由数据源引起的误差，例如使用预处理（例如，光谱和辐射校正）来减少由几何误差和光谱差异引起的数据的不确定性，或融合多个数据以提高原始数据的可靠性，从而提高了改变检测结果的可靠性。迄今为止，考虑到注册的影响以及算法融合已经存在一些研究[243];

•策略2：通过子模块模型结构提高AI模型的可解释性，这可以通过了解每个子模块的功能来帮助了解整个AI模型的操作原理。例如，R-CNN中的区域 - 建议组件可以清楚地理解为用于预测物体区域的发电机;

•策略3：通过集成多种算法和结果来提高AI模型的鲁棒性。集合学习是一个很好的解决方案[15,244]，可以通过使用多种模型的结果来提高最终结果的准确性;

•策略4：通过集成后处理算法（例如Markov随机字段[245]，条件随机字段[246]和Level Set Evolution [247]）提高AI模型结果的实用性，可以帮助去除噪声点并提供准确的边界。这对于某些制图应用至关重要;

•策略5：通过精细检测单元提高变化贴图的细度。根据变化检测的检测单元，它可以分为场景电平，贴片或超像素电平，像素级别和子像素级别从粗略到精细。从可靠性方面，子像素级别是最佳选择，因为它可以减轻RS图像中的混合像素的问题。然而，这很容易导致高计算复杂性。因此，根据不同的土地覆盖类型使用不同的检测单元是最佳解决方案，需要精心设计的AI模型;

•策略6：通过检测每个实例的更改来改进更改映射的表示。正如我们在第6节介绍的那样，更改映射可以分为二进制映射，单级映射，从到映射和实例映射。实例更改图更加实用，但仍然缺乏研究。它可以为每个实例提供更改信息，并且更加反映现实世界的变化。此外，它可以避免没有语义信息的二进制地图的限制，并且通过分类系统限制归意，从而提高了最终结果的可靠性。

使用用于改变检测的AI技术，应考虑影响数据预处理，模型训练，改变功能提取和准确性评估的可靠性的因素。这旨在实现最合理的AI框架，以提高变更检测结果的可靠性。在本节中，挑战和机遇的摘要已经划算，我们提出了我们的前景。基于AI的变更检测技术的发展取决于未来努力克服这些挑战;研究人员的努力和创新将推进技术的进一步成功。

8 总结

此审查显示了基于AI的最新方法，应用程序和挑战的基于AI的变更检测技术。对于初学者，介绍了基于AI的变化检测的实现过程。考虑到培训数据的有效性是主要挑战之一，常用的数据源和用于变更检测的现有数据集进行了全面调查。虽然目前的公共数据集比显着增加，但是改变检测的公开标记数据集仍然稀缺和缺乏，这需要RS社区的共同努力。用于改变检测采用的AI中的通用网络框架和常用网络的系统分析表明，AI对变更检测的组合取得了巨大进展，但随着异构大数据处理，无监督的变化检测仍存在许多挑战AI，以及AI的可靠性。这意味着需要向前推进进一步的研究。此评论提供更清晰的组织，并将帮助研究人员了解此领域。

变化检测综述：Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges相关推荐

深入理解 Angular 变化检测（change detection）
引言本文分享一些讲解Angular Change Detection的文章,并指出其中有意思的内容,以及自己的一些总结和引申. Angular Change Detection Explained ...
Chapter1 : Application of Artificial intelligence in Drug Design: Opportunity and Challenges
reading notes of<Artificial Intelligence in Drug Design> 文章目录 1.Introduction : What Challenges ...
【SCPFCD】Change Detection Based on SupervisedContrastive Learning for High-ResolutionRemote Sensing
出处:TGARS2023 paper:下载链接摘要:变化检测(CD)是高分辨率双时遥感图像中一项具有挑战性的任务.最近CD任务的许多研究都集中在设计全卷积孪生网络架构上.然而,这些方法中的大多数通过 ...
论文笔记：基于深度学习的遥感影像变化检测综述
论文主要信息本篇博文主要是对该论文进行总结和翻译,如有错漏,欢迎指出.(目前仅对有监督学习部分进行了整理) 标题:Deep learning for change detection in remo ...
读论文《SNUNet-CD: A Densely Connected Siamese Network for Change Detection of VHR Images》
SNUNet-CD: A Densely Connected Siamese Network for Change Detection of VHR Images SNUNet-CD:稠密连接孪生网络 ...
可解释性机器学习( Explainable Artificial Intelligence (XAI) )文献阅读记录(1.1)
文章目录论文标题:Explainable Artificial Intelligence (XAI): Concepts, taxonomies,opportunities and challeng ...
【论文笔记】A Transformer-based Siamese network for change detection
论文论文题目:A TRANSFORMER-BASED SIAMESE NETWORK FOR CHANGE DETECTION 收录:IGARSS 2022 论文地址:https://arxiv.o ...
变化检测综述 Deep learning for change detection in remote sensing images: comprehensive review and me
Deep learning for change detection in remote sensing images: comprehensive review and meta-analysis ...
跌倒综述 Deep Learning Based Systems Developed for Fall Detection A Review
文章目录 1.基本信息 2. 第一节介绍 3. 第二节跌倒检测系统文献 4.第三节讨论和未来方向 5. 第四节结论 6. 参考文献 1.基本信息题目:Deep Learning Based ...
《Artificial intelligence in healthcare》综述论文阅读
为了方便阅读,我将下面这篇综述论文进行了翻译. Yu, KH., Beam, A.L. & Kohane, I.S. Artificial intelligence in healthcare ...

变化检测综述：Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges