Deep learning for change detection in remote sensing images: comprehensive review and meta-analysis

摘要

深度学习（DL）算法被认为是过去几年遥感图像分析选择的方法。由于其有效的应用，还引入了深度学习，用于自动变更检测，取得了巨大的成功。本研究试图提供全面的审查和荟萃分析本次领域最近的进展情况。具体而言，我们首先介绍了经常用于改变检测的深度学习方法的基础。其次，我们介绍了Meta分析的细节，进行了调查检测DL研究的检查状态。然后，我们专注于深入学习的改变检测方法，通过提供现有方法的一般概述。具体地，这些基于深入的学习的方法分为三组;完全监督基于学习的方法，完全无监督的基于学习的方法和基于转移的基于学习的技术。由于这些调查，有希望的新方向被确定为未来的研究。本研究将以多种方式贡献我们对改变检测的深度学习的理解，并将为进一步研究提供基础。

1 Introduction

由于其强大的代表学习能力，深入学习（DL）已经看到了过去十年的趋势越来越大。深度学习允许基于多个处理层构建的模型，以了解具有多个级别抽象的数据样本的表示[1]。深度学习使基于多个层组成的模型，以学习具有多个抽象级别范围的数据样本的表示[1]。与诸如幼稚贝叶斯（SVM）等传统机器学习模型相比，它也可以被视为需要更大的学习概念或功能的模型的分析，这些模型相比，支持向量机（SVM）[4] [5 ]随机森林，[6] [7]和决策树[8] [9]。

在其最先进的性能的基础上，因此，深度学习被应用于各种域，例如计算机视觉[10]，语音识别[11]和信息检索[12]。特别是，在计算机视觉场中，由于处理能力的最近进步，图形处理器的改进以及增加的数据量（即视频和图像），深入学习已经跳跃了很大的跨利赛。值得注意的是，遥感的科学（RS）已经看到了从飞机或卫星捕获的数字图像的产生和增强的巨大增加，该卫星几乎覆盖地球表面的每个角度。这种数据的增长推动了地球科学和遥感（RS）的社区，以应用深度学习算法来解决不同的遥感任务。在这些任务中，脱颖而出[13]中定义的变更检测（CD）任务为“通过在不同时期观察物体或现象的状态识别差异”。在另一个单词中，改变检测是指识别在相同地理区域上获取的图像之间的差异，但在两个不同的时间[14]。

改变检测技术在各种应用中广泛使用[15]，包括;灾难评估[16]，环境监测[17]，土地管理[18]和城市变革分析[19]等，目前，气候变化造成的极端灾害人数如干旱，洪水，飓风和热浪，已透露对研究人员的新挑战以及开发更有效的自动变更检测方法的新挑战。通过上述观察的激励，已经引入了深度学习，以便在遥感中改变检测，实现了良好的性能。

最近，各种重点关注遥感数据深入学习的综合评论已发布。这些研究总结了所有主要遥感子区域采用的深度学习技术，包括分类，恢复，去噪，目标识别，场景理解和其他任务（有关详细信息，我们将读者提交给[20] [21] [22] [22 ]）。然而，据我们所知，没有工作，已经研究了最近的深入学习的进展，以特定和广泛的方式对变革检测的任务。因此，本报告的目的是提供适用于用于改变检测的遥感图像中的深度学习算法状态的概述。因此，通过进行Meta分析，我们选择并分类了与DL相关的相关论文并改变检测。通过这样做，我们提供了对这些研究的技术审查，这些研究揭示了深入学习改变检测的进步。该审查将作为未来研究中的研究的基础。

本文的其余部分都是如下构造的。第2节呈现了改变检测问题的定义。第3节简要介绍了深度学习以及用于改变检测的典型深层模型。第4节描述了用于审查最先进的方法和数据。在第5节中，我们将这些以前的工作分为三类;完全监督基于学习的方法，完全无监督的基于学习的方法，以及传输基于学习的方法。第6节建议两个有趣的研究方向进一步推进该领域。最后，第7节概述了结论。

2 在遥感中更换检测

变化检测是定量分析的操作和从两个不同时期的现象或物体的表面变化的操作[13]。该过程是地球观察领域的基本技术，试图区分从同一地理区域或区域获取的双时段或多时间遥感图像的改变和不变的像素，而是分别在不同的时间[ 23] [24]。基于对或一系列共登记图像分配给每个像素的二进制标签代表了改变检测系统的主要目的。因此，正标签意味着该像素的面积已经改变，而空标签表示不变的区域（参见图1和2）[25]。实际上，变更检测代表了视频监控，映射城市地区和其他形式的多时间分析的强大工具。

正式地，让I1和I2是两个共同登记的图像，其共享相同的尺寸W×L，并在经典的单态套件中使用相同的传感器分别在两个单独的时段T1和T2上拍摄相同的地理区域。
更改检测系统的主要目的是生成准确的二进制变更图（CM）：

其中（x，y）表示像素索引i的位置坐标。在传统方法中，该变化映射可以通过差异图像（DI）操作来获得，基于差异或对数函数（DI = | I1-I2），然后对DI结果进行最终分析。

更改检测已成功用于各种应用程序。特别是，在农业部门，采用了森林砍伐监测，灾害评估和转移培养监测的变更检测。在军事领域，它现在用于收集有关新军事设施，敌人军队，战场地区和损害评估的运动的信息[26]。在民事领域，改变检测用于控制城市地区开发和城市延伸[27]。此外，实际上采用了监测气候变化的影响通常与大气中温室气体（GHG）排放水平的增加相关的影响，例如质量平衡和冰川相变或海平变化的变化。
虽然改变检测算法已经显示出许多福利野外的申报，但它就会进行严重的挑战。在这些挑战中，我们可以考虑数据采集参数的变化，这可以影响通过将无关信息添加到数据中来找到相关变化的过程。此外，这种不需要的变化可以像大气一样出现，如雾，云和灰尘。例如，在一个图像中存在的云（在时间t1），但不在另一个（在时间t2）导致可以被注册为差异的亮度贴片，因此影响得到的变化图的质量。阳光的角度还可以呈现与场景上的阴影的存在和方向相关的另一个问题[26]。此外，雨林之后土壤北方等物体等物体的植被生长和表面反射也会影响变化的结果[28]。因此，除了检测到时间变化之外，鲁棒改变检测方法必须能够区分卫星图像中的相关变化和无关的变化。通过那些成功的应用程序，最近能够从数据（图像或视频）提取信息（图像或视频）的深度学习技术的激励，以解决这个问题并实现了良好的性能。

3 深度学习概述

深度学习（DL）算法，旨在以等级方式从一系列数据学习代表和歧视特征，近年来接受了全球地球科学和遥感社区的许多关注。在本节的第一部分，我们简要介绍了深入的学习历史，以解释其增长的趋势。在第二部分中，我们概述了广泛设计的不同深网络模型，以便在遥感图像中改变检测。这些深度网络包括深度信仰网络（DBNS），堆叠的AutoEncoders（Saes），生成对冲网络（GANS），经常性神经网络（RNN）和卷积神经网络（CNNS）。

3.1 历史

深度学习（DL）是机器学习的特殊方法，利用统计数据，人类大脑和应用数学统计数据的知识，因为它在过去几年中提出了[31]。通过收集这些知识，这种方法可以从正式定义知识的知识，计算机机器要求解决特定问题。这种强大的方法通过代表世界作为概念的嵌入式结构来达到良好的灵活性和可扩展性。这一概念层次结构通过从更简单的方式开发它们来识别复杂的概念[31]。 DL由与我们脑细胞功能相关的连接理论驱动，也称为神经元，导致人工神经网络（ANN）的概念。 ANN是基于人工神经元层设计的，以通过应用激活函数和逐步学习更高级别的功能来接收输入数据并将其转换为输出。中间层（在输入和输出的中间）通常被称为“隐藏层”，因为它们不是从系统的输入和输出直接观察[32]。实际上，为了解决遥感图像中的复杂任务，例如在遥感图像中的变化检测，应用包含多个隐藏层的神经网络。这种多层结构被寻址为“深度”神经网络（DNN），因此，“深度学习”一词。

如[31]所述，深度学习的发展跟随三个主要波浪反映了不同的哲学观点。第一波是指20世纪40年代-1960年代的控制论，其特征在于生物学学习的概念[33] [34]和应用诸如Perceptron [35]的第一款，这允许基于独特的架构训练架构神经元。第二阶段开始于20世纪80年代 - 1995年代延伸的Connectionist1aproach，带有后传播[36]使用一个或两个隐藏层培训神经网络。这块基本构建块通过最小化网络的实际输出向量和瞄准输出向量之间的间隙测量来更新多次网络中的连接的权重。虽然这种方法在处理简单的应用程序时效果很好，但特别是，计算机愿景社区已经发现了一些问题，以将这种方法应用于复杂问题。主要挑战是缺乏特定的计算硬件来培训有效的深神经网络（DNN）。第三波在2006年以深入学习的名义开始[38] [39]。从那时起，我们在深度神经网络中看到了有利于强大的计算机系统的可用性，扩展数据库和新培训技术的深度神经网络的重新重要性。目前，深入学习在计算机视觉的不同研究领域得到了很多关注，包括遥感图像的分析。

3.2 Deep models

3.2.1 DBNs

深度信念网络（DBNS）主要基于称为受限制Boltzmann机器（RBM）的层状培训模型。 RBMS是随机无向图形模型，包含一层可见变量和独特的隐藏变量。图。图3示出了RBM的图形结构。这是一个二分的图，涉及代表观察的可见单元的链接，到隐藏的单元，用于基于无向加权连接描述特征的隐藏单元[40]。在该模型中，可见层中的任何变量或隐藏层中的任何单位之间都没有允许连接。在数学上，假设可见层V包含一组NVBinary随机变量，并且隐藏的层H由NHBinary随机变量组成。规范RBM的能量功能可以制定为[31]：

其中W，B和C代表了学习参数。连接的权重W和偏置B在连接内提对的权重和各个单元的偏置的权重通过在可见和隐藏单元的关节状态下通过能量函数表达概率的分布[41]。然后将联合配置的概率（即能量）定义为：
确认唯一RBM的限制特性（即，特征）表示能力，可以通过形成可以有效培训的DBN堆叠几个RBM以获得训练数据的深层次建模[42]。图。图4呈现了通过堆叠多个RBM层组成的DBN。

3.2.2 SAEs

AutoEncoder（AE）被认为是堆叠的AutoEncoder（SAE）[44]的主要构建片。 AutoEncoder是一种前馈神经网络模型，适用反向展望，将客观值设置为一致（或等于）。该模型由两个步骤组成，编码器H = F（x）和试图提供重建r = g（h）的解码器。一方面，基于非线性函数，编码器侧将输入向量（x）投影到隐藏层：
另一方面，解码器将隐藏层映射回输出层，该输出层包含与输入层相同数量的单位：
其中s（。）表示Logistic Sigmoid函数（1 + EXP（-X））。 WH和WY分别代表隐藏的输入和隐藏的输出权重。此外，BH和BY为识别隐藏和输出单元的偏置。以重建X和Y之间的误差的目的，通常最小化基于欧几里德距离的度量。该重建损失由以下内定义：
AutoEncoder的典型体系结构如图5.堆叠的AutoEncoder（SAE）是内置在几层AutoEncoders的顶部的神经网络，其中每个隐藏层的输出连接到下一个隐藏层的输入。图。图6示出了SAE的简单表示。

3.2.3 CNNs

卷积神经网络，也称为CNNS [45]，区域特殊形式的神经网络设计用于处理具有已知网格状表示的数据，例如图像数据，其可以被认为是像素的两个尺寸（2D）网格。通常，CNN可以被认为是分层特征的提取器，一方面，它一方面提取各种抽象层的特征，另一方面，将原始像素强度映射到特征向量中。 [46]。图2中示出了典型CNN的架构。在图7中，其中CONC，MP和F C分别表示卷积，最大池和完全连接的层。卷积层表示CNN架构的基本组件[47]。在该层中，将若干培训卷积核（被叫过滤器）应用于前一层。这些内核的权重旨在将单元与上一层连接在特征映射中。由于卷积，检测到特征的局部连词，并且它们的外观映射到特征映射。各种卷积层的堆叠增加了网络的深度，这使得提取的地图更摘要。
早期的层增强特征，例如边缘，但是以下层以图案，零件或物体的形式聚合这些特征。正式地，假设ML表示网络的L层L中的过滤器卷积数，并且与第n的第n个输入相关的xn L-1与第n个输入相关的2D阵列。第L层L的k输出特征向量，表示zk l，可以计算如下：
（补充）

4 用于审查遥感图像中CD的DL的方法和数据

4.1 数据提取的META分析过程

我们搜查和收集了使用深度学习方法在遥感图像中改变检测的所有公布研究。使用科学数据库2进行搜索研究。它是最值得信赖的出版商全局引用数据库。生成的数据集是使用高级搜索选项（搜索日期：4月18日，2020）构建，其中包括相关的受控词汇;深度学习，改变检测和遥感话题等。我们研究中包含的所有研究都已发布于2014年。从搜索查询被忽视，是序列，文章摘要，访谈，讨论，新闻项目，通讯，读者字母，评论，教程，面板，研讨会和海报会议的摘要。此搜索策略总共产生了160篇独特的论文，其中包括110篇文章和47篇会议论文，两份早期接入纸和一家编辑纸。所有这些包括的研究总结在通过此链接可公开访问的一份文件中：“http://www.lazharkhelifi.com/?publications=rev_cd_dl.zip”。值得注意的是，作者将详细阅读审查中包含的每篇文章。

4.2提到的期刊和会议论文

在110个同行评审的期刊论文中，在表1所示的十个期刊上发表了较大部分的文章。请注意，这里只列出了一个出版物的期刊。总体而言，这10个期刊包括82篇关于与DL改变检测和遥感相关的82篇对同期审查的汇报。关于每日杂志发表的文章数量，前五个同行评审杂志文件;遥感，地球科学的IEEE事务和遥感（TGRS），IEEE Access，IEEE Access，IEEE在应用地球观测和遥感和IEEE地球科学和遥感信函中的选定主题。
我们发现该主题现在在主要的国际遥感会议上提供了很好的代表。因此，在47篇会议论文中，一系列遥感学术社团在表2中列出的大多数文章，即IEEE地球科学和遥感社会（IGARS）和光光学仪表工程师（SPIE）的社会。只有一个出版物的会议未列出此表。读者应记住，会议文件被排除在本元分析之外，因为许多人在招聘会议后被扩展为杂志（如[20]）。此外，在深入了解所有论文的内容之后，还排除了20篇未涵盖本研究主题的杂志。

4.3简要解释结果

可以从进行的统计分析中汲取几种一般性结论，以检查使用DL进行变化检测的趋势。在本研究中使用直方图图来说明趋势和投影，以便更好地可视化数据的分布。图10表明，自2015年以来，该专题发布的科学论文数量显着增加。
出版论文的数量预计将在未来几年更加巨大地增长。类似地，图11的曲线图表明，这些论文的引用数量是重要的增加。表3突出显示前三篇最具引用的论文。这种指数增长，既是发表论文数量和引用的数量，验证了对遥感图像中改变检测的深度学习研究的兴趣快速增长。值得注意的是，本主题的汇报数目现在超出会议论文的数量。这表明了该研究领域的技术成熟度。从图12中可以看出。如图12所示，CNN模型是最广泛应用于变化检测，其次是SAE，DBN，RNN，AES，RBM和GAN模型。 CNN的这种较高普及可能是因为通过顺序抽象更高级别的功能来学习来自输入数据的分层图像表示更适合于学习来自输入数据的分层图像表示[47]。看看图13，显然SAR图像类型是最常用的用于改变检测的深度学习模型中，其次是多光谱，ARIAL，光学，异构（即，多模态）和高光谱图像。其原因是，合成孔径雷达使用可以通过云进行进入的微波信号捕获图像，因此更可能具有对阳光不敏感的显着优点和复杂的大气条件[64]。

5 遥感图像中改变检测的深度学习

深度学习最近已成为变更检测领域相当兴趣的重点[20]。它旨在从传统的手工制作方法的方法中自动地从各种remote感测数据进行高征区[46]。通过考虑不同的观点，可以通过多种方式进行改变检测的深度学习方法。因此，在这项研究中，用于改变检测的深度学习方法基于学习技术分为三组，以及可以标记或未标记的训练数据的可用性。第一类包含解决问题的完全监督方法通过从标签的训练数据集学习。第二种类型的方法包含完全无监督的方法，用于从未标记的数据集中学习。监督和无监督的方法都在选择与目标概念一致的可用功能。

因此，在监督学习中，目标概念明确地关联到课程隶属关系，而在无监督的学习中，目标概念通常通过数据的固有结构来定位[68]。第三种方法包含基于转移学习的方法。转移学习是一种重要的机器学习技术，它试图利用从一个任务中学到的知识并在另一个任务中应用它，但是关联的任务，以减少必要的微调数据大小或改善性能[69]。第5.1,5.2和5.3节将详细概述这些类型的方法。

5.1完全监督的基于学习的方法

很长一段时间，常常认为培训深度监督神经网络的过程是具有挑战性，耗时的，而且难以执行[46]。虽然最近由随机初始化权重组成的标准学习策略，但发现可以通过适当的重量初始化训练深度监督网络。这种新颖的策略足够足以改善梯度流量以及激活的有用信息的传输[70] [22]。如果有大量标记数据用于正确培训它的情况，监督深网络的效率尤为明显。

近年来，已经提出了一些纯的监督DL方法在依赖于CNNS的RS图像中的变化检测[71] [46]。这些基于CNNS的研究表明了古典最先进的方法的优异性能。 CNN是转换模型，将输入图像转换为特征映射的多个层。这些生成的地图由反映原始输入数据的高级鉴别特征组成，包括[22]。基于完全卷积的网络网络，U-Net被认为是用于改变检测任务的标准CNN架构之一。 U-Net的一般网络架构是对称的，具有从图像中提取空间特征的编码器，以及从编码特征构建分割图的解码器[72]。

Jaturapitpornchai等。已经详细提出了一种基于U-Net的网络，其在使用不同时间捕获的两个SAR图像中检测到开发区域中的新颖建筑结构。随后，通过其他作品的一些修改扩展了U-Net架构。在这方面，Hamdi等人。 [73]已经开发了一种使用修改的U-Net模型的算法，用于自动检测和映射arcGIS环境中的受损区域。他们的模型是基于德国巴伐利亚林区的数据库培训。最近，Peng等人提出了一种改进的UNET ++架构。 [74]用于VHR卫星图像的端到端改变检测。为了学习多尺度特征映射，在此架构的不同层之间建立了密集的跳过连接。此外，遵循剩余块策略以促进网络的梯度融合。对于高光谱图像中的变化检测，Wang等人提出了一种名为GetNet的一般端到端二维CNNS框架。 [75]。另外，采用传统的变化载体分析（CV A）方法[76]以产生带有标签的伪训练集。 Wiatama等人。基于高分辨率平板图像上的邻域像素的不同分析，提出了一种双密度卷积网络，用于识别像素 - 明智的改变。在其建议的算法中，利用两个完全卷积神经网络来计算相邻像素的不相似性。此外，执行卷积层中的密集连接以通过将它们连接到所有后续层来重用前面的特征映射。张等人。 [78]引入了一个完全不含卷积神经网络（FACNN）。在该FACN中，首先，由完全不足的卷积层组成的编码器用于从VHR图像中提取比例特征。之后，使用当前图像的分类图和过时的土地覆盖地理信息系统（GIS）地图生成基于像素的改变图。 daudt等人。 [79]已经提出了一种基于深度FCNN的集成网络，其使用来自陆地覆盖映射分支的信息同时执行陆地覆盖映射和同时改变检测，以帮助改变检测。

张等人。 [80]介绍了光谱 - 空间联合学习网络（SSJLN）。在该模型的第一部分，频谱空间关节表示来自类似于暹罗CNN（S-CNN）的网络[81]。其次，这些提取的特征使用特征融合块组合在一起。为了探索组合特征的基础信息，然后在最后一步中执行歧视学习。刘等。通过将它们组合成一个统一的架构，[25]已经证明了CNN和双向长期内存网络（BILSTM）的互补性。虽然，前者在从双颞图像中提取丰富的光谱空间特征是有用的，但后者在分析双时效图像的时间依赖性并传输图像的特征时是强大的。同样，Cao等人。 [82]组合了在具有CNNS模型的大量模拟SAR图像贴片上培训的深度去噪模型。虽然，采用深度去噪网络来保持有用的信息并同时抑制噪声，构建了三层CNN模型以建立特征学习过程。与先前的方法相反，依赖于基于CNNS的模型WIRATAMA等。 [83]提出了一种结合前端和后端神经网络的融合架构。为了实现低级和高级差分检测，融合网络包含单路径和双路径。另外，基于两个双输出，作者提出了一种两级决策算法，以有效地提供最终变化检测结果。该方法已经显示出良好的性能，可以在高分辨率平面图像中识别改变/不变区域。

5.2 基于完全无监督的学习方法

由于大型注释数据集的可用性[46]，监督CNNS及其修改模型等CNNS及其修改模型的深度学习方法在许多计算机视觉任务中实现了令人满意的结果[46]。不幸的是，对于更改检测任务，通常没有足够的培训数据来构建此类模型。此外，建立反映地面对象的真正变更信息的地面实话图花费了大量的时间和精力[84]。因此，在许多情况下，更有效地以不经过监督的方式学习从遥感图像生成的变化特征[85]。

无监督的特征 - 学习方法主要基于可能学习来自修补程序（图像，杠杆示例）的特征表示的模型而无需任何必要的监督[22]。已成功应用于识别遥感（RS）场景和目标的无监督深度学习方法有许多增强和进化。最着名和最重要的方法之一是堆叠（或将）不同的浅特征学习方法，如高斯混合模型，AES，稀疏编码和RBMS [46]。在这方面，在多光谱图像中改变检测，张等人。已经提出了一种组合DBN和特征变化分析（FCA）的新的无监督方法。因此，为了捕获改变和未改变区域之间的辨别的有用信息并且还抑制无关的变化，可用的光谱通道经由DBN转换为抽象特征空间。然后，使用这些学习特征，执行FCA以识别不同类型的变化。同样，Su等人。 [87]引入了针对信息不平衡图像的三元变化检测任务的新型深度学习和映射（DLM）框架。在其方法中，使用两种类型的神经网络。首先，将堆叠的去噪AutoEncoder应用于两个输入图像，用作特征提取器。然后，在相关样本的选择步骤之后，由堆叠的映射网络生成映射函数，建立每个类的特征之间的关系。之后，执行特征之间的比较，并且通过比较结果的聚类过程生成最终的三元图。高等人。已经提出了一种基于深度半非负矩阵分子（深半NMF）[89]和奇异值分解（SVD）网络[90]的新型SAR图像改变检测方法。在其建议的方法中，深度半NMF被用作预分类步骤。在此之后，应用两个SVD卷积层的SVD网络以获得可靠的特征，其中这些获得的特征的良好质量有效提高了分类性能。为了在没有任何监督的情况下实现更精确的三元变化检测，Gong等人[14]组合SAE，CNN和无监督的聚类算法。首先，通过SAE将差异图像转换为合适的特征空间来提取噪声并提取键改变信息。接下来，在SAE学习的特征图上建立了无监督的群集。该最后一步旨在提供可靠的伪标签，用于培训CNN作为变更功能分类器。 lv等人。 [85]已经基于堆叠的收缩性AutoEncoder（SCAE）和简单聚类算法的组合呈现了特征学习方法。在此方法中，首先，使用三种不同的指标构建了一个附属的临界时间。该策略的目的是提供有关像素级别的时间差异的更多信息。其次，通过使用简单的线性迭代聚类算法产生一组超像素来提供均匀化学样本。第三，这些产生的超像素样本用作训练SCAE网络的输入。然后，来自SCAE模型的编码特征是分类以创建变化结果图的二进制。龚等人。 [91]已经开发了一种用于多光谱图像变化检测的生成鉴别类别网络（GDCN）。生成的对策网络通过提供三种类型的数据来表示该提出的模型的关键块;标记数据，未标记的数据和新的假数据。更确切地说，该GDCN由鉴别类分类网络（DCN）和发电机（G）组成。虽然DCN将输入数据划分为更改的类，不变的类和额外的类（即，FAKEClass），但是发电机恢复来自输入噪声的真实数据，以提供额外的训练样本。

最后，将衡量标准的多光谱图像馈送到DCN以获得最终可靠的变化图。在SAR图像中的变化检测，GEN等人。 [92]已经提出了SGDNNS，这是一个无监督的持久性导向深度神经网络。该模型中的第一步包括从差异图像（DI）中提取突出区域，该突出区域可能属于改变的对象。然后，建立分层模糊C-MATION（HFCM）聚类[93]以选择具有更高概率的样本和不变。使用这些假型样本，应用基于非负 - 和渔民约束的自动码器的DNN以获得可靠的最终检测。李等人。和[94]使用基于新的噪声建模的无监督全卷积网络（FCN）框架进行了对高光谱图像的变化检测。具体而言，他们建议的深层CNN使用现有无监督变化检测方法的变化检测图培训，而在端到端的训练过程中噪声被移除。最近，Huang等人。 [95]提出了一种基于深度学习的新的无监督算法，称为ABCDHIDL，自动检测来自多时间高分辨率遥感（HRRS）图像的建筑变化。在该算法中，最初采用卷积操作，原因有两个;首先，提取空间，纹理和频谱特征，第二，用于为每个像素生成组合的低电平特征向量。然后，将未标记的样本注入预先列出DBN网络，其中其参数通过共同使用极端学习机（ELM）分类器[96]来优化。为了进一步改进检测过程，通过基于形态操作的自动选择提供标记的样品。

5.3基于深度转移学习方法

在许多遥感应用程序中，它是如此昂贵或不可能回忆所需的训练数据并重建模型[97]。特别是，对于变更检测任务，通常没有足够的训练数据可以准确地表示地面对象的真实变更信息。因此，重要的是减少回忆培训数据的要求和努力。在该背景下，任务域之间的转移学习或知识传输可以是可靠的解决方案。

转移学习被定义为从一个或多个源任务中提取知识的能力，并将其应用于新颖或目标任务[97]。正式地，给定源域DSWITH相关源任务TSAND具有相应任务TT的目标域DT，传输学习是通过利用来自DS和TS的相应信息来改善目标预测函数FT（。），其中DS 6 = DTOR TS6 = TT [98]。

目前在转移学习中采用了两种基本方法。第一种方法包括使用在不同任务上培训的网络（例如AlexNet或Reset-101）的一个或多个层的输出作为通用高维特征检测器，并根据这些特征训练新的浅模型[99]。第二种方法更有涉及，这包括微调在一般图像中预先培训的网络。因此，最终层（用于分类/回归）不仅仅被替换，而且，另外，先前的层再次保留[100]。遵循这种前方法，侯等人。已经将已经在大规模自然图像数据集（例如，想象成[102]）上预先培训的CNNS转移到RS域。具体而言，为了获得更好的结果，它们微调VGG-16 [54]以使其在空中图像数据集（AID）[103]上对其光学RS图像进行调整。同样，v enugopal等人。 [104]，已经采用Reset-101 [105]网络作为预制模型，并且它们基于扩张的卷积神经网络（DCNN）的微调参数，其检测两个图像之间的变化。之后，将分类结果从最终特征映射确定为不变和更改区域。解决光学空中图像中的变化检测问题，张等人。 [106]提出了一种基于使用改进的三态损耗函数训练的基于深暹罗语义网络的新方法。首先，在大规模图像数据集上返回的Depplabv2 [107]模型（例如，Pascal VOC 2012数据集[108]）被转移到网络，由于Cancleofi指向策略的网络。基于该策略，网络已经实现了具有有限的计算成本和最低训练样本的可比性。这种改变检测方法基于四个步骤;首先，为了对两个共同的图像执行辐射校正，使用直方图匹配来预处理输入的比克斯映射。其次，预处理的对图像被馈送到深度暹罗语义网络，以便生成两个特征映射。在此之后，通过Bilinear插值应用调整大小操作两个语义特征映射。之后，通过计算语义特征映射之间的欧几里德距离来获得距离图。最后，使用简单的阈值分割方法来分离距离图，因此，以产生最终变化检测结果。方别人。 [109]提出了一种名为基于双学习的暹罗框架（DLSF）的新型混合端到端框架，用于从非常高分辨率（VHR）图像中的变化检测。该框架由两个并行流组成，这是基于双学习的域传输和基于暹罗的变化决策。虽然第一路径旨在减少两个配对图像之间的域差，并且通过将其转换为彼此的域来维持内部信息，而第二路径旨在学习决策策略以分别决定两个域中的变化。杨等人。 [64]通过减少两个域之间的分布差异，通过了从源域中学习到目标域的变更概念。在他们的模型中，预先曝光阶段包括两个任务;使用U-NET架构和目标域中的重建网络在没有标签的目标域中的源域中的监督变化检测。较低层在两个任务之间共享，然而，与每个任务相关的最终层分开训练。

在预先下降步骤之后，从CD图中选择的可靠标签用于微调目标域的变化检测网络。虽然培训数据是海冰变换检测任务的限制，但在高等人的工作中。 [110]使用大数据集用于训练转移的多级融合网络MLFN，此外，利用微调策略来优化网络参数。

6 有前途的研究方向

为了推进变更检测任务的进展情况，在本节中，我们建议进行两个重要的研究方向，特别是深度加强学习和弱监督检测。

6.1深增强学习

由于缺乏用于监督变更检测任务的足够标记的培训数据库，深度学习方法产生的特征的描述能力可能会受到限制甚至贫困。最近，深度加强学习[111] [112] [113]已成为机器学习领域相当兴趣的重点，并且在自动驾驶等各个域中的各个领域中表现出优异的潜力和良好性能[114] [ 115]，对象跟踪[116] [117]，人重新识别[118] [119]。

深度强化与钢筋学习架构结合了深度神经网络，智能机器可以从他们的行为中学习类似于人类从经验中学到的方式。强化学习使软件定义的代理能够在随机探索的基础上从环境中学习，并根据连续反馈来调整最佳动作，以便实现目标。让他们到目标结果的行动是奖励（即，开发）[120]。正式地，它包括一个有限数量的SiChiCh代表代理和环境，由代理机构的行动，在动作AI的基础上从一个状态移动到另一个状态，并奖励Ra（Si，Si + 1）对应于此移动到下一个状态Si + 1with Action a。为了预测函数d（s，a）给出的最佳动作，平衡和最大化当前奖励r和未来奖励α·max [d（s’，a’]是必要的。其中等式中的α表示固定的折扣系数。因此，通过以下方式表示该函数d和未来奖励α·max [d（s’，a’）的总结[120]：

强化学习特别致力于解决短期和长期奖励的问题，例如，Go和Chess等的游戏，但是，将强化学习和深网络建筑结合在一起产生深度增强学习（DRL），这延长了钢筋学习的使用，强大地解决了更多困难的游戏和其他具有挑战性的问题[121]。深度增强学习不仅提供了丰富的表示，其具有较高数量的深网络隐藏层，而且还提出了一种基于加强学习的Q学习算法3，最大化代理所采取的动作的奖励[121]。 Fu等人。 [122]已经表明了使用深度增强学习进行遥感船舶检测任务的可行性。最近，李等人。 [123]已经提出了一种基于CNN模型与增强学习的组合的有趣的飞机检测框架。类似地，基于两种输入图像之间改变区域的大小的动作序列，可以将变化检测过程作为动作决定问题解决。

6.2弱势监督变更检测

考虑到数据标签操作的高成本，在许多计算机视觉任务中，很难获得强大的监督信息（例如，具有完全地面真理标签的数据集）[125]。值得注意的是，在遥感图像中，对象的手动注释通常是昂贵的且有时不可靠。特别是对于改变检测任务，改变的区域非常小，背景是杂乱的并且复杂的背景，并且图像可以由不同的传感器进行[126]。但是，培训基于弱监督学习（WSL）的变更检测框架可以缓解手动注释的需求。弱监督数据包括少量准确的标签信息，与传统监督学习中的数据不同[127]。一般来说，有三类弱势监督[125]：

•当有标签提供最低数量数据（培训数据中的培训数据）时，监督不完整监督，这是成功培训学习者的不足。
•不准确的监督是当某些监督信息可用时，不如所需的那样准确（即，仅提供粗粒标签信息）。
•不准确的监督与概述标签不是真正的真理并遭受错误（即，使用标签噪音学习）的情况。

地理空间对象检测场的最新进展[128] [129]显示了使用弱监督学习的可行性。类似地，探索基于WSL的变化检测模型的电位将是有趣的，用于识别两个图像之间的改变区域。然而，遥感图像中现有的基于WSL的方法的性能仍然远非令人满意。例如，在检测建筑变化[130]时不能产生更改的准确位置[130]。需要大量的努力来建立更有效的方法来提高检测精度[126]。

7 Conclusion

最近，遥感领域的深度学习改变检测造成了显着的关注并获得了良好的性能。与基于传统的手工制作的功能的方法相比，基于深度学习的方法可以自动学习遥感图像的复杂特征。在这项工作中，通过元分析系统地分析与遥感图像中DL相关的出版物。此外，还进行了更深入的审查，以描述和讨论特定于变化检测领域的DL算法的使用，这些方法与我们的研究区分开了先前关于DL和遥感的评论。因此，描述了几种通常用于变化检测的深模型。此外，我们专注于通过提供现有方法的一般概述来专注于遥感图像的深度学习的变化检测方法。具体地，这些基于深入的学习的方法分为三组;基于学习的基于学习的方法，完全无监督的基于学习的方法和基于传输学习的方法。此外，我们还提出了两个有希望的未来研究方向。因此，强烈建议进一步研究深增强学习和弱监督检测方法。

变化检测综述 Deep learning for change detection in remote sensing images: comprehensive review and me相关推荐

TGRS2020/云检测：Deep Matting for Cloud Detection in Remote Sensing Images深度抠图在遥感图像云检测中的应用
TGRS2020/云检测:Deep Matting for Cloud Detection in Remote Sensing Images深度抠图在遥感图像云检测中的应用 0.摘要 1.概述 2.云 ...
【论文笔记】LSNet: Extremely Light-Weight Siamese Network For Change Detection in Remote Sensing Image
论文论文题目:LSNET: EXTREMELY LIGHT-WEIGHT SIAMESE NETWORK FOR CHANGE DETECTIONOF REMOTE SENSING IMAGE 投递 ...
跌倒综述 Deep Learning Based Systems Developed for Fall Detection A Review
文章目录 1.基本信息 2. 第一节介绍 3. 第二节跌倒检测系统文献 4.第三节讨论和未来方向 5. 第四节结论 6. 参考文献 1.基本信息题目:Deep Learning Based ...
【Paper】Deep Learning for Anomaly Detection:A survey
论文原文:PDF 论文年份:2019 论文被引:253(2020/10/05) 922(2022/03/26) 文章目录 ABSTRACT 1 Introduction 2 What are anom ...
(ch9) Deep Learning for Anomaly Detection: A Survey
Deep Learning for Anomaly Detection: A Survey https://www.researchgate.net/publication/330357393_Dee ...
Deep Learning for Anomaly Detection: A Review
本文是对<Deep Learning for Anomaly Detection: A Review>的文字部分翻译,图表请参看原文. 深度学习进行异常检测:综述摘要 1 引言 2 异常 ...
【医学+深度论文：F18】2019 Robust optic disc and cup segmentation with deep learning for glaucoma detection
18 2019 Computerized Medical Imaging and Graphics Robust optic disc and cup segmentation with deep l ...
Deep Learning Applied to Steganalysis of Digital Images: A Systematic Review 深度学习在数字图像隐写分析中的应用：系统综述
Deep Learning Applied to Steganalysis of Digital Images: A Systematic Review (深度学习在数字图像隐写分析中的应用:系统综述 ...
【目标检测论文阅读笔记】Feature-Enhanced CenterNet for Small Object Detection in Remote Sensing Images
Abstract: 与 anchor-based基于锚点的检测器相比,anchor-free无锚点检测器具有灵活性和较低计算复杂度的优点.然而,在复杂的遥感场景中,受限的几何尺寸.目标的弱特征以及 ...

变化检测综述 Deep learning for change detection in remote sensing images: comprehensive review and me