FWENet: a deep convolutional neural network for flood water body extraction based on SAR images

作者：Jingming Wang, Shixin Wang, Futao Wang, Yi Zhou, Zhenqing Wang, Jianwan
Ji, Yibing Xiong & Qing Zhao

期刊：Internation Journal of Digital Earth

日期：2022

关键词：深度学习；洪水水体提取；SAR；鄱阳湖

原文：https://doi.org/10.1080/17538947.2021.1995513

摘要

1.介绍

1.1国内外研究

1.2存在的问题

1.3提出的模型

2.材料和方法

2.1研究区

2.2数据预处理

2.3方法

2.4模型结构

2.4.1残差网络

2.4.2膨胀卷积

2.4.3Scse

2.5准确性评估

3.实验与结果

3.1样本生成

3.2模型训练

3.3模型测试

3.4模型应用

3.5水域分析

3.6模型泛化性

4.讨论

4.1不同方法的比较

4.2不同模型的比较

4.3不同特征的比较

4.4消融实验

4.5.局限性和影响

5.结论

摘要

洪水作为世界上最严重的自然灾害之一，每年都会造成巨大的经济损失和人员伤亡。及时、准确地获取洪水淹没范围，可为相关部门在洪水应急响应和救灾领域提供技术支持。鉴于现有基于合成孔径雷达（SAR）图像和深度学习方法提取洪水淹没范围的研究工作的准确性相对较低，本研究利用Sentinel-1 SAR图像作为数据源，提出了一种名为洪水体提取的新模型用于洪水信息提取的卷积神经网络（FWENet）。然后将三种经典的语义分割模型（UNet、Deeplab v3和UNet++）和两种传统的水体提取方法（Otsu全局阈值法和面向对象方法）与FWENet模型进行了比较。进而分析了鄱阳湖水体面积变化情况。本文的主要结果如下：与其他五种水体提取方法相比，FWENet 模型取得了最高的水体提取精度，其 F1 得分和平均交叉并集 (mIoU) 分别为 0.9871 和 0.9808。本研究可为后续基于SAR图像的洪水提取研究提供保障。

1.介绍

目前，基于SAR图像的洪水提取方法主要有基于阈值的方法、面向对象的方法、活动轮廓法和数据融合方法。然而，由于SAR图像存在斑点噪声、灰度分布不均匀等缺陷，当涉及到大面积时，传统的SAR数据泛滥监测方法已不能很好地满足要求。在此背景下，SAR数据与智能水体提取算法的结合逐渐成为研究热点。

1.1国内外研究

Chen等 (2015) 利用卷积神经网络提取水体，通过与归一化差值水指数 (NDWI) 等传统方法的比较，证明了深度学习方法在水体提取中的有效性。
Chen等 (2018) 设计了一种新的卷积神经网络从高分辨率遥感图像中提取城市地表水体，获得了较高的水体提取精度。
Wang等 (2020) 提出了多尺度湖泊水体提取网络，该网络在提取小湖水体中表现良好。
Nemni等 (2020) 设计了一种用于洪水测绘的卷积神经网络，实现了全自动快速洪水监测。
Peng等 (2021) 提出了城市洪水测绘的自我监督学习框架，提高了城市洪水监测的准确性。

1.2存在的问题

这些现有的水体提取深度学习模型主要集中在光学遥感图像上。此外，使用SAR图像的水体提取精度相对较低。
水体与阴影难以区分、水体较小、河流提取不完整等缺点也限制了水体提取产品的应用。

1.3提出的模型

本研究提出了一种基于SAR图像的新型洪水水体提取卷积神经网络 (FWENet)。

具体来说，该模型由编码解码网络组成。在编码器中，首先利用了残差网络 (ResNet)。然后，将编码的特征图输入到不同膨胀率下的膨胀卷积中，并使用不同的标度来提取深层语义特征。在解码器中，将小尺寸特征图解码为原始尺寸。此外，FWENet模型采用了空间和通道挤压 & 激励 (Scse) 注意机制，进一步提高了模型预测的准确性。最后，基于FWENet模型从多周期SAR数据中提取洪水信息。

2.材料和方法

2.1研究区

鄱阳湖

图1 鄱阳湖在中国的位置。左图是谷歌地球图像。

右边的图像是2020年9月6日上的Landsat 8图像。

2.2数据预处理

研究选取6张双极化Sentinel-1 SAR影像，产品类型为GRD，成像时间为2020年6月20日至2020年8月31日。

表1 本研究中使用的Sentinel-1 SAR图像的详细信息

本研究采用欧洲航天局（ESA）提供的Sentinel数据处理软件SNAP对Sentinel-1 SAR图像进行预处理，得到研究区10 m空间的后向散射分布图分辨率双极化。具体的预处理步骤包括轨道校正、热噪声去除、辐射定标、滤波、地形校正、裁剪和镶嵌处理。

2.3方法

SAR图像预处理完成后，首先将Sentinel-1双极化图像与推导的平均纹理图像合成为三波段新图像。其次，将得到的新图像分为训练数据集、验证数据集和测试数据集，将数据增强后的训练数据集和验证数据集输入到FWENet模型中进行训练。最后在测试数据集中采用多种评价指标对FWENet模型的水体提取精度进行定量评价。本研究的具体流程图如图2所示。

图2 本研究的流程图

2.4模型结构

本文提出了用于sar图像洪水信息提取的FWENet模型，其模型结构如图3所示。受U-Net模型的启发，FWENet模型采用编码解码结构，其中编码部分采用Resnet18网络，然后将从编码器获得的特征映射分别输入四种类型尺度的膨胀卷积，膨胀率分别为1、2、4、8，提取深层语义特征。解码部分将小尺寸特征图恢复到原始尺寸，从而得到水体分割图。在编码和解码过程中，每一层的输出都被输入到Scse注意机制中，进一步提高了模型预测的准确性。每个卷积层都连接到一个批归一化(BN)层，加快了模型学习的速度。

2.4.1残差网络

深层网络可以获得丰富的语义特征。然而，简单地增加网络深度会导致梯度损失或梯度爆炸问题。同时，随着网络深度的增加，网络性能会下降。为了解决这个问题，He 等人。 (2017) 提出了残差神经网络 (Resnet)。 Resnet的核心是残差学习模块。图 4 显示了两个典型的残差学习模块。通过将特征图输入残差学习模块，通道在卷积后与原始特征图相加以补偿消失的梯度，如图4（a）所示。特征图输入残差学习模块，卷积后特征图的大小和通道数发生变化，因此需要1×1卷积调整原始特征图的大小和通道数，如图图 4(b)。如今，Resnet网络已经成为语义分割领域的主要特征提取网络。主要有五个Resnet网络：Resnet18、Resnet34、Resnet50、Resnet101和Resnet152。为了降低网络模型的复杂度，加快模型处理速度，本研究采用Resnet18网络提取主要特征。

图4 两个典型的残差学习模块的结构

2.4.2膨胀卷积

为了解决卷积神经网络中由下采样操作引起的特征图分辨率降低和信息丢失的问题，Yu和Koltun (2016) 提出了膨胀卷积。膨胀的卷积通过在卷积核之间填充一定数量的0个元素来膨胀卷积核的感受域。填充的数量取决于膨胀速率的参数。具有不同膨胀速率的膨胀卷积如图5所示，其中膨胀速率为1的卷积核可以视为标准的卷积核。不同膨胀速率的膨胀卷积具有不同的感受野，不同的感受野对于区分具有相似光谱特征的山影和水体至关重要。在Deeplab v3网络的atrous空间金字塔池 (ASPP) 模块中，膨胀卷积的膨胀速率分别设置为1、6、12和18。膨胀率太大，小水体损失了太多的特征信息。在本研究中，结合膨胀率为 1、2、4 和 8 的膨胀卷积来提取不同尺度的语义特征。适当降低膨胀率可以捕获更多小水体和河流的特征信息，水体边缘的提取更完整。

图 5 具有不同扩张率的扩张卷积核 (a) 膨胀率 = 1；(b) 膨胀率 = 2；(c) 膨胀率 = 4

2.4.3Scse

注意力机制旨在使计算机忽略无关的信息，并像人脑一样专注于关键信息。由于注意力可以提取更多的语义特征，因此它被广泛用于语义分割任务中。这里不仅有广阔的湖泊，还有遥感图像中的小水体和池塘。洪水灾害时水体的不同大小和复杂的淹没场景广泛地检验了卷积神经网络的鲁棒性和泛化性。因此，本研究引入Scse注意机制，以进一步提高网络模型预测的准确性。Scse模块的结构如图6所示。图6的上部是信道注意 (CSE) 模块，该模块首先对输入特征图执行全局平均池化操作，然后分别使用relu和Sigmoid函数激活两个1 × 1卷积后获得的特征图，最后利用信道乘法进行信息校正。图6的底部是空间注意 (SSE) 模块，该模块首先对输入特征图进行3 × 3卷积运算，然后使用Sigmoid函数进行激活，最后使用空间乘法n进行空间信息校正。Scse模块将SSE模块与CSE模块组合在一起。将尺寸为C × H × W的特征图输入到Scse模块，输出特征图的尺寸保持为C × H × W。在不改变特征图的维数的情况下，在每个卷积层之后添加Scse模块。目的是微调特征图的水体边缘。

图6 Scse模块的结构

2.5准确性评估

在本研究中，我们选择了五个指标：Precision、Recall rate、F1 score、Intersection over Union (IoU) 和 mIoU 来评估 FWENet 模型的水体提取精度。 F1 score综合考虑了Precision和Recall rate，数值越高，模型抽取效果越好。 mIoU综合考虑了模型提取水体IoU和非水体IoU，值越高表明模型提取效果越好。 F1 score和mIoU都是衡量网络模型的综合评价指标。其中，n指模型预测类别的个数，TP指地下水体像素数，网络模型也将其预测为水体，FP指网络模型预测的地下水非水体像素数为水体，FN是指由网络模型预测为非水体的地面实际水体像素数。

3.实验与结果

3.1样本生成

SAR图像上随机分布的散斑噪声影响实验样本的制作。因此，本研究通过高分辨率光学遥感图像的目视解译获取水样。此外，由于多云天气和洪水期间的强降雨，获得高质量的光学遥感图像具有挑战性。常用的高分辨率光学遥感影像包括GF-1、GF-2、Sentinel-2影像等。本研究利用2020年7月23日覆盖研究区的Sentinel-2影像辅助目视判读制作样本。此外，考虑到Sentinel-1的极化数据有限，本研究引入平均纹理特征来丰富模型特征。首先对Sentinel-1（Liu et al. 2019）的双极化数据进行主成分分析，然后对主成分分析中信息量最大的第一个主成分进行均值滤波，有一个窗口3×3的大小，以获得平均纹理特征。均值特征反映了纹理的规律性，在一定程度上减轻了SAR图像上的噪声。由于 VH、VV 和平均纹理图像处于不同的强度等级，本研究将这些图像线性拉伸到 0-255 的灰度范围。然后将 Sentinel-1 双偏振数据和导出的平均纹理数据组合成具有三个波段的新图像。在研究中，从获得的三波段图像中裁剪特定区域作为训练和测试图像，训练和测试区域如图7所示。来自多个训练区域的样本可以提高网络模型的泛化能力。随后，在ArcMap 10.4软件中对训练图像和测试图像进行水样标记，然后对图像和相应的标记图像进行规则的网格裁剪和数据增强。数据增强包括对图像和相应标签图像的水平翻转、垂直翻转和对角线镜像操作。数据增强是为了获得足够的样本，避免模型训练过程中的过拟合。最后，本研究获得了 1808 个训练样本、452 个验证样本和 132 个测试样本，分辨率为 256×256。

图7 训练区和测试区

3.2模型训练

由于计算量大，深度学习参数众多，实验用软件有很高的要求。在软件环境方面，实验使用的编程语言为Python，选择Keras深度学习框架作为构建网络模型的工具。编程过程中使用的依赖库主要包括CUDA和GDAL。通过多次迭代实验，实验最终得到了合适的超参数。即，迭代次数设置为30次，批量大小设置为8次，选择Adam作为优化器，初始学习率设置为10-4次，选择relu激活函数。使用交叉熵损失函数进行模型训练。模型经过迭代训练后最终收敛，分别在训练和验证数据集上实现了99.18% 和99.34% 的分类精度，训练曲线如图8所示。

图8 训练损失曲线和精度曲线。(a) 损失曲线 (b) 精度曲线。

3.3模型测试

研究选择了具有2661 × 2584分辨率的测试区域 (图7) 来测量FWENet模型的水体提取能力。将测试数据集输入到训练好的FWENet模型中，以生成水体分割二进制图，如图9(c) 所示。将FWENet模型预测的水体结果图与相应的标记图像进行比较，98.99% FWENet模型在测试数据集中的精度，召回率为98.42%，F1得分为98.71%，Iou为97.44%，mIoU为98.08%。可以看出，深度学习在洪水信息提取中具有强大的潜力。测试区域FWENet模型的水体提取结果如图9所示。从图9中可以看出，FWENet模型不仅可以提取广泛的水体，还可以提取小河和水体。也就是说，该模型具有很强的鲁棒性。

图 9 FWENet 在测试区域的提取结果。

3.4模型应用

基于FWENet模型，本研究将多个时态鄱阳湖Sentinel-1 SAR图像输入到训练好的深度学习模型中进行预测，得到了鄱阳湖六期水体信息空间分布图。由于图像噪声，风浪，桥梁，船舶等因素的影响，提取的水体中包含一些孔或空隙。为此，本研究采用数学形态学操作对水体提取结果进行后处理，具体形态学操作主要包括腐蚀、膨胀等。六相水体萃取结果的最终处理如图10所示。

图 10 FWENet 鄱阳湖水体提取结果。

3.5水域分析

图11为鄱阳湖各时期水域变化图。可以发现，研究区域的水体区域在整个时期都呈现出 “陡升缓慢下降” 的变化趋势。水体面积首先从6月20日的3491千米 ² 迅速增加到7月14日的4958千米 ²，然后8月31日缓慢减少到4371千米 ²，由于长江高水位的影响，洪水并不顺利。关于时间变化率，在6月20日和7月14日期间，水体面积增加了1487千米 ²，平均每天增加61.1千米 ²。在7月14日和8月31日期间，水体面积减少了587千米 ²，平均每天下降12.2千米 ²。鄱阳湖水位缓慢回落，给江西省抗洪救灾带来巨大压力。

图11 研究区水域面积的变化。

3.6模型泛化性

洪泽湖是中国第四大淡水湖，位于淮河下游和江苏省西部。2020年7月，淮河上游洪水继续进入洪泽湖，导致洪泽湖水位迅速上涨。本文收集了2020年7月22日洪泽湖洪水灾害期间的Sentinel-1图像，以测试一下FWENet模型的泛化。经过相同的处理后，将洪泽湖中的Sentinel-1图像输入到先前训练的FWENet模型中，模型预测结果如图12所示。

图12 洪泽湖FWENet水体提取结果。

研究选择了具有1383 × 1926分辨率的测试区域 (图13) 来评估FWENet模型的推广。将FWENet模型预测的水体结果 (图13) 与标记图像 (图13) 进行比较，测试区域中的FWENet模型的F1得分和mIoU分别为94.52% 和93.58%。从图12和图13可以看出，该模型具有很强的泛化性。

图13 测试区域中FWENet的提取结果。

4.讨论

4.1不同方法的比较

为了验证FWENet模型的水体提取精度，本研究将其结果与Otsu全局阈值法和面向对象法的提取结果进行了比较。试验区不同方法的提取精度评价如表2所示。结果表明，Otsu全局阈值法精度最高，水体提取效果较好。然而，阈值法提取大面积遥感影像时，水体结果较为零散，难以提取小面积水体。面向对象方法的F1 score和mIoU均最低，面向对象方法的分割规则和分类规则需要大量的先验知识，很难找到合适的规则。 FWENet 模型的 F1 分数和 mIoU 最高，对水体的提取也最好。

4.2不同模型的比较

为了将FWENet模型与UNet，Deeplab v3和UNet++等经典语义分割模型进行比较，本研究使用相同的训练样本来训练这些卷积神经网络，定量评估结果如表3所示。结果表明，FWENet模型的精度仅次于UNet++，召回率仅次于UNet，在F1评分、IoU和mIoU三个指标中准确率最高。可以看出，FWENet模型在洪水提取能力上优于其他方法，并且提取精度最高。

4.3不同特征的比较

考虑到哨兵一号双极化数据有限，本研究引入均值纹理特征来丰富模型特征。本研究将方差纹理、偏度纹理、高程、坡度和SDWI（Jia et al. 2019）特征与Sentinel-1双极化数据叠加形成三波段图像，比较不同特征的水体提取精度在测试数据集中。定量评价结果如表4所示。结果表明，本研究引入的均值纹理特征提取精度最高，其次依次为方差纹理特征、坡度特征、偏度特征、高程特征、SDWI特征。

4.4消融实验

虽然FWENet模型在其他水体提取方法中提取精度最高，但提高性能的关键因素是什么？因此，我们设计了一个消融实验。实验结果如表5所示。结果表明，没有膨胀卷积的FWENet模型的F1 score和mIoU分别为0.9737和0.9612。膨胀卷积帮助FWENet模型有很大的性能提升；没有 Scse 的 FWENet 模型的 F1 分数和 mIoU 分别为 0.9851 和 0.9779。 Scse进一步提高了FWENet模型的预测精度。一般来说，膨胀卷积在模型性能上比Scse有更大的提升。

4.5.局限性和影响

尽管本研究中提出的FWENet模型具有最高的水体提取精度，但仍然存在一些缺点。首先是图像质量。本研究中使用的图像是Sentinel-1，它很难满足大规模洪水灾害的要求。将来，GF-3图像可以进一步组合以解决图像质量问题。其次是深度学习方法，深度学习发展迅速，出现了许多优秀的经典网络模型。未来，将比较FWENet模型和其他经典模型。第三是FWENet模型在水体和山影之间的区别，FWENet模型在测试区域的水体提取精度略高于Otsu方法。本文选择的测试区域相对平坦，没有高山形成的阴影。因此，Otsu方法可以获得很高的提取精度。与Otsu方法相比，FWENet模型的优势之一在于有效区分水体和阴影。将来，将在具有山影的地区研究FWENet模型。此外，在洪水灾害期间，很难有适当的光学遥感图像来辅助SAR图像解释以产生水样。未来将引入无人机图像，以提高SAR图像的水体解释精度。最后，本研究仅选择特定区域测试一下FWENet模型的水体提取精度，未来应在更多区域进行研究。

5.结论

本研究使用 Sentinel-1 SAR 图像作为数据源。针对现有利用深度学习方法从SAR图像中提取洪水淹没范围的研究工作提取精度较低的问题，本研究提出FWENet模型，以2020年鄱阳湖洪涝灾害为研究对象，对洪水情况进行定量分析鄱阳湖。结果表明：

(1)与Otsu全局阈值法、面向对象法等传统方法相比，FWENet模型的F1分数分别提高了0.59%和0.96%，mIoU提高了0.85%和1.39%分别。

(2)与UNet、DeepLab v3和UNet++等经典网络模型相比，FWENet模型的水体提取精度最高，其精度评价指标F1 score和mIoU分别为0.9871和0.9808。

(3) 鄱阳湖水体面积在整个研究期内呈“陡升缓降”趋势，2020年7月14日达到峰值，水体面积4958平方公里。

论文笔记（五）FWENet：基于SAR图像的洪水水体提取深度卷积神经网络（CVPR）相关推荐

【深度学习】步态识别-论文笔记：（ICCV-2021）用于步态识别的3D局部卷积神经网络
这里写目录标题论文详情概述达摩院视频讲解笔记挑战提出3D local CNN 3D local block 数据集论文摘要 1 介绍 2 主要贡献 3 方法 3.1 Formulatio ...
【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（2）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（1）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
法向量点云pca_CVPR 2019 | 旷视研究院Oral论文提出GeoNet：基于测地距离的点云分析深度网络...
全球计算机视觉三大顶会之一 CVPR 2019 (IEEE Conference on Computer Vision and Pattern Recognition)将于 6 月 16-20 在美国 ...
（论文阅读）基于融合深度卷积神经网络的人脸识别方法研究-褚玉晓
一.基于融合深度卷积神经网络人脸识别方法设计 1.PCA算法提取人脸特征主要成分分析法(Principal Component Analysis,PCA) 第一步,计算人脸图像的平均值并执行归一化的 ...
CVPR 2019 | 旷视研究院Oral论文提出GeoNet：基于测地距离的点云分析深度网络
全球计算机视觉三大顶会之一 CVPR 2019 (IEEE Conference on Computer Vision and Pattern Recognition)将于 6 月 16-20 在美国 ...
论文翻译：基于深度卷积神经网络的肉鸡粪便识别与分类
Recognition and Classification of Broiler Droppings Based on Deep Convolutional Neural Network 基于深度卷 ...
基于深度卷积神经网络的小样本分割算法综述
↑ 点击蓝字关注视学算法来源丨AI算法修炼营编辑丨极市平台介绍深度卷积神经网络在图像分类.目标检测.语义分割等许多视觉理解任务上都取得了重大突破.一个关键的原因是大规模数据集的可用性,比如 ...
基于深度卷积神经网络进行人脸识别的原理是什么？
原文:https://www.zhihu.com/question/60759296 基于深度卷积神经网络进行人脸识别的原理是什么? 这里的人脸识别包括但不限于:人脸检测,人脸对齐,身份验证识别,和表 ...

论文笔记（五）FWENet：基于SAR图像的洪水水体提取深度卷积神经网络（CVPR）

摘要

1.介绍

1.1国内外研究

1.2存在的问题

1.3提出的模型

2.材料和方法

2.1研究区

2.2数据预处理

2.3方法