【论文笔记】DSIFN：用于高分辨率双时相遥感图像变化检测的深度监督图像融合网络

本文是论文《A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images》的阅读笔记。

文章提出了一个深度监督图像融合网络DSIFN，首先使用量分支的全卷积网络进行特征提取，然后再用深度监督的差异判别网络DNN进行变化检测。为了提升变化图边界的完整性和内部的致密性，使用多层次的深度特征与图像差图特征通过注意力机制进行融合。

一、方法和网络结构

现有的深度学习方法有以下限制：1. 变化图边界的完整性和内部的致密性不好；2. 在双分支网络结构中，容易出现梯度消失；3. 怎么样在不同域中进行有效的特征融合是个问题。

上图是IFN网络的结构示意图。

上图是DNN的示意图。

深度图像融合网络IFN包括深度特征提取网络DFEN，差异判别网络DDN。DFEN的backbone是VGG-16，文章第一次尝试使用预训练网络进行端到端的变化检测任务。使用的注意力机制包括空间注意力和通道注意力，和CBAM注意力机制类似，大家可以去我博客搜一下，这里不再赘述。数据增强包括：1.图像旋转、2. 图像翻转、3. 增加噪声、4. 图像模糊、5. 图像平滑。

二值交叉熵损失公式如下：
Lbce=−tilog⁡(yi)−(1−ti)log⁡(1−yi)L_{b c e}=-t_{i} \log \left(y_{i}\right)-\left(1-t_{i}\right) \log \left(1-y_{i}\right) Lbce=−tilog(yi)−(1−ti)log(1−yi)
其中，tit_iti表示在像素iii处的GT值，ti=1t_i=1ti=1表示发生了变化，ti=0t_i=0ti=0表示未发生变化；yiy_iyi表示像素iii处变化的概率；1−yi1-y_i1−yi表示未变化的概率。文章中使用的sigmoid二值交叉熵损失，其公式如下：
Lsig−bce=−tilog⁡(σ(yi))−(1−ti)log⁡(σ(1−yi))L_{s i g_{-} b c e}=-t_{i} \log \left(\sigma\left(y_{i}\right)\right)-\left(1-t_{i}\right) \log \left(\sigma\left(1-y_{i}\right)\right) Lsig−bce=−tilog(σ(yi))−(1−ti)log(σ(1−yi))
其中σ\sigmaσ表示sigmoid激活函数，为了弱化不平衡类的影响，文章结合了sigmoid二值交叉熵损失和dice系数损失，dice系数损失的定义如下：
Ldice =1−(2yiti)/(yi+ti))\left.L_{\text {dice }}=1-\left(2 y_{i} t_{i}\right) /\left(y_{i}+t_{i}\right)\right) Ldice =1−(2yiti)/(yi+ti))
总损失函数如下：
KaTeX parse error: Expected '}', got '_' at position 17: …L=L_{\text {sig_̲bce }}+L_{\text…

二、实验

实验选用的baseline模型有：Unet++_MSOF、FC-Sima-conc、FC-Sima-diff、FCN-PP（Fully convolutional network with pyramid pooling）。

上图是多种变化检测方法的对比。

上图是大变化区域的检测结果，a~h分别是T1图像、T2图像、GT图像、IFN结果、Unet++_MSOF结果、FCN-PP结果、FC-Siam-conc结果、FC-Siam-diff结果。

上图是小变化区域的检测结果，a~h分别是T1图像、T2图像、GT图像、IFN结果、Unet++_MSOF结果、FCN-PP结果、FC-Siam-conc结果、FC-Siam-diff结果。