狗都能看懂的变化检测网络Siam-NestedUNet讲解—

1、问题介绍

工业检测

如今深度学习的发展如火如荼，各类神奇的技术如人脸识别、换脸技术啥的，似乎什么问题都只需要Deep Learning一下就可以解决了。但这都是属于民用级别的技术，而真正想要在实际业务中落地，更多的是要渗透到工业中去。

常见的工业检测有如下特点：

良品多，次品少。如果一个工厂生产的大部分都是坏品，那这个工厂就离倒闭不远了。而恰恰深度学习则需要大量的坏品数据。
产品换批次，产线更新。经常一换产品，之前优化过的模型就没办法再用了。

就针对这两个问题，目前学术界较为成熟的目标检测、图像分割方法都无法从根本解决这个问题。近几年开始流行的few-shot learning注意到了这个情况，但可惜技术还不是很成熟。

2、模型结构

模型的整体架构如下图所示，看上去非常复杂，但看完下面的讲解你就一定明白了。模型的结构可以拆成四个部分来讲解，设计非常精巧。

1、Backbone

Unet++

模型的主干由UNet++衍生而来。我们不看双输入部分，只看backbone，从x0,0x^{0,0}x0,0下采样到x4,0x^{4,0}x4,0，然后上采样到x0,4x^{0,4}x0,4这一部分，它是呈现一个U型结构，熟悉医学图像分割的同学一定知道，这就是UNet网络。这是分割中非常经典的Encoder-Decoder结构。

DenseNet

而UNet++则参考DenseNet一步步进化而来。DenseNet采用了密集残差边，作为图像分类的backbone有效提高了分类准确率，这种小而美的结构也被采用到了UNet++中。这么做的好处是：1、解决梯度回传时，浅层网络难以优化的问题。2、加强特征融合，使得深层网络可以结合浅层网络的特征，同时融合了低层的细节信息和高层的语义信息，增大了低层的感受野，使得低层在做小目标检测时能获得更多上下文信息。

2、Siamese Network - 孪生网络

孪生网络有两个输入，其诞生的初衷是为了解决小数据集泛化性差的问题。从下图看一个输入对应一个网络，最终会的得到两个输出，这两个输出对应这两个输入的高维特征，对其简单做差可近似看为二者的loss，loss越小代表差异越小，loss越大代表差异越大。通常情况下，两个输入的网络权重是共享的，所以是实质上就是一个网络。

Siam-NestedUNet画蓝色虚线框内采用的就是这样的双输入结构，利用UNet++进行特征提取，只不过它提取的已不是物体的特征，而是两张图的差异信息。如果我们把变化的类别（在检测或分割中对应未知异物）当作要检出的目标，那么Siam-NestedUNet就是将两张图中有差异的部分当作目标进行检出。

3、SENet + ResNet

Siam-NestedUNet的backbone将各个不同层级的特征层concat在一起之后有一个残差Ensemble Channel Attention Module，这个模块可以看成是一个残差块 + 两个CAM构成。其中残差块就是我们熟知的ResNet这里不多赘述，CAM则是取自SENet，也就是我们常说的注意力机制。它将每个特征层（无论多大）统一缩放成1x1的大小，然后经过一个1x1的卷积和relu函数，再经过一个1x1卷积和Sigmoid激活，此时的得到的是一个FFF值，这个FFF值就可以认为是缩放前特征层的占比权重，如果模型认为这一层很有用，那FFF值就会很大，放大它的作用。反之，模型认为这一层没什么用，FFF就会很小，起到抑制作用。

同理，Siam-NestedUNet也就是将这个结构当成一个组件，把所有骨干网络叠加在一起的特征层计算了一组注意力值，进而得出了不同时期特征层的作用。

3、Loss Function

损失函数由bce + dice loss组成。

bce
论文原文中，作者将weight cross entropy的公式看成一个二分类问题，其中LwceL_{wce}Lwce公式为
Lwce=1H∗W∑k=1H∗Wweight[class]∗(log(exp(y[k][class]))∑l=01exp(y[k][l]))L_{wce} = \frac{1}{H * W}\sum^{H*W}_{k=1}{weight[class]}*(log(\frac{exp(y[k][class]))}{\sum_{l=0}^{1}{exp(y[k][l])}}) Lwce=H∗W1k=1∑H∗Wweight[class]∗(log(∑l=01exp(y[k][l])exp(y[k][class])))
其中class在变化检测中只为2，分别是变化类和非变化类，y代表预测。bce为wce的一种特例情况。

dice loss
Dice系数，是一种集合相似度度量函数，通常用于计算两个样本的相似度(值范围为 [0, 1])：
Ldice=2∣X∩Y∣∣X∣+∣Y∣L_{dice} = \frac{2 |X\cap Y|}{|X| + |Y|} Ldice=∣X∣+∣Y∣2∣X∩Y∣
这也是语义分割中常用的交并比，X代表Ground Truth，Y代表Prediction。而在实际的变化检测问题中，我们也会将变化类以语义分割的方式进行标注。

4、应用场景

原文中，作者将其应用到了地质勘测的遥感图像中，是一个场景中，五年前和五年后的建筑物变化（道路、房屋的修建）。

虽然常用的语义分割、目标检测网络都已经很强悍了。但任然存在些许的漏检情况，所以我们经常看到的深度学习都是应用在安防安监领域，这些场景下，漏检率5%都可容忍的。但在要求更为严格的工业检测中，漏检是非常不能容忍的，即使你在为你的算法识别准确率达到96%而欢呼雀跃的时候，客户也会拿着那仅有的几个漏检样本问你：“为什么这个检测不出来？”，工厂流水线对漏检率是非常严格的，漏掉一个坏掉的零部件到下游厂商中，做出了一个成品损失可是好几千块。所以这也是为什么深度学习总在工业检测的外围，而不能在核心领域发挥作用的原因。

而Siam-NestedUNet虽然不能对工业的缺陷进行详细的分类，但他能保证不漏检，如果我们将问题具体化，则可以将良品当作模板图，待测样品当成待检图。这样通过变化检测，就有效的得出了异常的位置。

5、复现代码

作者开源的代码库在：https://github.com/likyoo/Siam-NestedUNet

笔者对其进行了修改，数据集是作者使用的遥感分割数据集，原图是1900x1000大小的。原作者将其改成了256x256大小的，代码库在：https://github.com/Runist/Siam-NestedUNet(觉得有用请点star~，这对我很重要)

paper: Change detection in remote sensing images using conditional adversarial networks
CDD (Change Detection Dataset)