Boundary and Entropy-driven Adversarial Learning for Fundus Image Segmentation
BEAL：基于边界和熵驱动的对抗学习用于眼底图像分割
 from MICCAI2019
 Paper
 Code

Abstract

对于不同数据集中眼底图像的视盘和视杯的精确分割对于青光眼疾病的筛查和诊断十分关键，但是由于不同于之间的差异（域偏移）使得研究出来的框架泛化性能不佳。
  本文提出了一种无监督的域适应框架，叫做边界和熵驱动的对抗学习框架（Boundary and Entropy-driven Adversarial Learning, BEAL)，来提升视盘（OD）和视杯（OC）的分割效果，尤其在容易混淆的边界区域。本文的BEAL框架借助对抗学习来提升边界和掩膜的预测，抑制OD/OC分割不确定的部分，产生精确的分割图谱。本文将BEAL框架放在两个公开的眼底图像数据集上进行了测试（Drishti-GS和RIM-ONE-r3），均达到了无监督域适应方法下的SOTA。

Section I Introduction

能够自动分割眼底图像中的视盘和视杯部分对青光眼的诊断十分有用，深度学习在这方面不断提升视盘和视杯的分割小姑，但是由于域迁移问题未能在新的数据集上取得令人满意的分割结果。比如M-Net在ORIGA的测试数据集中取得了SOTA，但是迁移到其他数据集上泛化性就很差。
   近期，基于无监督的域适应方法被用来解决域迁移的性能退化问题，因为获得目标域图像的额外标注信息十分费时费力、成本高昂。
   之前一些无监督的域适应方法通过将目标域的输入图像迁移到源域来提升域适应的效果；而CycleGAN则可以不使用图像对就完成域迁移工作；此外还有借助高层特征对齐来探索不同数据集之间共享的隐层特征空间，致力于不同数据集产生相似的预测。
   近期还有研究借助空间信息和几何结构信息使得输出空间对齐。比如Wang[12]提出一种基于patch的输出空间对抗学习框架对不同数据集的图像进行联合分割；但是这些工作都未能在目标域中图像的边界区域产生可靠的预测结果，主要是由于源域和目标域的图像外形上存在很大差异、不同结构之间对比度差异不明显从而难以分割出明确的边界。
    因此，如何有效的进行域迁移，提升在目标域中图像软边界区域的预测性能是一份十分具有挑战性的问题。 本文则提出了一种新的无监督域适应框架，称之为BEAL，来提升不同眼底数据集中视盘视杯的分割效果。
    这一框架的算法主要基于以下两方面的观察： 
    （1）在源域上训练的深度神经网络往往在目标域的边界分割十分模糊、不准确，在源域上的边界分割则更加结构化。这一观察可参见Fig1的（a)©。
    所以一种行之有效的提升目标域分割精度的方法就是使用边界驱动的对抗学习，来学习目标域和源域之间关于边界不变的特征。 
    （2）网络还倾向于对源域图像产生确定性预测（低熵），而目标域的图像产生更加不确定的分割图谱（熵高），可参见Fig1(b）.因此对目标域进行确定性更高的预测成为提升分割性能的一种可行的解决方案。
    
基于以上观察,本文提出了一种基于边界和熵驱动的方法来分割OD和OC，从而使得目标域图像产生更加精确的分割边界同时抑制确定性低的分割图谱。并且本文巧妙的利用了对抗学习同时提升边界分割和抑制熵图谱的不确定性预测。这种方法在两类眼底数据集上进行了测试，均达到了SOTA，为了证明每一部分方法的有效性，还进行了消融实验。

Section II Methodology

Fig2展示了BEAL的总体框架，关键的技术点在于后面基于边界和熵驱动的对抗学习框架。
     BEAL选取使用ASPP的DeeplabV3+作为backbone骨干框架，随后跟着边界和掩膜分支，本文还使用了信息熵来获得entropy map；最后将两个判别器应用到boundary map和entropy map的对抗学习中。
     

Part A Boundary-driven Adversarial Learning(BAL)
      边界驱动的对抗模型
       如果基于源域的监督优化得到的分割网络往往对于目标域的图像其边缘分割十分模糊，为了减轻这一问题，本文设计了一个边界驱动的对抗学习模型来加强对目标域图像的边界预测。
       具体来说就是采用一个边界预测分支来完成边界的回归，并且通过改变分割网络的解码部分实现OD和OC的掩码预测，随后将边界回归作为对抗学习的输入。
        用公式来解释，假设源域图像的映射是Is，对应有分割的GT图谱Ys，目标域没有GT，仅有图像It，对于输入的每一张来自源域的图像xs，本文的网络都会产生一个边界预测pb和一个掩膜的概率预测pm；相似的对于任意一张目标域的输入图像xt也会产生对应的边界预测和掩膜概率预测。
        为了利用边界信息驱动对抗模型的学习，本文使用边界判别器D来逐渐对齐源域和目标域的边界分布，主要就是区分这一边界是来自于源域还是目标域，因此损失函数表述为：
        

其中Ld是交叉熵损失函数，N和M分别是来自源域和目标域的图像总数，为了进一步调整边界的分布，还是用对抗学习来优化分割网络： 
         
Part B Entropy-driven Adversarail Learning(EAL)
设计熵驱动的对抗学习是因为，仅使用边界作为驱动在一些软边界区域仍然会出现高熵图谱，也就是置信度很低，为了抑制不确定的推测，进一步设计了熵驱动的对抗学习来强制目标域的熵图类似于源域的图谱，缩小两个域之间的性能差距。 具体而言就是对每一个像素值的概率值计算它的信息熵： 

为了完成熵驱动的对抗学习本文还建立了一个熵判别器De来对齐源域和目标域的熵图，主要就是辨别输入的entropy map是来自于源域还是目标域，具体的损失函数表述为：

同时分割网络使用的对抗损失为：

目的是鼓励分割网络在目标域图像上生成类似源域的熵预测图谱。
 Part C Network Architecture and Training Procedure 
 分割网络采用DeepLabV3+作为骨干框架，但是将Xception替换为MobileNetV2中的轻量级结构来减少参量、加速计算；随后在不同层次的特征级联后加入前两节提到的两个分支结构。
  其中边界预测分支包含3层卷积->ReLU->BN，输出通道依次是{256,256,1},最后一层使Sigmoid激活。 对于掩膜预测分支只有一层卷积，将边界预测结果和前面共享的特征作为输入，输出则是会使用双线性插值恢复到原输入尺寸。
   对于判别器则是采用[12]中的5层卷积结构。 训练过程是采用分割网络和判别网络交替训练的方式，为了优化边界和熵预测的判别器，分别最小化(1)(4)损失函数； 分割网络的损失函数则是包括掩膜的损失函数Lm以及源域的边界回归损失函数Lb以及两个目标域的对抗损失函数，因此整个损失函数表述为为：

其中Ym和Yb分别代表mask和boundary的真值，lambda是一个平衡因子。最后将mask的预测多为一个多类别学习，同时产生OD和OC的概率图谱。 
  随后将OD和OC的entropy map作为判别器的输入。此外为了获得mask的ground truth，本文还对mask进行了Soble边缘检测和高斯滤波。

Section III Experiments and Results

Dataset:
  本文使用了REFUGE挑战中的训练数据作为源域，将Drishti-GS和RIM-ONE-r3数据集中的训练集和测试集作为目标域，数据集的样本数量参见Table I.

Implementation details:
 实验细节包括：整个网络框架基于Pytorch，两个判别器均通过SGD优化，学习率固定为2.5e-5，分割网络则使用的是Adam Optimizer，学习率1e-3每100epoch除以0.2；数据扩充手段包括随机旋转、翻折、弹性变换、对比度调整、增加高斯噪声以及随机擦除。
 定量分析：
  主要计算了OD和OC分割的Dice系数，具体结果参见Table II.

将本文的BEAL方法与传统的监督学习和无监督学习的域适应算法均进行了对比，与之前取得SOTA的pOSAL算法相比，BEAL在OC和OD分割上的性能分别提升了2.3%和3.3%,证实了边界驱动和熵驱动对域迁移是有效果的。
 此外，由于Drishti与源域的分布差别比RIM-ONE与源域的分布差距更小，因此Drishti数据集上得到视盘和视杯的dice系数更大，因此Drishti数据集上的提升空间已经不大，几乎已经到了天花板；但是BEAL在视杯分割上仍然超过了SOTA，并且在视盘分割上取得了与pOSAL相近的结果，充分说明了本文BEAL在不同程度域迁移任务上的有效性。
 
 
定性分析：
  Fig3展示了部分可视化的结果，包括视杯和视盘的分割图像、预测的熵图谱以及预测的边界，都是RIM-ONE-让数据集中的。Fig3中红色为pOSAL分割结果，绿色为本文BEAL结果，绿色和蓝色分别代表视盘和视杯的轮廓。可以看到pOSAL方法在一些二义性区域或者高熵区域很难准确预测边界，但通过本文对边界和熵的对抗学习可以产生更加精确的边界分割结果。
  

消融实验：
 本文还进行了一系列消融实验来验证每一部分的有效性，设定分别为： 
 （i)是基础的DeepLab分割网络但没有加入边界分支 ；
 （ii)是DeepLabv3+加入了边界分支； 
 （iii)是Baseline+BAL ；
 （iv）是Baseline+EAL；
  （v)本文的BEAL。
   可以看到通过增加额外的边界和熵信息，dice系数逐渐升高，结合了BAL与EAL的BEAL效果最佳。

Section IV Conclusion

本文提出了一种新的边界驱动和熵驱动的对抗学习模型用于视盘和视杯的分割，有效提升了域迁移的效果。本文的BEAL模型超过了当前的SOTA模型，并且其泛化性能可以迁移到其他无监督的域适应问题中。

[Style Transfer]——Boundary and Entropy-driven Adversarial Learning for Fundus Image Segmentation相关推荐

Adversarial Learning for Semi-Supervised Semantic Segmentation(BMVC2018)
Adversarial Learning for Semi-Supervised Semantic Segmentation 本文核心要点如下 SegNet as Generator Discrimi ...
[论文阅读] Adversarial Learning for Semi-Supervised Semantic Segmentation
[论文地址] [代码] [BMVC 18] Abstract 我们提出了一种使用对抗性网络进行半监督性语义分割的方法.虽然大多数现有的判别器都是在图像层面上对输入图像进行真假分类的训练,但我们以完全卷 ...
论文笔记United adversarial learning for liver tumor segmentation
联合对抗学习用于肝肿瘤分割和多模态非对比MRI检测 Medical Image Analysis 2021 Stage1:在这项研究中,提出一个联合对抗学习框架,UAL首先利用三个并行卷积通道进行多模 ...
15.深度学习练习：Deep Learning Art: Neural Style Transfer
本文节选自吴恩达老师<深度学习专项课程>编程作业,在此表示感谢. 课程链接:https://www.deeplearning.ai/deep-learning-specialization ...
DRB-GAN: A Dynamic ResBlock Generative Adversarial Network for Artistic Style Transfer
摘要提出一种用于艺术风格迁移的动态 ResBlock 生成对抗网络(DRB-GAN).风格码被建模为连接风格编码网络和迁移网络的动态 ResBlocks 的共享参数. 在编码网络中,融入了风格的类感 ...
[Style Transfer]——Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer
Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer 基于联合双边学习的通用写实风格转换  fr ...
论文解读：《Learning Linear Transformations for Fast Image and Video Style Transfer》，CVPR 2019
论文解读:<Learning Linear Transformations for Fast Image and Video Style Transfer>,CVPR 2019 0. 论文 ...
Deep Learning Art: Neural Style Transfer（吴恩达课程）
Deep Learning & Art: Neural Style Transfer(吴恩达课程) # UNQ_C1 # GRADED FUNCTION: compute_content_co ...
CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer
文章目录 Abstract 1 Introduction 2 Related Works 3 Methods 3.1 Contrastive Coherence Preserving Loss 3.2 ...

[Style Transfer]——Boundary and Entropy-driven Adversarial Learning for Fundus Image Segmentation