[论文阅读] Unsupervised Domain Adaptation for Cross-Modality Retinal Vessel Segmentation

[论文地址] [代码] [ISBI 22]

Abstract

各种深度学习模型已经被开发出来，用于从医学图像中分割解剖结构，但当在另一个具有不同数据分布的目标域上测试时，它们通常表现不佳。最近，人们提出了无监督的领域适应方法来缓解这种所谓的领域转移问题，但其中大多数是针对领域转移相对较小的场景设计的，当遇到大的领域差距时，很可能会失败。在本文中，我们提出了DCDA，一种新型的跨模式无监督域适应框架，用于具有大的域偏移的任务，例如，从OCTA和OCT图像中分割视网膜血管。DCDA主要由一个分解表示风格转移(DRST)模块和一个协作一致性学习(CCL)模块组成。DRST将图像分解为内容成分和风格代码，并进行风格转移和图像重建。CCL包含两个分割模型，一个用于源域，另一个用于目标域。这两个模型使用标记的数据（连同相应的转移图像）进行监督学习，并对未标记的数据进行协作一致性学习。每个模型都专注于相应的单一领域，旨在产生一个实验性的特定领域分割模型。通过对视网膜血管分割的广泛实验，我们的框架实现了从OCTA到OCTA和从OCTA到OCTA的Dice分数接近目标训练的oracle，大大超过了其他最先进的方法。

Method

本文是一篇利用Image-to-Image Translation进行domain adaptation的工作。即，对于视网膜血管分割任务，有两个常用的模态，OCTA以及OCT。由于这两个模态之间的gap，在一个模态上训练的模型会在另一个模态上失效。一种解决方案是将图像从一个模态翻译至另一个模态。本文的框架如下：

由两部分组成，Disentangling Representation Style Transfer Module(DSRT)以及Collaborative Consistency Learning Module(CCL)。

这个DSRT其实照搬的就是DRIT[1]这个翻译网络，没什么好讲的，将图像用编码器编码成内容向量与风格向量，通过风格向量的交换以实现不同域的迁移。

关于CCL，其作用是让翻译好的图像对分割任务有用。比方说，给定由目标域翻译而来的逼真源域图像x^\hat{x}x^，将其送入源域的分割模型FS\mathcal{F}^SFS中，我们希望其分割结果和真正源域图像xxx的分割结果一样好。但是，对于xxx的分割结果，其有GT作为监督以供参考；而x^\hat{x}x^是没有GT的，那么如何评价其分割结果Fx^S\mathcal{F}^S_{\hat{x}}Fx^S的质量呢？

本文的做法是，利用reverse cycle，得到一个在目标域的分割模型FT\mathcal{F}^TFT。x^\hat{x}x^由yyy翻译而来，把yyy送入FT\mathcal{F}^TFT中，也能得到一个良好的分割结果FyT\mathcal{F}^T_{y}FyT。因此只要约束Fx^S\mathcal{F}^S_{\hat{x}}Fx^S与FyT\mathcal{F}^T_{y}FyT一致即可。

这里一个比较矛盾的点在于，进行这一约束本身是需要目标域上预训练模型FT\mathcal{F}^TFT的。但在很多情况下，领域自适应就是为了求一个目标域模型，所以本文的应用场景与意义比较特殊，即，源域和目标域都有标签，使用领域自适应技术来增强已有的源域和目标域模型。

Ref

[1] Diverse Image-to-Image Translation via Disentangled Representations