ADN: Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction

  • 文章简述
  • 一、前言
    • （一）动机
    • （二）解决思路
  • 二、方法
    • （一）总体框架
    • （二）encoder-decoder
    • （三）损失函数
      • 1. 对抗损失
      • 2. 重建损失
      • 3.伪影一致性损失
      • 4. 自还原损失
    • （四）网络结构
  • 三、实验
    • (一）对比实验
    • （二）实验数据
    • （三）实验结果

由于本人刚接触MAR领域，有错误之处，烦请指出，十分感谢。

文章简述

该文章是第一篇无监督去除金属伪影的方法：

LIAO, HAOFU, LIN, WEI-AN, ZHOU, S. KEVIN, et al. ADN: Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction[J]. IEEE Transactions on Medical Imaging,2020(3). DOI:10.1109/TMI.2019.2933425.

文章贡献：提出无监督网络——伪影分离网络ADN去除伪影，该网络可以从潜在空间的CT图像中分离金属伪影。ADN支持不同形式的生成（伪影减少、伪影转移和自我重建），可以避免使用合成数据进行监督。

一、前言

（一）动机

为什么提出无监督去除金属伪影？
因为有监督方法需要用到成对的图像，即不含金属伪影的图像(artifact-free image)和含金属伪影的图像(artifact-affected image)。而在临床中，获得足够的成对图像是十分困难的，因此之前有很多工作都是基于合成伪影图像来进行有监督学习，但是这些合成伪影图像不一定能够真实的反应金属伪影的属性，这也导致有监督方法在临床应用中的性能往往会下降。

（二）解决思路

将任何受金属伪影影响的图像（artifact-affected image)都由伪影部分（即金属伪影，噪声等）和内容部分（即解剖结构）组成，如下图所示。然后在潜在空间将这两个部分进行分离，从而完成伪影的去除。
具体地，将CT图像分为两组，一组有金属伪影，一组没有金属伪影。通过引入一种诱导性偏差（inductive bias)，模型通过比较这两组的内在信息分离伪影。

上图中，Ia表示的是含金属伪影的集合(artifact-affected domain)，I 表示的是不含金属伪影的集合(artifact-free domain)，xa,ya 指含金属伪影的图像; x, y 指不含金属伪影的图像。A和C分别表示伪影部分和内容部分，由于xa 含金属伪影，因此可以将它映射到A和C；由于x不含金属伪影，因此只能将它映射到C。

二、方法

题外话：金属伪影去除也可以被认为是image-to-image translation. 最早的广为认知的无监督学习的image-to-image translation方法是CycleGAN.

（一）总体框架


上图为伪影分离网络（ADN）的总体框架图，xa 和 y 分别来自含金属伪影的图像和不含金属伪影的图像，这两者作为输入，ADN支持 Ia 和 I 之间的相互转换。

假设成对图像可以用以下式子表示：

那么 f 就表示从含金属伪影空间到不含金属伪影空间的映射关系，即去除金属伪影部分，在这篇文章中，作者没有用成对的图像来寻找这种映射关系，而是用不成对的图像进行学习。

如图1所示，由于xa 含有金属伪影，因此可以将它编码至A空间和C空间，就有 cx 属于C空间，理想状态下，cx 不包含金属伪影，并且应该囊括图像所有的结构信息。因此对 cx 进行解码就可以得到不含金属伪影的图像 x。另一方面，可以把不含金属伪影的图像 y 编码到C空间，称为 cy（无法编码到A，因为本身不含金属伪影），再将 cy 和A空间的信息 a 同时进行解码，就可以得到含金属伪影的图像 ya。

（二）encoder-decoder

核心：encoder将图像从图像域映射到潜在空间，decoder将code从潜在空间映射回图像域。

为了完成图像到伪影域A和内容域C之间的相互转换，主要有下述encoder和decoder：

  1. 对于伪影图像：编码器EcIa 将伪影图像 xa 编码到C空间，得到仅含图像解剖结构的cx，再通过生成器GI将cx解码，可生成得到无伪影的图像ˆx；此外，有EaIa将伪影图像编码到A空间，得到仅含伪影部分的 a。
  2. 对于无伪影图像：编码器EI将无伪影图像y编码到C空间，得到cy，再通过生成器GI将cy解码，得到不含金属伪影的ˆy，此过程实际为图像 y 的重建。
  3. 上述解释了 xa 图像去除伪影后得到图像 ˆx 和 y 图像重建得到 ˆy 的过程。而对于ˆxa的生成，则是通过xa在伪影域和内容域的信息（分别为a和cx）共同进行编码实现的，由于ˆxa 本身包含伪影信息和内容信息，此过程只是xa的自我重建；而对于ˆya ，则是通过xa在伪影域的信息和 y在内容域的信息（分别为 a 和 cy）共同进行编码实现，此过程给图像y添加了伪影。

用公式表示为：

xa 和 y 分别表示含金属伪影的图像和不含金属伪影的图像，EcIa表示将含金属伪影的图像编码至内容域C，EaIa表示将含金属伪影的图像编码至伪影域A，EI表示将不含金属伪影的图像编码至内容域C。

第一个式子表示利用xa的内容信息cx和伪影信息a重新生成图像；第二个式子表示利用y的内容信息cy和xa的伪影信息a重新生成图像。

上述表示重新对仅含解剖结构的信息（不含伪影信息）重新进行解码，得到不含金属伪影的图像。

上述表示将含有金属伪影的图像 ˆya 编码至C空间，并进行重建。

（三）损失函数

对于此网络，实际上完成金属伪影去除只需要以下这一条路线（称为translation)：

然而，由于没有成对的数据，这一过程是十分困难的，因此需要用的剩下的途径来约束这一转换，从而消除成对数据的要求。
而约束这一转换，便需要用到其他路径的损失函数，损失函数与图像之间的关系如下图所示：

以上共包括5种损失，分别为2种对抗损失，伪影一致性损失 Lart ，重建损失 Lrec，自还原损失 Lself/Lcycle ，总损失如下式所示：

1. 对抗损失

xa生成得到不含金属伪影的图像 ˆx，y生成得到含金属伪影的图像 ˆya，可借鉴于对抗生成的视角，求得它们的对抗损失，即：

2. 重建损失

重建损失就是把xa图像和y图像进行重建，这是为了避免在编码和解码过程中出现信息丢失或引入二次伪影。

3.伪影一致性损失

对抗性损失鼓励 ˆx与 I 中的样本相似，但这样只能保证 ˆx 的解剖结构合理，但可能并不精确，因此引入伪影一致性损失，使图像不论是否存在金属伪影都是相似的。

4. 自还原损失

y的自还原损失，即从添加金属伪影，到去除伪影，这一还原过程。

（四）网络结构

该网络包含五种不同类型的模块。

残差、下采样和上采样块是编码器和解码器的核心块。下采样块（图4b）使用跨步卷积来降低特征映射的维数，以提高计算效率。与最大池层相比，步进卷积自适应地选择用于下采样的特征，这对生成模型显示了更好的性能。
剩余块（图4a）包括剩余连接，以允许在计算高级特征时考虑低级特征。这种设计显示了深层神经网络的更好性能。上采样块（图4c）将特征映射转换回其原始尺寸，以生成最终输出。此外，使用上采样层（最近邻插值）和卷积层进行上采样。选择这种设计，而不是反褶积层，以避免“棋盘”效应。编码器和解码器块中所有卷积层的填充都是反射填充。它在生成的图像边缘提供了更好的效果。
伪影金字塔解码（APD）：基于金属信息和内容信息合成含金属伪影的图像，从而有效低恢复伪影的细节。其结构如下图所示：

三、实验

(一）对比实验

该方法与以下方法进行了比较：

(1) 传统方法：

  1. LI：
    W. A. Kalender, R. Hebel, and J. Ebersberger, “Reduction of ct artifactscaused by metallic implants.”Radiology, vol. 164, no. 2, pp. 576–577,1987.
  2. NMAR：
    E. Meyer, R. Raupach, M. Lell, B. Schmidt, and M. Kachelrieß, “Normalized metal artifact reduction (nmar) in computed tomography,” Medical physics, 2010.

(2) 有监督深度学习：

  1. CNNMAR：
    Y . Zhang and H. Y u, “Convolutional neural network based metal artifact reduction in x-ray computed tomography,” IEEE Trans. Med. Imaging, vol. 37, no. 6, pp. 1370–1381, 2018.
  2. UNet:
    O. Ronneberger, P . Fischer, and T. Brox, “U-net: Convolutional networksfor biomedical image segmentation,” inInternational Conference on Medical image computing and computer-assisted intervention, 2015.
  3. cGANMAR
    J. Wang, Y . Zhao, J. H. Noble, and B. M. Dawant, “Conditional generative adversarial networks for metal artifact reduction in ct images of the ear,” inMedical Image Computing and Computer Assisted Intervention MICCAI 2018, 2018.

(3) 无监督深度学习：

  1. CycleGAN：
    J.-Y . Zhu, T. Park, P . Isola, and A. A. Efros, “Unpaired image-to-image translation using cycle-consistent adversarial networks,” inThe IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2017.
  2. MUNIT：
    X. Huang, M. Liu, S. J. Belongie, and J. Kautz, “Multimodal unsupervised image-to-image translation,” inComputer Vision - ECCV 2018, 2018.
  3. DRIT：
    H. Lee, H. Tseng, J. Huang, M. Singh, and M. Yang, “Diverse image-to-image translation via disentangled representations,” inComputer Vision- ECCV 2018, 2018.
  4. DIP：
    D. Ulyanov, A. V edaldi, and V . S. Lempitsky, “Deep image prior,” inThe IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

（二）实验数据

该文章在一个合成数据集和两个临床数据集上评估了所提出的方法，分别将它们称为SYN、CL1和CL2。对于SYN数据，从DeepDescence中随机选择4118个无伪影的CT图像，并按照CNNMAR中的方法合成金属伪影。对于CL1和CL2数据集，分别将它们分为两组，即含金属伪影和不含金属伪影。

注意：对于LI，MAR和CNNMAR方法，需要用到投影数据，由于SYN，CL1和CL2都不具有投影数据，因此借鉴于CNNMAR文章中的方法，直接用正投影合成投影数据。

（三）实验结果

以下为SYN数据集的结果：

CL1和CL2数据集的结果：

CL1的定性评估结果如图7所示。在这里，所有受监督的方法都使用从CL1的无伪影组合成的成对图像进行训练。可以看到，当应用于临床图像时，UNet和cGANMAR不能很好地推广（图7f和7G）。LI、NMAR和CNNMAR在纠正投影域中的伪影时更具有鲁棒性。然而，投影域校正也引入了二次伪影（图7c、7d和7e）。对于更具挑战性的CL2数据集（图8），所有有监督的方法都失败了。因为由于缺乏无伪影的CBCT图像，监督方法仅使用CT图像进行训练。由于CL2的金属植入物不在成像视野内，因此没有可用的金属痕迹，并且基于投影插值的方法不起作用（图8c、8d和8e）。与SYN的情况类似，在CL1和CL2数据集上评估时，其他无监督方法也表现出较差的性能。相比之下，ADN在不引入二次伪影的情况下显著去除了暗阴影和条纹。

消融实验：

关于损失函数的消融实验，从下图可以看出包含4种损失的PSNR和SSIM最高，网络性能更好。

ADN: Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction相关推荐

  1. ADN: Artifact Disentanglement Network forUnsupervised Metal Artifact Reduction--无监督的CT重建

    本文提出了第一个无监督的金属伪影去除方法,具体地说,它引入了一种新的伪影解缠网络,该网络将金属伪影从潜伏空间的CT图像中解缠.它支持不同形式的生成(伪影减少.伪影转移和自我重建等).该模型实现了比现有 ...

  2. 深度学习——Metal artifact reduction

    原论文:Metal artifact reduction on cervical CT images by deep residual learning 1.主要内容:提出了基于卷积神经网络的残差学习 ...

  3. 【论文阅读】Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift

    Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift SUMMARY@ 2020 ...

  4. Artifact xxx:war exploded: Error during artifact deployment.

    Artifact xxx:war exploded: Error during artifact deployment. 出现这个问题,在网上查资料, 1.说是idear 配置的tomcat Arti ...

  5. Artifact xxx:war exploded: Error during artifact deployment

    Artifact xxx:war exploded: Error during artifact deployment ssm整合遇到这个问题,有一个可能是tomcat部署出问题,重新部署一下即可 参 ...

  6. 【读论文】A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time...

    目录 1. 这篇文章的主要研究内容 2. MSCRED Framework 1. Problem Statement 2. Overview (1)Characterizing Status with ...

  7. JavaWeb Servlet遇到的问题Artifact Servlet06:war exploded: Error during artifact deployment

    使用Tomcat的时候,遇到 Artifact Servlet06:war exploded: Error during artifact deployment. 通过码农的经典学习方法--面向百度编 ...

  8. idea构建tomcat、web服务中出现 Artifact test_online:war exploded: Error during artifact deployment

    Artifact test_online:war exploded: Error during artifact deployment 问题 解决方法 进行tomcat的edit configurat ...

  9. 【当Idea出现Artifact xx:war exploded: Error during artifact deployment. See server log for details】

    Tomcat:Artifact xx:war exploded: Error during artifact deployment. See server log for details. 锁定问题 ...

最新文章

  1. 马斯克“做空”特斯拉
  2. 爬虫之Selenium
  3. 10个用于处理日期和时间的 Python 库
  4. 同盟与对抗：谈《少女杜拉的故事》中的治疗关系（转）
  5. python的open方法_Python os.open() 方法
  6. 德国巴伐利亚山谷积雪遍地 汽车被大雪掩埋
  7. UOJ#351-新年的叶子【树的直径,数学期望】
  8. pandas 0.22导入错误
  9. Oracle相关练习
  10. Python学习笔记-2017.8.08
  11. HTTP权威指南-学习笔记（三）HTTP方法，状态码
  12. python简介pdf_Python以及QuTip包简介.PDF
  13. 网页特效代码大全网址
  14. Spring事务原理分析(二)--@Transactional事务属性的解析
  15. oracle goldengate director,Oracle GoldenGate Director安装和配置
  16. C++中类的三种继承方式public（公有继承）、protected（保护继承）、private（私有继承）之间的差别（附思维导图）
  17. windows开启远程Wmi服务支持
  18. 另一种blast2go的思路
  19. Yara、Snort和Sigma规则
  20. Java开发笔记（二）Java工程的帝国区划

热门文章

  1. 公众号开发精品教程(2)——将项目接入微信及简单交互
  2. 创维电视显示连接服务器失败怎么回事,创维电视显示已连接路由器，却无法联网-创维电视连接路由器显示连接失败...
  3. linux批量替换文件内容
  4. SDRAM突发读写注意
  5. 华为项目管理工具与模板运用
  6. 每天一个小技巧【5】·数位板笔刷压感设置
  7. 彩条屋救不了光线传媒
  8. 浙大 java语言程序设计编程答案,浙大《Java语言程序设计》编程答案4
  9. java调用金蝶云接口_调用金蝶web api
  10. Android 语音输入API使用