Deep learning based registration using spatial gradients and noisy segmentation labels

Théo Estienne, et al. “Deep Learning-Based Registration Using Spatial Gradients and Noisy Segmentation Labels.” MICCAI 2020

Abstract

Image registration is one of the most challenging problems in medical image analysis. In the recent years, deep learning based approaches became quite popular, providing fast and performing registration strategies. In this short paper, we summarise our work presented on Learn2Reg challenge 2020. The main contributions of our work rely on (i) a symmetric formulation, predicting the transformations from source to target and from target to source simultaneously, enforcing the trained representations to be similar and (ii) integration of variety of publicly available datasets used both for pretraining and for augmenting segmentation labels. Our method reports a mean dice of 0.64 for task 3 and 0.85 for task 4 on the test sets, taking third place on the challenge.

code

  • https://github.com/TheoEst/abdominal_registration
  • https://github.com/TheoEst/hippocampus_registration

配准

医学图像配准已经被研究很久了，这个问题依赖于找到一个合适的变形场来扭曲一个图像到另一个图像上，使它们结构上的相同部位尽可能重叠。即，给定一个浮动图像（moving image）IMI_MIM​ 和一张固定图像（fixed image）IFI_FIF​。预测一个位移场（displacement field）uuu，进而得到变形场（deformation field）Φ\PhiΦ，即从浮动图像到固定图像的映射，使得配准后的浮动图像（warped image）IW=IM∘ΦI_W = I_M ∘ \PhiIW​=IM​∘Φ 和固定图像尽可能相似。其中像素位置的变换可以表示为 Φ(x)=x+u(x)\Phi(x)=x+u(x)Φ(x)=x+u(x)。浮动图像又称源图像（source image），固定图像又称参考图像（reference image）、模板图像（template image），变形场又称流场（flow field）、配准场（registration field）、转换（transformation）1。

介绍

随着深度学习的发展，许多基于深度学习的配准方法变得非常流行，提供了非常有效和先进的性能。尽管深度学习在图像配准领域已经做了很多工作，仍然有很多挑战需要解决。为了应对这些挑战，并为基于学习和传统方法的基准测试提供通用数据集，组织了 Learn2Reg 挑战。

主办方提出了四个 Tasks，各有不同的器官和模态。在这项工作中，我们集中在患者间（ inter-patient）2 的两个配准任务：

  • 腹部 CT（Task 03）：这项任务的目的是在病人间配准腹部 CT 扫描。
  • 海马体 MRI 配准（Task 04）：这项任务是将海马体的头部和身体对齐，以便患者间的比较。

在这项工作中，我们的深度神经网络学习如何以类似于3 4 的方式获得空间梯度（spatial gradients ∇Φ\nabla \Phi∇Φ），而不是直接输出变形场（deformation field Φ\PhiΦ）。

为了对变形部分进行建模，一种简单而直接的方法是为每个输出体素生成采样坐标，我们可以让网络直接计算这些采样点。然而，这样的选择需要网络生成具有值范围更大的特征图，这会使训练复杂化。此外，如果没有适当的正则化，可能会产生不平滑甚至不连续的变形。为了规避这个问题，我们采用5 提出的方法并预测变形沿每个维度的空间梯度 Φ 而不是变形场本身。空间梯度 Φ 测量连续像素的位移，通过强制这些位移具有正值并随后沿每个维度应用积分操作，可以检索空间采样坐标。

这项工作的主要贡献在于：

  • 使用相同的网络来预测两个变形场：ΦM→F\Phi_{M→F}ΦM→F​ 和 ΦF→M\Phi_{F→M}ΦF→M​，由于使用了相同的编码器，这隐式地表现了其对称性（symmetric）；
  • 充分利用公开可用的数据集在训练期间加入来自不同器官的噪声标签（伪标签）。

方法

我们的方法是基于这篇文章：Deep Learning-Based Concurrent Brain Registration and Tumor Segmentation， 2020 年 5 月，我们发表在 4 区期刊《Frontiers in Computational Neuroscience》上。

这是我对该文章的精读笔记：【论文精读】DL-Based 脑部医学图像双任务：联合配准和肿瘤分割

我们使用 3D Unet 作为 backbone，有 3 类损失函数：

  • Reconstruction loss（均方差 MSE Loss 或局部互相关 Local-CC Loss）
  • Segmentation loss（变形后的分割标签和 ground truth 分割标签之间的 Dice Loss）
  • Regularisation loss（保证变形场的平滑）