【论文阅读】3D Topology-Preserving Segmentation with Compound Multi-Slice Representation

2022年3月6日
（本文仅作为本人学习中的记录，如有错误欢迎批评指正。）

文章目录

【论文阅读】3D Topology-Preserving Segmentation with Compound Multi-Slice Representation
一、概述
二、任务背景
三、方法介绍
- 1、整体框架
- 2、Compound Multi-Slice Representations
- 3、Compound Multi-Slice Topological Loss
四、实验结果
五、总结

一、概述

先上论文链接：3D Topology-Preserving Segmentation with Compound Multi-Slice Representation.

对文章结构做一个整体的梳理：

Purpose：提高3D分割结果的拓扑保持性，原有算法基于像素的分割方法，很有可能丢失连通性信息，造成拓扑结构的断裂。现有方法多基于2D图像进行拓扑保持方法的研究（如NIPS2019），拓展到3D图像则存在计算量大的问题。
Methods：使用堆叠的2D切片预测结果来获得3D分割结果是一个直观的观点，但是这种方法将相邻切片视作独立的，没用运用切片间的连续性。因此，本文提出了compound multi-slice representation，核心思想是相邻切片间共享了拓扑关键点，通过多切片表示获得多尺度下的critical points，并通过Loss优化迫使这些critical points预测正确。
Results：与一个多层网络（第 3 列）相比，第 4 列（UNet[1s3s5s]）中的结果断裂较少。最后一列对应于我们提出的系统 Topo-UNet 的结果，与其他网络配置相比，该系统在结构和拓扑方面表现出更好的连接性。
Conclusion：在本文中，提出了一种新方法，将拓扑保持训练扩展到 3D EM 图像，而无需太多额外的计算成本。在分割每个切片时，我们提出的方法使用复合多切片表示来利用相邻切片的信息。相邻切片的拓扑信息也通过复合多切片拓扑损失来使用正确的拓扑进行分割。

二、任务背景

在生物医学图像分析中，生物实体或解剖结构的精确分割对于广泛的临床应用来说仍然是非常关键的一步，例如计算机辅助诊断、疾病筛查和医疗设备的视觉增强。近年来，基于深度学习的方法已经实现了接近人类水平的性能。然而，现有算法大多侧重于像素精度，容易出现结构错误，例如缺少连接的组件和断开的连接。这种结构错误对于精细结构的下游分析可能是致命的。这些结构的拓扑结构承载着重要的语义/功能信息。

对于3D分割，通过叠加2D预测生成3D结果是一个自然的想法。这种方法的主要缺点是切片是独立处理的，而它们的空间连续性是可以利用的。当分割一个切片时，应使用相邻切片的观察结果来阐明具有挑战性的病例，因为连续切片可能具有相似的分割。为了充分利用连续性信息，我们建议学习复合多切片表示。对于每个切片，我们不仅使用其自身，而且使用其相邻切片来学习特征表示。特征表示为沿Z维的多个切片的复合体；它具有复合通道，代表当前切片 (sis_isi)，它本身加上2个紧邻的切片 ( [si−1s_{i-1}si−1，sis_{i}si，si+1s_{i+1}si+1])，它本身加上4个邻近的切片 ( [si−2s_{i-2}si−2，…，si+2s_{i+2}si+2]) 。复合多切片表示携带来自相邻切片的上下文信息。它对噪声具有更强的鲁棒性，并导致对当前切片进行更精确的分割。我们不能简单地使用相邻切片的拓扑作为额外的监督，因为它们可能不适合当前切片。因此，我们提出了一种新的复合多切片拓扑损失，利用多切片表示并提高当前切片的拓扑精度。核心思想是可以在相邻切片之间共享拓扑精度的关键位置。

三、方法介绍

1、整体框架

作者提出的方法如下图所示：

我们用复合网络学习同一切片的特征表示，即使用不同的切片集合作为每个切片的输入。假设感兴趣的切片是第i个切片，记为sis_isi。我们使用三种不同的多切片表示，使用切片本身 ([sis_isi])、切片及其两个相邻的 ([si−1s_{i−1}si−1, sis_isi, si+1s_{i+1}si+1]) ，切片及其4个相邻切片 ([si−2s_{i−2}si−2, · · · , si+2s_{i+2}si+2])。以3切片表示为例，我们使用基于 UNet 的子网络，它将三个切片（si−1s_{i−1}si−1, sis_isi, si+1s_{i+1}si+1）作为输入，并预测切片sis_isi 的前景和背景的似然图，这些似然图被认为是 3-slice (3s) 子网络的表示。类似地，我们可以有 1s 子网和 5s 子网的表示。为方便起见，我们将这些子网络分别称为 UNet[1s]、UNet[3s] 和 UNet[5s]。在训练期间，这些子网络与预测和拓扑损失评估相结合，并进行端到端的训练。

2、Compound Multi-Slice Representations

使用max-projection将概率图UNet[1s]，UNet[3s]和UNet[5s]生成前景概率图。同样，使用max-projection生成背景概率图。通过softmax re-normalization后，得到最终的可能性地图，如图2(b)所示。

3、Compound Multi-Slice Topological Loss

对于单张图像表示，拓扑损失的计算如下图所示：首先对图像概率图进行采样，将概率图采样块中的鞍点和极值（对应了分割图中的断裂）定义为关键点，对关键点处的概率图计算损失：

因此，拓扑损失识别这些拓扑错误相关的关键点，这些关键点对应于困难的位置（例如，模糊的边界区域）。然后它将这些位置的预测推向更接近真实情况的位置。

对于本方法的复合切片表征，由不同的 UNet（UNet[1s]、UNet[3s] 和 UNet[5s]）预测的似然图，我们可以计算这些似然图对应于不正确拓扑的临界点集。将这些临界点集表示为 C1s、C3s、C5s，则拓扑损失为：

在实际操作的时候，为了进一步提高效率，我们只选择发生拓扑错误的patch。特别地，对于每个patch，我们通过比较predict和groundtruth的Betti 数来计算 Betti 误差。Betti数能够计算拓扑结构的数量，例如连接的元素或线条，这样能够提升训练的效率。最后，整体的损失函数是L=LCE+λLmr−topoL = L_{CE} +λL_{mr−topo}L=LCE+λLmr−topo，其中 λ 是拓扑损失的权重。

四、实验结果

数据集：ISBI13（100x1024x1024）、CREMI（125x1250x1250）
数据集划分：80% training、20% testing
图5显示了定性结果。与一个多片网络（第3列）相比，第4列（UNet【1s3s5s】）中的结果是断裂较少的。最后一列对应于我们提出的系统Topo-UNet的结果，与其他网络配置相比，在结构和拓扑方面显示出更好的连通性。

五、总结

本文提出了一种新的将拓扑保持训练扩展到三维图像的方法。当分割每个切片时，我们提出的方法利用相邻切片的信息，使用复合多切片表示。相邻切片的拓扑信息也通过复合多切片拓扑丢失来进行正确的拓扑分割。