[翻译+分析总结] nnU-Net for Brain Tumor Segmentation

摘要
我们将nnU-Net应用于BraTS 2020挑战赛的细分任务。未经修改的nnU-Net基准配置已经取得了可观的结果。通过合并有关BraTS的特定修改，这些修改涉及后处理，基于区域的培训，更具综合性的数据扩充以及对nnU-Net管道的一些较小修改，我们能够大幅提高其分割性能。此外，我们还重新实施了BraTS排名方案，以确定哪种nnU-Net变体最适合它所强加的要求。我们的方法在BraTS 2020竞赛中名列第一，全肿瘤，肿瘤核心和增强肿瘤的Dice评分分别为88.95、85.06和82.03，HD95值为8.498、17.337和17.805。

1. 引言

脑肿瘤分割被认为是医学领域中最困难的分割问题之一。同时，通过支持诊断，治疗计划和治疗反应监测[1]，精确肿瘤定位的广泛应用可以显着提高护理质量。此外，肿瘤和相关亚区域的分割允许识别新的成像生物标志物，这反过来又可以实现更精确和可靠的疾病分层[2]和治疗反应预测[3]。

脑肿瘤分割挑战（BraTS）[4,5]为模型开发提供了最大的，完全注释且可公开获得的数据库，是分割方法的客观比较的必然之选。 ***BraTS 2020数据集[6,5,7,8]包含369个训练案例和125个验证案例。验证集的参考注释对参与者不可用***。相反，参与者可以使用在线评估平台3评估他们的模型，并将其结果与在线排行榜上的其他团队进行比较。除了细分任务外，BraTS 2020竞赛还包括生存预测任务和不确定性建模任务。在这项工作中，我们仅参与细分任务。

最近在BraTS挑战赛中获得成功的条目完全基于深度神经网络，更具体地说，是基于具有跳过连接的编码器-解码器体系结构，U-Net首次引入了这种模式[9]。已经介绍了基于U-Net的众多体系结构改进，其中许多还用于脑肿瘤分割的背景下，例如，添加了残余连接[10,11,12,13,14]，密集连接的层[15] ，16,17,18,17]和注意力机制[19,18]。在网络架构的背景下，应突出显示2018年[11]和2019年[12]的获胜贡献，因为它们扩展了编码器-解码器模式，并在辅助任务上训练了第二个解码器以进行正则化。培训计划通常适用于应对脑肿瘤分割任务所带来的特殊挑战。例如，强烈的阶级失衡需要优化的适当损失函数：Dice loss [20,21] and focal loss是常见的选择[23,13,16,18,11,12,24]。由于BraTS使用部分重叠的***整个肿瘤，肿瘤核心和增强的肿瘤***区域来评估片段[4]，因此优化这些区域而不是提供的三个类别标签（水肿，坏死和增强肿瘤）可能对性能有好处[14.23，12.16]。量化数据中的不确定性也被证明可以改善结果[18]。

上面介绍的方法高度专门用于脑肿瘤分割，其开发需要专业知识以及广泛的实验。我们最近提出了nnU-Net [25]，这是一种通用的分割方法，可以为任意生物医学数据集自动配置分割管道。 nnU-Net在测试的23个数据集中的大多数数据集上都设置了最新的技术成果，突显了这种方法的有效性。接下来，我们将研究nnU-Net对脑肿瘤分割的适用性。我们将nnU-Net用作基线算法和模型开发框架。

到此为止介绍了肿瘤分割的重要性和主要任务，然后介绍编解码结构的unet，最后引出nnunet在通用分割任务的优秀，并引出基于此模型针对特定的脑肿瘤任务进行优化。

2. 方法

2.1 模型选择时应用排序

为比赛优化模型常常被误认为等同于针对该比赛中使用的细分指标对模型进行优化。但是，细分指标仅能说明问题的一半：它们在每个图像级别描述模型，而实际排名是基于所有测试案例中这些指标的合并得出的。排序方案可以区分为“先汇总后再排序”和“先汇总后再排序”方法。在前一种方法中，会计算一些汇总指标（例如平均值），然后将其用于排名
参与者们。在后者中，参与者在每个单独的培训案例上排名，然后在所有案例中积累他们的排名。根据用于评估它们的排名方案，可能需要不同的算法特征。例如，在“先汇总后再排序”方案中，中值汇总（而不是均值）对于产生不良预测异常值的算法将更为宽容。我们参考[26]对排名对挑战结果的影响进行综合分析。

BraTS采用“先排序后汇总”的方法，这很可能是因为它非常适合组合不同类型的细分指标（例如HD95和Dice）。实际上，每个提交都为每个测试用例获得6个等级（3个评估区域中的每一个乘以2个细分指标），然后将所有案例和指标的等级平均（参见5）。最终排名由参与算法的数量标准化以形成排名分数，范围从0（最佳）到1（最差）。

针对竞赛使用的排名方案，对具有空的参考分割以增强肿瘤的病例的BraTS评估是针对竞赛所使用的排名方案而定制的：如果参与者在这些情况下预测假阳性体素，则BraTS会为这两个指标指定最差的值（骰子0，HD95 373.13），而正确返回的空分割会产生理想值（骰子1，HD95 0）。因此，增强的肿瘤标记对于所有参与者而言基本上变成了二元：他们要么达到（共享）第一位，要么达到（共享）最后一位。

因此，优化模型以使BraTS评估平台返回的平均合计Dice分数和HD95值最大化可能不是在BraTS竞赛中获得最佳性能的理想替代品。因此，我们重新实现了BraTS竞赛所使用的排名，并使用该排名对我们的模型进行了排名，以选择效果最佳的变体。

这里是在讲针对比赛的评估策略所提出的一种排序评估策略

2.2 nnU-Net baseline

我们的方法基于nnU-Net，这是我们最近提出的用于分割方法配置的全自动框架。关于nnU-Net的详细说明，请参见[25]。

首先，我们在不做任何修改的情况下应用nnU-Net，以便为以后的修改提供基准。 nnU-Net做出的设计选择如下所述。

nnU-Net通过减去平均值并除以标准偏差来归一化每个图像的大脑体素。非大脑体素保持为0。图1显示了nnU-Net生成的网络体系结构。它遵循类似3D U-Net [27,9]的模式，并且由通过跳过互连的编码器和解码器组成连接。 nnU-net不使用任何最近提出的体系结构变体，而仅依靠简单的卷积来进行特征提取。下采样通过跨步卷积执行，上采样通过卷积转置来执行。辅助分段输出（用于深度监控）在除解码器中的两个最低分辨率以外的所有分辨率处分支。输入补丁的大小选择为128×128×128，批处理大小为2。总共执行了五次下采样操作，导致瓶颈处的特征图大小为4×4×4。卷积内核的初始数量设置为32，每次下采样时将其翻倍，最多可达到320。解码器中的内核数量与编码器成镜像。泄漏的ReLUs [28]被用作非线性。实例归一化[29]用于特征图归一化。

训练目标是Dice [21,20] and cross-entropy loss.的总和。该损失作用于三类标记的水肿，坏死和增强肿瘤。 nnU-Net使用随机梯度下降法，其初始学习率为0.01，而Nesterov动量为0.99。训练总共运行1000个时期，其中一个时期定义为250次迭代。如[30]中所述，学习率随多项式进度表而衰减。从随机选择的培训案例中裁剪培训补丁。在训练过程中会实时应用数据增强（另请参见[25]中的补充信息D）。

2.3 BraTS-specific optimizations

除了将其作为高质量的标准化基准和现成的细分工具之外，我们还宣传nnU-Net作为方法开发的框架。为了强调nnU-Net广泛功能的这一方面，我们选择了有前途的BraTS特定修改，并将其集成到nnU-Net的配置中。

基于区域的培训提供的培训标签为“水肿”，“非增强性肿瘤和坏死”和“增强性肿瘤”。但是，分割的评估是在三个部分重叠的区域进行的：整个肿瘤（由所有三个类别组成），肿瘤核心（非增强型和坏死性+增强型肿瘤）和增强型肿瘤。先前已经显示[14,23,12,16,18,11]，直接优化这些区域而不是单个类别可以提高BraTS挑战的性能。为此，我们将网络架构中的softmax非线性替换为S形，并将优化目标更改为三个肿瘤子区域。我们还用二进制交叉熵替换了交叉熵损失项，该二进制交叉熵独立地优化了每个区域。

这里就是在说将原始分割里面的像素点多分类，转为三通道的二分类。

后处理
当用于增强肿瘤的参考细分为空时，BraTS评估会授予Dice得分为1的零次假阳性预测（否则，Dice会因被0除而无法定义Dice），因此将相应的算法置于（共享的）第一等级中该测试用例，区域和指标。可以利用此方法来提高提交方法的平均排名，从而提高其在挑战中的总体排名。如果预测的体积小于某个阈值，则通过完全去除增强的肿瘤，可以以Dice得分为0（以及相应的最差排名）的其他一些情况为代价，积累更完美的排名。即使这种策略具有消除某些真实的积极预测的副作用，但净收益仍可能超过损失。切除的增强型肿瘤被坏死替代，以确保这些体素仍被认为是肿瘤核心的一部分。我们两次优化训练集交叉验证的后处理阈值，一次是通过最大化平均Dice得分，一次是通过最小化内部BraTS式排名中的排名得分。每当我们提供后处理结果时，我们都会选择最佳值，即使该值是通过相反的选择策略实现的。

暂时没想明白如何代码实现的

2.4 更多的nnunet修改

批次大小增加
在过去的几年中，BraTS数据集的大小持续增长。 nnU-Net使用的批处理量较小，会产生更嘈杂的梯度，这可能会减少过度拟合的情况，但同时也限制了模型拟合训练数据的准确性。对于较大的数据集，增加批次大小（偏差方差折衷）可能是有益的。为此，我们修改了nnU-Net的配置，以将批次大小从2增加到5，以提高模型的准确性。

数据增强可以有效地用于人为地扩大训练集。尽管nnU-Net已经使用了广泛的主动数据增强技术，但我们仍在使用更具攻击性的增强，以提高模型的健壮性。 使用batchgenerators框架，可以在训练过程中即时应用所有增强功能。相对于nnU-Net基准，我们进行了以下更改：

将应用旋转和缩放的可能性从0.2增加到0.3。 –将比例范围从（0.85，1.25）增加到（0.65，1.6）
–分别为每个轴选择比例因子
–使用概率为0.3的弹性变形
–使用可能性为0.3的加性亮度增强–增强Gamma增强的积极性

批处理规范化在参与M＆M挑战7时，我们注意到可以使用更具侵略性的数据增强来有效地缩小与其他扫描程序的域差距，但前提是必须与批处理规范化（而不是实例规范化）结合使用（此处提供结果8），我们的论文尚不可用）。在BraTS中，测试用例的Dice得分通常低于训练和验证数据集上的报告值，这使我们认为测试集与训练和验证集之间可能存在领域差距。这表明对于BraTS采取这种策略也可能是有益的。

批次骰子骰子损失的标准实现独立计算迷你批次中每个样本的损失，然后平均批次中的损失（我们将其称为样本骰子）。带有注释的体素的样本中的小错误可能会导致较大的梯度，并在训练过程中控制参数更新。如果这些错误是由于模型的不正确预测引起的，则需要这些较大的梯度将模型推向更好的预测。但是，如果模型预测准确且参考分割不完善，则这些大梯度将在训练过程中适得其反。因此，我们实现了不同的骰子损失计算：不是单独处理小批量中的样本，而是计算批次中所有样本的骰子损失（假设它们只是单个大样本，我们将其称为批次骰子）。由于以前只有很少注释的体素的样品现在被同一批次中的其他样品所遮盖，因此这可以有效地调整Dice的损失。