图像分割方法分享 | 基于优选集成ConvNet的脑癌图像分割方法

前言

略。

1 方法

使用单个的神经网络进行图像分割的效果通常精度较低达不到预期，因此笔者对深度神经网络进行优选集成以适应脑肿瘤分割的任务．具体来说，提出了由２个网络组成的轻量级集成方法，每个网络都有选择地在训练集上进行训练．这些网络的输出是在分割肿瘤子区域方面有所不同的分割图，最后将分割图组合起来得到最终的预测．这２个网络的训练细节如下．

1.1 子网络1:3维－ConvNet

集成中使用的第1个子模型是3维－ConvNet。它使用具有加权空洞卷积的多纤维单元进行多尺度表征以用于3维体积分割，如图1所示．另外，对该网络进行微调，以改善分割效果。

在将数据输入网络进行训练之前，使用多种数据扩充技术如裁剪、旋转、镜像等对数据进行增强．使用块大小为128×128，并结合了dice损失和focal损失函数在150个epochs上训练模型．微调的超参数如表1所示。

MRI数据应用零填充，使得原始240×240×155大小的体素被转换为240×240×160，即正好可以被网络整除的深度．一旦准备好数据进行验证，就通过训练好的网络来生成概率图．随后使用这些概率图进行集成以预测最终的结果．

1.2 子网络2:3维－U型ConvNet

集成的第2个子模型是与经典U型－ConvNet体系结构不同的3维U-Net变体，与之不同的是其中的ReLU激活函数被Leaky-ReLU所取代，并使用实例归一化（ｉｎｓｔａｎｃｅｎｏｒｍａｌｉｚａｔｉｏｎ，简称ＩＮ）以代替批量归一化（ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ，简称ＢＮ）．使用其在ＭＢＴＳＣ－２０１９数据集上从零开始训练，如图２所示，其中紫框表示３维卷积单元，红线表示最大池化操作，蓝线表示３线性上采样（ｔｒｉｌｉｎｅａｒｕｐｓａｍｐｌｉｎｇ）操作且橘线表示合并操作．同样对该网络进行微调以改善分割效果．

通过裁剪数据来减少ＭＲＩ大小．然后通过其他异构数据的中值体素空间重新采样，随后进行ｚ－ｓｃｏｒｅ归一化．为了训练网络，使用输入块大小为１２８×１２８×１２８的体素且批量大小为２．在学习时对数据应用不同的图像增强技术如旋转、镜像反转和伽马校正以避免过拟合，从而提高模型的分割精度．使用的损失函数结合了交叉熵损失函数与ｄｉｃｅ损失函数．表２详细说明了训练过程中的超参数.

基于图像块进行验证，其中所有的图像块重叠一半的大小，并且中心附近的体素有一个更高的权重被分配于它们．在测试期间，沿着图像轴进行镜像反转获得了额外的增强数据．３维－Ｕ型ＣｏｎｖＮｅｔ的输出也是用于集成的概率图．

１．３集成方法的细节

笔者提出的集成方法不是通过２个模型生成的预测（即概率图）的简单平均来构建的，而是在进行严格的测试之后提出了一种“优选集成”的策略，此后合并了２个模型的输出，如图３所示．

分别在验证集上测试已经经过训练的网络，从而获得相对应的图像分割结果．其中单个模型的预测是在线上的ＭＢＴＳＣ服务器上独立评估，以确定它们分割肿瘤区域的效果．然后，比较这２个模型的ｄｉｃｅ分数，以确定对于特定的肿瘤区域来说，哪个子网络更加准确，优于另一个子网络．经过实验发现，３维－ＣｏｎｖＮｅｔ在分割增强肿瘤方面表现得更好．同时，３维－Ｕ型ＣｏｎｖＮｅｔ能够更准确地分割肿瘤核心．最后，在整肿瘤的情况下，结合来自２个网络的预测优于独立的分割结果．因此，可以得到３个区域的最终集成方案：（１）对于肿瘤核心，只使用３维－Ｕ型ＣｏｎｖＮｅｔ的输出结果；（２）对于增强肿瘤，只使用３维－ＣｏｎｖＮｅｔ的输出结果；（３）对于整肿瘤，对２个子网络的输出赋予同样的权重．注意到预测阶段是在线上服务器上进行评估，最终得到笔者集成方法的ｄｉｃｅ分数．后面将更详细地讨论这些结果．

1.4 一些技巧的介绍

现对一般的深度网络中不常使用但在笔者方法中应用时效果显著的一些技巧进行介绍：

（1）ｚ－ｓｃｏｒｅ归一化

ｚ－ｓｃｏｒｅ归一化，也叫标准分数归一化，它的形式是一个数与平均数的差再除以标准差的过程，如式（１）所示

其中：μ 为均值而δ 为方差．通过它能够将不同量纲的数据转化为统一量纲的ｚ－ｓｃｏｒｅ再进行比较，从而提高了数据的可比性而最大程度削弱了数据的可解释性，此外它还可以防止协方差矩阵病态，相当于将协方差矩阵转化为了相关系数矩阵，更加不容易受到扰动．

（2）伽马校正

伽马校正就是对图像的伽马曲线进行校准（计算机成像领域惯以屏幕输出电压与对应亮度的转换关系曲线称为伽马曲线）以对图像进行非线性色调编辑的方法．它可以检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果，如式（２）所示，括号里面便为伽马校正的核心．

其中：Ｉｏｕｔ为输出像素值，Ｉｉｎ为输入像素值，ｇａｍｍａ为校正因子．

（3）ｄｉｃｅ分数与ｄｉｃｅ损失函数

ｄｉｃｅ分数是一种用于度量集合相似度的函数，通常用于计算２个样本的相似度，取值范围在［０，１］，如式（３）所示

对于文中的图像分割任务而言，Ｘ表示具有真值标签的分割图像而Ｙ表示预测输出的分割图像，分母表示Ｘ与Ｙ中像素个数总和，分子表示Ｘ与Ｙ的交集的２倍（乘以２以消除分子中重复计算Ｘ与Ｙ交集像素的影响）．而ｄｉｃｅ损失表示为

（4）交叉熵损失与ｆｏｃａｌ损失函数

交叉熵损失函数的形式如式（５）所示

其中：ｄ为由布尔型标签向量，ｙ为浮点型激活函数的输出向量．可见普通的交叉熵对于正样本而言，输出概率越大损失越小．对于负样本而言，输出概率越小则损失越小．此时的损失函数在大量简单样本的迭代过程中收敛比较缓慢且可能无法优化至最优．

ｆｏｃａｌ损失函数改进１

首先在原有交叉熵损失函数的基础上加了一个权重因子，使得更关注于难以区分的样本，其中γ 通常取２．

ｆｏｃａｌ损失函数改进２

ｆｏｃａｌ损失函数还引入了平衡因子α ，用来平衡正负样本之间的比例不均匀．α 的取值范围为０～１，当其为０．５时，可以相对增加ｄ＝１所占的比例，以此保证正负样本的平衡．

２实验结果与分析

2.1 数据集

多模态脑肿瘤分割挑战［１６］（ｍｕｌｔｉｍｏｄａｌｂｒａｉｎｔｕｍｏｕｒｓｅｇｍｅｎｔａｔｉｏｎｃｈａｌｌｅｎｇｅ，简称ＭＢＴＳＣ）是一个用于评估基于机器学习的肿瘤分割方法发展的平台，其中的基准数据集包括为参与者提供的胶质瘤３ＤＭＲＩ图像（ＬＧＧ和ＨＧＧ皆有之）和专业医生注释的真值标签，其中所提供的多模态扫描图像可用于针对特定分割任务［６，１１］神经网络的训练和验证．

使用ＭＢＴＳＣ－２０１９数据集［１６］进行实验．ＭＢＴＳＣ－２０１９数据集是从１９个不同的组织与机构获得的综合数据集，包含每个患者的多模态ＭＲＩ扫描，即Ｔ１加权像，增强扫描Ｔ１加权像，Ｔ２加权像和ＦＬＡＩＲ，它们的肿瘤亚区已被分割．这些数据经过预处理进行归一化：它们的颅骨剥离并对齐以匹配解剖学模板，并以１ｍｍ３的分辨率进行重新采样．每个序列的维度为２４０×２４０×１５５．训练集的示例图像及其相应的真值标签如图４所示，其中对于肿瘤区域的不同模态进行颜色上的区分：增强肿瘤以红色表示，整肿瘤以绿色表示而肿瘤核心以蓝色和红色表示．由图４可以看出，手动的标签值突出了３个肿瘤区域：瘤周水肿、增强肿瘤、坏死和非增强核心．

ＭＢＴＳＣ－２０１９中的训练集被用以训练模型，其中的验证集被用以评估所提出的集成方法．训练集由２５９名ＨＧＧ患者和７６名ＬＧＧ患者组成，皆含有经过专业注释的真值标签．验证集包括１２５个未知患病等级的例子，且真实标签并未面向公众开放．

值得一提的是，笔者提出的方法可以有效提高准确率，但并不像其他一些方法那样，在训练阶段的实验中，笔者没有使用任何外部数据集进行预训练．此外，由于对ＭＢＴＳＣ－２０１９测试集的访问仅限于参与比赛的人员，因此，基于ＭＢＴＳＣ－２０１９的验证集来报告测试结果．首先在验证集上报告所提出集成方法的分割结果，然后将其与现有最先进的方法进行比较．

2.2 实验结果与分析

２个子网络有选择地在ＭＢＴＳＣ－２０１９训练集（ｎ＝３３５）上进行训练，并在提供的ＭＢＴＳＣ－２０１９验证集（ｎ＝１２５）上进行测试，然后通过提出的“优选集成”方法智能地结合这些模型的分割图，并最终给出肿瘤组织类型的最终预测．最终的结果显示笔者的方法用于增强肿瘤分割得到的ｄｉｃｅ分数为０．７４９，用于整肿瘤分割得到的ｄｉｃｅ分数为０．９０５，用于肿瘤核心分割得到的ｄｉｃｅ分数为０．８４７．在图５～７中显示了一个对于ＭＲＩＦＬＡＩＲ的分割结果例子，依次为横切面、冠状切面与矢状切面．对于此例，首先分别从２个子模型中生成分割图，然后显示最终合并的输出结果．对于患者的增强肿瘤、整肿瘤和肿瘤核心的ｄｉｃｅ分数分别为０．９２７，０．９４７，０．９２４．

进一步分析不同的集成技术，以确定这些方法之间是否有差异及确定结果最准确的方法，分析结果列于表３．

Ｕ型ＣｏｎｖＮｅｔ能够更准确地分割肿瘤核心；在整肿瘤的情况下，２个子网络的效果较为接近，且合并结果后有些许的提升．与简单平均相比，所提出的“优选集成”方案具有更好的精度．

2.3 与MBTSC-2019比赛最终排名前３名方法的比较

在MBTSC-2019验证集上评估了笔者提出的优选集成ConvNet方法，然后将其与MBTSC-2019比赛前３名方法的ｄｉｃｅ分数进行比较，结果列于表４．

由表４可以看到，级联Ｕ型－ＣｏｖｎＮｅｔ［２９］在挑战中取得了最好的成绩，笔者的方法所得结果在增强肿瘤方面与其出现了显著的差距，而对于整肿瘤和肿瘤核心的结果差不了太多；比手袋ＣｏｖｎＮｅｔ［３０］有更好的肿瘤核心结果，并且在增强肿瘤和肿瘤核心方面只有很小的差距．同样，与三平面级联ＣｏｖｎＮｅｔ［３１］方法相比，笔者的方法能够更准确地分割肿瘤核心．

2.４与其他方法的结果对比

表５显示了与文献［２３－２７］中方法的比较（按照原文设置在ＭＢＴＳＣ－２０１９数据集上进行验证）．作为对比，对其在训练期间皆没有使用其他外部数据，其中最好的方法表现以下划线表示．

由表５可以看出，除了增强肿瘤，对比其他在整肿瘤和肿瘤核心的网络，所提出的优选集成ＣｏｎｖＮｅｔ可以获得更好的分割结果．不选用表现更好的主干网络作为子网络的原因：首先，从临床医学的观点来看，肿瘤核心与整肿瘤的使用频率和在诊断方面的重要性都大于增强肿瘤的；其次从ＭＢＴＳＣ的规则来看，得分点的重要性，肿瘤核心＞整肿瘤＞增强肿瘤；最后，笔者方法的重点在于验证优先集成的方法，因此在这里“奥卡姆剃刀”也是完全适用的而不必更换为其他更为先进的网络．由此看来，通过对３维－ＣｏｎｖＮｅｔ和３维－Ｕ型ＣｏｎｖＮｅｔ的优选集成，在脑肿瘤图像分割方面呈现了

其高效率，最终达到比同期优秀方法更好的分割精度．

３讨论

笔者提出了一个３维－ＣｏｎｖＮｅｔ和３维－Ｕ型ＣｏｎｖＮｅｔ的集成方法，用于多模态ＭＲＩ数据上的脑肿瘤分割，通过优选集成将２个子网络的输出结合起来，以在ＭＢＴＳＣ－２０１９验证集上获得有竞争力的分类精度．该方法在增强肿瘤、整肿瘤和肿瘤核心方面分别达到０．７５０，０．９０６，０．８４６的平均ｄｉｃｅ分数，优于

目前的许多方法．

虽然该方法在整个肿瘤和肿瘤核心类别上表现良好，但增强肿瘤的分割精度仍需改进．文献［２９］中实施了一种有趣的阈值方案，其中如果增强肿瘤小于设定的阈值，该区域将被坏疽组织取代，此操作显著提高了增强肿瘤类别判定的准确性．目前笔者的工作仍然需要完善：首先，所提出的分割集成目前只在ＭＢＴＳＣ－２０１９的官方验证集上进行评估，后续可以进一步通过测试单独的临床ＭＲＩ数据验证．其次，笔者没有对数据集进行大量的预处理且对结果进行后处理．作为比较，许多文献提出模型通过强度归一

化［３２］和偏差校正［３３］等方案以最小化它们数据的变数．同样的后处理方法，如使用条件随机场［３４］，也被证明了可以提高分割精度．尽管仍有上述需要补足与改善的方面，笔者所提出的优选集成方法仍在多模态区域中表现出高效和鲁棒的肿瘤分割精度．在未来的工作中，除了上述提到的方面，笔者计划在集成中添加一些临床数据以及进一步调整超参数来提高模型的效果．

４结束语

从多模态的磁共振图像中自动而准确地分割脑肿瘤对于相关脑癌的诊断与治疗相当重要．笔者提出了一种优选集成ＣｏｎｖＮｅｔ方法而将在ＭＢＴＳＣ－２０１８上表现良好的３维ＣｏｎｖＮｅｔ与同样在医学分割上表现出色的３维－Ｕ型ＣｏｎｖＮｅｔ网络的分割图进行集成．具体来说，就是对２种模型分别在ＭＢＴＳＣ－２０１９所用的多模态数据集上进行训练，通过分析它们的差异化表现而进行不同的分割路径．最后在验证集上对优选集成方法进行验证，结果表明笔者所提的方法在多模态的肿瘤图像上取得了比同期其他方法更优的精度．

5 参考文献

略。

感兴趣的同学可以去知网上下载此论文。

文章来源：韩兵，王鹏，周毅. 基于优选集成ConvNet的脑癌图像分割方法 [J]. 安徽大学学报（自然科学版）, 2022,46(06)