MMNet: A multi-scale deep learning network for the left ventricular segmentation of cardiac MRI imag

MMNet: A multi-scale deep learning network for the left ventricular segmentation of cardiac MRI images
期刊：Applied Intelligence 时间：2021年
中科院SCI期刊分区：3区

Abstract

随着深度学习网络模型的发展，医学图像的自动分割变得越来越普遍。左心室腔分割是心脏疾病诊断的重要步骤，但后处理分割是一项耗时且具有挑战性的任务。这就是全自动分割方法可以帮助专家提高效率的原因。受深度神经网络的启发，提出了一种多尺度多跳跃连接网络(MMNet)模型来实现心脏磁共振成像(MRI)图像左心室分割的全自动化，该模型简单有效，在不预先检测左心室定位的情况下具有较高的分割精度。MMNet重新设计了经典的编解码器，充分利用了多尺度特征信息，有效地解决了左心室边缘信息模糊、心脏区域收缩末期分割精度低的分割困难问题。在模型编码阶段，提出了一种应用膨胀卷积的多尺度特征融合模块，从不同的感知领域获取更丰富的语义信息。解码阶段对全尺寸跳跃连接结构进行重构，充分利用从不同层次获取的特征信息进行上下文语义信息融合。同时，在每个加权层之前都使用了预激活模块，以防止出现过拟合现象。实验结果表明，与先进的基准模型相比，该模型具有更好的分割性能。消融实验表明，所提出的模块能够有效地提高分割效果。因此，MMNet是一种很有前途的左心室全自动分割方法。

Introduction

今天，全世界每年约有1750万人死于心脏病，占所有死亡人数的30%。心血管疾病已成为严重威胁人类健康和人类死亡的三大因素之一。心脏成像技术通常用于评估和诊断心脏病。基于计算机的图像分析方法也被广泛应用于心脏的分割和配准，以提取心脏的解剖和收缩功能。利用影像仪器对心脏功能进行分析，为心脏病理生理学和心肌组织的前所未有的特征提供了新的见解。新颖的采集策略与先进的重建技术相结合，可实现高分辨率、真正的3D动态采集[1]。因此，计算机分析已经被证明在降低心血管疾病的死亡率和发病率方面是有效的，它可以帮助临床医生客观地解释医疗状况。

左心室在血液循环和心脏循环中起着重要作用，负责血液在全身的运输。大多数心血管疾病都会影响心脏左心室的生理形态，检查左心室是判断心脏是否患病的重要前提。准确的左心室分割与心室容积、射血分数、左心室质量、室壁增厚和室壁运动异常等临床指标有关。这也是对心脏整体和局部进行定量分析的条件。因此，左心室分割是诊断和治疗心血管疾病的关键步骤[2]。左心室分割的准确性也决定了有关心脏整体结构的可用信息的准确性。在临床实践中，左心室(LV)分割通常由勾画心肌边界的专家来完成。这是一项既耗时又繁琐的工作。在自动化这一过程上付出了大量的努力。然而，要完全、自动、快速地获得可靠和准确的心脏左心室图像仍然是一项具有挑战性的任务[3]。

近年来，MRI已成为一种常见的心脏临床检查方法。与超声相比，MRI结果更准确，因为它们可以准确地定量射血分数，并检查心肌和心脏功能。此外，MRI还可以评估患者的心肌灌注情况和心肌延迟强化的具体情况。然而，在MRI图像上仍然存在影响左心室分割的因素，如以下[1，4-7]：

目前大多数分割模型需要左心室预定位和冗余的学习参数，分割效率较低。
心动周期的不同阶段，左心室的比例不同，需要在不同的尺度上检测目标器官的特征。
心动周期的不同阶段，左心室的比例不同，需要在不同的尺度上检测目标器官的特征。
左心室边缘模糊以及边缘信息与背景像素强度分布的重叠直接影响边缘信息的提取和重建。
不同截面、不同阶段的LV轮廓形状不同，使得模型更难学习。

深度学习方法在计算机视觉领域取得了令人瞩目的成就，卷积神经网络在医学图像分割中也得到了广泛的应用。为了解决心脏MRI图像中左心室的精确分割问题，提出了一种多尺度多跳连接网络(MMNet)模型。我们的主要贡献如下：

该模型不需要预训练和目标器官检测，具有简单、高效、分割精度高的特点。
MMNet模型通过多尺度特征融合改进了特征提取，有效地解决了心脏收缩末期分割准确率低的问题。
提出了一种基于膨胀卷积的多尺度特征融合模块，用于心脏MRI图像的多尺度特征提取。它能有效地提取边缘信息，重建左心室边缘轮廓。
我们重构了一个全尺寸的跳跃连接结构，充分利用了不同层次的特征信息，从而增强了对左心室形状的注意学习。

Related work

随着临床对更准确的左心室分割要求的提高，研究者们开始研究几种左心室分割方法。

在基于形状先验的图割方法中，Mahapatra等人提出了基于形状先验的图割方法。[8]将先验形状信息集成到图形切割框架中。对于每个数据集，先验形状信息与每个像素相对于先验形状和方向角直方图的距离函数相结合，最终的分割结果是强度和形状信息的组合。由于较差的边缘信息和每个患者不同部位之间的较大形状差异，该方法需要包含每个数据集的形状信息，这是低效的。Auger等人[9]使用引导点模型方法实现了三维电影高密度心血管磁共振半自动分割左心室。提出了一种利用密集数据相位图中编码的位移信息对左心室心外膜和心内膜表面进行稳健传播和建模的算法。基于左心室的时空连续性，Wang et al.[10]使用迭代降低阈值的区域生长方法对左心室进行全自动分割。一般而言，上述大多数传统分割方法的鲁棒性较差，并且不是细粒度的[11]。

在基于机器学习的方法中，罗[12]等人提出了基于机器学习的方法,将分层极限学习机(H-ELM)与定位方法相结合，为左心室分割提供了更紧凑、更有意义的特征表示。这种方法需要预先定位左心室，并且不是高度收敛的。曾荫权等人[13]使用一种新的机器学习方法勾勒出左心室(LV)的心内膜和心外膜边界，并对这些边界进行量化。总而言之，大多数机器学习方法往往不适用，计算困难，整体分割效果平平[14]。

近年来，基于深度学习的医学图像处理方法因其优异的特征表示能力而备受青睐。FCN[15]是卷积神经网络在图像分割中的先驱，它用卷积层代替完全连通层，既保留了分割位置信息，又充分利用了深度特征映射。然而，与医学图像分割的要求相比，在精度和稳定性方面还存在差距。近东等人[16]采用基于3D FCN的多路径结构方法对多模态脑肿瘤图像进行分割。它有效地从多幅MRI图像中提取特征信息。2015年，Ronneberger等人提出[17]提出了一种U型网络结构(UNET)，将编解码器应用于细胞和肝脏的分割，通过跳跃连接融合了深层和表层特征。UNET极大地改进了以往的分割方法，在医学图像分割领域取得了突破性进展。许多后来的研究人员也在UNET的基础上对其他器官和组织节段进行了改进。在MICCAI 2017自动心脏诊断挑战赛(ACDC 2017)上，Isensee等人[18]使用改进的2D和3D UNet组合来处理分段，在竞争中获得第一名。Zotti等人[19]提出了一种网格状CNN来提取全局和局部信息，全局特征区分心脏与周围器官，局部特征保证准确分割。Khened等人[20]针对类FCN结构中存在的特征图爆炸问题，提出了一种新的基于FCN结构的高参数、高内存效率的FCN结构，该结构通过结合长跳跃连接和短路连接来实现上采样路径。YANG等人[21]提出了一种包含分割器和鉴别器的扩展块对抗网络(DBAN)。扩展块(EB)捕捉聚合心脏MRI图像的多尺度特征，鉴别器引导分割者修改分割概率图。崔等人[22]使用一种具有输入图像金字塔和深度监督输出层(AID)的注意机制结构，其能够关注各种心脏结构的大小和形状。该注意机制突出了原始图像中期望的特征，抑制了无关区域，有效地提高了心脏分割的准确性。

虽然深度学习方法在分割左心室时可以自主学习特征，而不考虑心脏的生理结构，但它们需要大量由专家医生注释的标记数据。小数据集存在训练不足的问题，这可能导致左心室边缘分割模糊。相反，由于训练集有限，最终得到的模型通常训练不足，导致左心室边缘分割模糊。针对这些不足，本文提出的模型能够在有限的数据集上获得较高的分割精度，并且该方法具有高效、容错和鲁棒性。

Materials and methods

在这一部分中，首先介绍了用于左心室分割的数据源，然后详细介绍了用于该数据集的卷积神经网络模型的体系结构。最后，对参数设置进行了说明。

Data sources

我们使用来自2017年MICCAI挑战赛(ACDC 2017)[23]、MICCAI 2009左心室分割挑战赛(MICCAI 2009)[24]和MICCAI 2018左心室全定量挑战赛(MICCAI 2018)[35]的自动心脏诊断挑战赛数据库。

ACDC 2017数据库[23]在第戎大学医院使用两种不同的MRI扫描仪在六年的时间里从总共150名处于舒张末期和收缩末期的受试者采集了心脏MRI图像。左心室短轴层厚间隔约为5~8 mm，空间分辨率为1.37mm2/−、1.68mm2/像素。该数据库还包括有关测试对象的其他信息(年龄、体重、身高和舒张期-收缩期)。根据病因分为5个亚组：正常人；既往心肌梗死(左心室射血分数低于40%，多个心肌节段收缩异常)；扩张型心肌病(左心室舒张期容积>100ml/m2a和a n e j e c t i/左心室分数小于40%)；肥厚型心肌病(左心室重量大于110g/m2，多个心肌节段舒张期厚度大于15 mm)；肥厚型心肌病(左心室重量大于110g/m2，多个心肌节段舒张期厚度大于15 mm)；肥厚型心肌病(左心室重量大于110g/m2，多个心肌节段舒张期厚度大于15 mm)。

本文使用MICCAI Challage 2017[23]中的整个数据库作为我们的第一个数据集(总共来自100个主题的1922个切片)，图1显示了数据集中的原始图像。正如导言中所描述的，在心脏周期的不同阶段，左心室腔的形状和大小各不相同。心脏MRI图像中存在固有的噪声和伪影。

MICCAI2009[24]的数据库是在加拿大多伦多桑尼布鲁克健康科学中心从45个心脏短轴(SAX)数据集中收集的。病理分4个亚型：缺血性心力衰竭12例，非缺血性心力衰竭4例，左心室充盈4例，正常3例。我们使用了1084个带人工注释的心脏MRI切片作为第二个数据集，并以左心室心内膜为基础。

MICCAI 2018的数据库[35]利用145名临床受试者的训练数据集，使用处理后的SAX MR序列进行模型学习和验证。对于每个受试者，整个心动周期由20帧组成，每帧都提供了所有左室指数的基础真实值。我们使用2900个带手动注释的心脏MRI切片作为第三个数据集，并以左心室心内膜为基础。

Network architecture

我们使用基于二维UNET的多尺度多跳连接网络(MMNet)对MRI图像进行训练。图2描述了网络的总体结构，它由多尺度起始块(MIB)、全尺度跳过连接(FSCS)和预激活模块组成。

首先，我们使用四个MIB从输入的心脏MRI图像中逐层提取多尺度特征，以充分学习左心室位置信息和边界轮廓信息。然后，通过密集块对特征进行压缩以减少冗余。最后，采用全尺度跳跃连接进行多层特征融合，重建左心室轮廓。在每个模块中插入预激活子模块，以来回传播特征信息。

在编解码顺序上，提出了用于多尺度特征提取的扩展卷积起始模块、用于上下文信息融合的预激活模块、瓶颈层和全尺寸跳跃连接结构。

Multi-scale inception block

由于在心动周期的不同阶段，不同检测器的左心室大小和整个切片的比例不同(图1)，我们需要在不同的尺度上检测目标器官的特征；因此，在网络模型中通常使用多尺度推理。在编码阶段，基于不同大小的接受域范围进行多尺度特征融合，以获得高分辨率、语义丰富的特征地图。
在传统的分割模型中，卷积层进行特征提取，然后通过池化和下采样来减小图像大小，以增加感受野，其中池化大小和卷积核大小决定了感受野的大小。如果模型较浅，则很难对模糊边界进行建模。通过堆叠小的卷积核而不是大的卷积核来深化模型可能非常麻烦且计算成本很高，而且通常会导致过拟合问题。PSPNet[26]使用不同大小的合并操作来控制感知场。然而池化层中缺少可学习的参数往往会导致内部数据的丢失和无法重建较小的像素级信息。这一缺点对于最终需要获得原始大小预测图的分割任务来说是严重的。受GoogLeNet[27]并行多分支网络结构的启发，我们提出了一种多尺度起始块(MIB)，在编码阶段应用膨胀卷积进行多尺度特征融合。
膨胀卷积允许通过仅改变扩展率来控制感知领域，同时保持卷积核的大小恒定，并且不增加参数的数量或计算冗余[28]。将膨胀卷积输入设为F：Z²→R，使Ωr=[−r，r]²∩Z²，f：Ωr→R为离散滤波器，并定义卷积运算的展开速率为：

通过2D扩展卷积运算输出的特征地图的大小表示为：

Hout/Wout分别表示输出特征图的高度和长度；Hin/Win分别表示输入特征图的高度和长度；p表示填充；s表示卷积运算的步长。我们的初始结构使用四个3×3卷积核，具有四个扩展率(1，2，4，8)。为了确保在卷积运算之后输出特征地图的大小保持不变，需要将填充设置为等于扩展率大小的值，此时整个卷积的感知场大小为

图3显示了三个扩张的卷曲的感受野的范围。在图3中，起始块获取输入特征图，并将其通过四组平行的扩张卷积通道来提取不同尺度的特征。然后，对四个输出特征图进行通道连接，紧接着使用一组1×1卷积核进行特征融合，其中每个特征图之前都有一个预激活模块。在编码过程中，我们使用四个这样的初始模块和一个最大集合模块的组合作为四个子层的下采样层，初始模块只增加了特征地图通道的数量，而最大集合模块将特征地图的大小减少了一半。

在编码过程中，MIB使用大膨胀卷积隐式学习左心室的位置信息，而小膨胀卷积则执行左心室边缘信息的提取。从特征图中提取的LV边缘信息量随着分辨率的降低而减少，多尺度特征融合使边缘信息得以保留。这对于解决边界模糊和边缘信息与背景像素重叠的问题具有重要意义。同时，MIB可以用更少的参数学习多尺度特征，这非常适合于小数据集，如ACDC 2017[23]和d MICCAI 2009[24]。

Pre-activation module

在深层网络中，数据在每一层的分布各不相同，这可能会使网络训练过程难以收敛。批归一化[29]是在激活函数(REU)对激活函数的输入进行归一化之前使用的，解决了移位和增加数据的影响。凯明等人。[30]重新排列剩余单元中的权重层和激活函数(例如，RELU和/或BN)的顺序，并证明预激活模型可以有效地缓解过拟合现象。

在我们的初始结构中，在每次卷积运算之前使用BN+REU预激活模块，确保所有重层都被归一化。与激活后的结果相比，利用激活前模块并行扩张卷积运算提取的左心室多尺度特征得以保留。然后，所有通道的输出特征图与预激活模块一起重复使用。BN降低了特征复杂度，RELU函数增加了卷积层之间的非线性，降低了参数间的依赖性。对于平均池化，第一次激活可能从原始卷积输出中过滤出负值，导致一些信息丢失。但是，我们在所有网络中都使用最大池化模块，并且在每个最大池化模块之前添加预激活模块不会导致功能信息丢失。该模式提高了网络训练的整体收敛速度，特征信息既可以向前传播，也可以向后传播。整个网络有效地控制了梯度爆炸、梯度消失和过拟合。

Bottleneck layer

与下采样阶段的最后一层相比，瓶颈层包含的节点更少，从而允许特征的降维表示，同时确保特征地图的大小保持不变。受DenseNets[31]的启发，我们使用4层密集块作为瓶颈层，其中密集块中的每一层都使用丢失率为0.5的丢包率操作，以防止网络过度拟合。经过这一瓶颈层后，特征图中的通道数从136个减少到32个，从而减少了网络参数的数量，有助于合理组合特征以消除冗余。最终，产生网络的压缩特征表示。

Full-scale skip connections

UNET对医学图像的精细分割得益于编码器和解码器之间的跳跃连接。它融合了编码器的细粒度特征和解码器的粗粒度语义特征，当两者的特征映射语义相似时，优化器可以处理更简单的学习任务，从而提高了分割效率。DenseNet[31]在编码阶段使用短跳过连接，在训练期间具有稳定的梯度和块状收敛速度，但具有较大的内存占用。UNET++[32]设计了一种密集跳过连接，它使用来自网络所有层的特征来自动学习不同深度的特征的重要性级别，从而缩小编码器和解码器之间的语义鸿沟。然而，UNET++没有充分利用不同图层的多尺度特性。

在许多分割研究中，不同层次的特征图携带不同的语义信息。低层大尺度特征图关注空间信息，突出目标器官边界；高层语义特征图定位目标器官位置。在下采样过程中，为了增强输入图像对扰动的鲁棒性，并执行上采样以恢复图像大小，可能会稀释左心室边界的细粒度细节。因此，我们设计了一种全尺度跳跃连接(FSC)来提高分割精度和加快模型训练。

在图4中，作为第二级采样阶段的全面跳跃连接的示例，X²DE不使用每一层中的特征地图来进行具有不同语义的特征融合。网络第一层的大特征图X¹En包含低层语义信息，需要通过最大拼接模块将特征地图大小缩小两倍，以保证通道连接时具有相同的分辨率。原始UNET中平行层的编码特征图直接连接到解码的特征图通道，而我们的网络在形成连接之前使用了预激活模块和卷积模块。在这种情况下，由于编码特征图X²En来自网络的第二层，因此减小了编码器和解码器之间的语义鸿沟。在并行层下面，跳过连接使用解码的功能映射。如图所示，X³ De、X⁴De和X⁵De分别被扩展两次、四倍和八倍，分别使用反卷积来保证相同的分辨率。将5组特征映射(每组40个映射)按通道连接(总共200个映射)，放置在预激活模块中，然后使用40个3×3卷积核进行卷积运算，得到X²De.。该方法尝试进行特征融合，统一通道数，减少冗余信息。

延伸到所有层，沿着下采样方向标识网络中的第i层，第i层解码器(总共四层)计算如下：

其中，函数G(·)表示特征融合机制，由预激活操作和使用40 3×3卷积核的卷积计算组成；[·]表示通道连接；函数D(·)表示下采样操作，利用最大合并模块(预激活模块+40 3×3卷积核+最大合并层)减小特征图大小；函数C(·)表示平行层(预激活模+40 3×3卷积核)的卷积运算；函数U(·)表示用于增加特征图大小的上采样操作(预激活模+40个去卷积核)。

在分割图重建过程中，LV形状上的特征信息并不全部集中在特征图的最后一层，可能分布在特征图的不同尺度上。通过梯度传播，全尺度跳跃连接可以结合所有层的信息，了解更多关于LV形状特征的信息，以提高分割精度。

Parameter settings

由于输入心脏MRI图像沿Z轴方向的断面间距较大(通常为8 mm)，且不同断面的左心室特征差异较大，因此不能采用三维卷积运算。因此，我们的网络分别处理每个2D切片。对于输入的数据，对所有二维断面进行中心裁剪，使切片大小为240×240，保证了左心室和断面背景像素的类别平衡。

原始ACDC 2017[23]数据集的基本事实包含四种类型的标签，即背景、右心室、心肌和左心室。我们更改标签文件，使右心室和心肌都成为背景的一部分。该模型执行像素二分法的任务。在模型训练过程中，我们使用了类似于交叉熵函数的二分法损失函数：

x表示输出数据，class表示标签数据。该公式包括两个步骤：对数软最大值函数和负对数似然损失计算。

Experiments

Network training settings

我们使用PyTorch深度学习网络框架作为我们的模型训练框架，使用开明初始化来初始化卷积层的权值。我们还使用了ADAM[33]优化器。该方法在NVIDIA RTX2080Ti GPU上进行实验，初始学习率为0.001，每历元衰减0.95%，权值衰减(L2正则化)为1·e−4。

在第一个数据集(ACDC 2017[23])中，我们将100名测试者的心脏MRI图像平均分为10组，每组有来自5种心脏诊断的相同数量的病例。随机选取8个样本作为训练集，1个样本作为验证集，1个样本作为测试集。训练组有90名患者，验证组有10名患者，测试组有10名患者。对于第二个数据集(MICCAI2009[24])，我们随机选择了805个切片作为训练集，279个切片作为测试集。对于第三个数据集(MICCAI 2018[35])，我们随机选择了2030个切片作为训练集，870个切片作为测试集。论文中报道的结果都是在测试集上进行测量的。

本文使用的三个心脏MRI图像数据集相对于自然图像处理的分割任务较小，这可能导致训练不足。我们使用数据增强来解决小数据集的限制。原始图像经过随机处理，包括垂直翻转、镜面翻转、旋转和高斯噪声。这增加了可用于训练的数据量，并补偿了较小的数据集。

我们分别对这两个数据集进行了训练和测试。批处理大小设置为32。经过300个训练周期，我们得到了两个测试集合中所有患者的左心室分割结果。

Evaluation indicators

用于评价医学图像分割方法有效性的最常用的度量是被称为骰子系数(DC)的相似性指数，它是对分割图像的前景像素和基本真实前景像素区域之间的重叠程度的度量。计算方法如下：

R表示真实的预测结果，G表示地面事实。当应用于布尔数据时，可以使用真阳性(TP)、假阳性(FP)和假阴性(FN)来计算DC。本文用DiceEd表示左心室舒张末期的Dice系数，DiceEs表示左心室收缩末期的Dice系数，DiceTotal表示整个左心室的Dice系数。
另一个度量，Jaccard指数，指示分割图像的前景像素和背景真实前景像素区域之间的不相似程度。计算方法如下：

R表示真实的预测结果，G表示ground truth。当应用于布尔数据时，使用真阳性(TP)、假阳性(FP)和假阴性(FN)来计算Jaccard指数。本文用J accardEd表示左心室舒张末的Jaccard指数，J accardEs表示左心室收缩期末的Jaccard指数，J accardTotal表示整个左心室的Jaccard指数。

Hausdorff距离表示一个点集中的点到另一个点集的最短距离的最大值，分割任务中的两个点集是前景像素和地面真实前景像素区域。此指数是形状相似性的度量，计算方法如下：

X表示实际预测结果，Y表示ground truth，sup和inf分别表示上界和下界。在本文中，Hd表示整体左心室的Hausdorff距离，单位为毫米。
我们使用Dice系数和Jaccard指数来分别测量测试组中所有患者在舒张末期和收缩末期的左心室节段。

Experimental results

Training loss comparison

图5和图6显示了在两个数据集实验的前30轮中，MMNet、FCN和基本UNET模型之间的训练损失函数的变化。在相同的训练环境下，MMNet最快达到阈值损失，交叉熵损失收敛到最小值(两个数据集的训练损失相似；FCN为0.0062，UNET为0.0023，MMNet为0.0018)。在相同的训练环境下，MMNet的交叉熵损失收敛到最小值(两个数据集的训练损失相似；FCN为0.0062，UNET为0.0023，MMNet为0.0018)。因此，我们的模型在训练集上的学习效率更高，学习更充分的特征信息的能力更强。

Model evaluation on the test dataset

我们在ACDC 2017数据集[23]上进行了测试，分割结果如图8所示。在这张图中，我们将MMNet的预测图与UNET模型的预测图进行了比较。对于5个病理亚组的Dice系数评估，舒张末期(ED)和收缩末期(ES)心脏的Dice系数均在90%以上，其中ED和ES的平均Dice系数分别为96.2%和93.9%。舒张末期(ED)和收缩末期(ES)的Jaccard指数分别为0.926和0.868，平均Hausdorff距离为7.0.。我们还在MICCAI2009数据集[24]上进行了测试，分割结果如图9所示。4个病理亚组的平均Dice系数为98.0%，4个病理亚组的平均Jaccard指数为96.4%，4个病理亚组的平均Hausdorff距离为5.2。在MICCAI 2018数据集[35]上，测试骰子因子为96.8%，Jaccard指数为93.7%，Hausdorff距离为7.5。实验结果表明，该模型具有较高的分割精度和稳定的分割结果。

如图7所示，我们还计算了FCN、UNET和MMNet在三个数据集上的测试结果。MMNet在所有三个数据集上测试的骰子系数都超过0.95，全面高于其他两个模型。在案例集最全、分割难度最高的ACDC 2017数据集中，MMNet相对于其他模型的改进尤为明显。贾卡德系数的比较比骰子系数的比较明显。

如图8所示，两个UNET模型预测图显示孤立的假阳性器官；UNET判断腹腔中的其他明亮区域为左心室腔，而两个MMNet图都没有显示孤立的分割错误。对于HCM测试受试者，由于收缩末期乳头肌的干扰，左心室腔内有明显的不同亮度区域。分割结果表明，脑室边缘的形状与地面真实情况相符，腔内没有孤立的分割误差。NOR检测器分割结果对比度低，心内膜和心外膜边缘的信息模糊。UNET分割输出与地面真实存在形状差异；然而，我们的分割方法产生了更平滑的边缘。RV探测器切片中存在噪声和运动伪影，插图中舒张末期和收缩末期心室轮廓有显著差异，MMNet仍可进行准确分割。分割效果图表明，该方法成功地区分了心室和背景区域，即使在复杂的脑室中也是如此。

如图9所示，数据集中左心室的分割更容易，MMNet和UNET都能够获得很好的分割结果。得益于MIB块，MMNet的边缘轮廓分割效果优于UNET，左心室边缘更平滑。UNET的分段图在形状上与地面实况略有不同，而MMNet则更接近地面实况的形状。FCN结果分割较差，与地面真实形状相差最大。

Comparison with other approaches on the ACDC 2017 dataset

我们还将我们的结果与其他最先进模型的结果进行了比较，包括FCN[15]、UNET[17]和在线ACDC 2017排行榜[23]的结果。结果如表1所示。在测试数据集上，MMNet在总Dice系数方面明显优于所有其他方法，对于较难分割的心脏收缩末期，分割效果尤其好。排名第一的方法是Isensee等人的方法。使用2D UNET和3D UNET融合的MMNet的舒张末骰子系数比我们的方法略高，但MMNet只使用单一的CNN，获得了最高的总骰子系数；因此，我们的方法排在第一位。

Isensee等人使用的2D和3D UNET融合方法。[18]对于更容易分割的心脏舒张末期，分割效果最好，其中预处理和后处理过于复杂。相应的资源消耗较大，效率降低。MMNet只改变了模型的结构，不会对切片进行太多的预处理。通过迭代训练产生的模型参数可以直接用于心脏MRI切片的自动分割，从而获得更高的分割精度和更高的效率。崔等人[22]引入了一种注意力机制，该机制根据每个预测像素与输入图像中其他像素的相似性来增强或削弱其值，并为每个像素设置一个权重值。注意机制相对增加了学习参数的数量，并且可能不适用于每个网络。左心室分割的总体骰子系数为0.939。UNET++[32]确保编码器和解码器的左心室特征融合和匹配。收缩末期的Dice系数有所改善，总系数为0.938。然而，UNET++没有充分利用每一层的多尺度特性，可以进行裁剪以加快网络融合。Painchaud等人[34]使用后处理方法将无效的心形转换为接近正确形状的形状。但是，这会导致边缘分割结果模糊，总体骰子系数为0.936。最近开发的方法仍然难以准确地分割收缩末期的心脏，我们提出的模型能够以比平均模型高2.5%的精度分割这一时相。

Ablation experiments

为了验证我们方法中模块的有效性，我们设计了网络的几个版本，如表2所示。本部分比较了每个模块对总体结果的影响，并分析了每个模块的作用。

在图10中，切片显示的心肌壁厚度薄且不均匀，左心室边缘轮廓特征难以提取。通过使用多尺度起始块(MIB)，该模型能够有效地提取边缘信息，重建的LV轮廓明显优于未使用MIB的UNET模型。在图11中，切片上显示的心室腔形状不规则，左心室的形状从一个切片到另一个切片变化很小。这就需要更好地配合轮廓，也使得学习正确的形状变得更加困难。通过使用全尺寸跳跃连接(FSC)，一方面模型能够包含更多的形状信息；另一方面，形状与地面实际的拟合程度得到了提高。重建的左心室边缘比UNET模型分割结果更平滑。

图12提供了在不同数据集上与UNET相比的MIB和FSC块提升的统计数据。统计结果表明，多尺度起始块(MIB)和全尺度跳跃连接(FSC)能有效地提高模型在三种不同数据集上的分割能力。总体而言，FSC在骰子和贾卡德系数上的改善程度略高于MIB。这两个模块在ACDC 2017和MICCAI 2009上的表现都特别好。

如表3和表4所示，多尺度起始块(MIB)使原始UNET的总骰子系数提高了2.0%，全尺度跳跃连接(FSC)结构的总骰子系数提高了2.1%。在ACDC 2017和MICCAI 2009数据集上，这些块都能够将Hausdorff距离减少2.0 mm到2.5 mm。如表5所示，在MICCAI 2018数据集上，左心室的分割更容易。然而，与UNET相比，每个块的分割效果都得到了改善，总体上Dice系数提高了约0.3，Hausdorff距离减少了0.7。实验结果表明，我们提出的FSC和MIB都改善了UNET模型的分割效果。下采样阶段的初始模块融合了得到的特征图的多尺度特征，提取了更大范围的左心室特征，提高了分割精度。全尺度跳跃连接最大限度地利用了全尺度特征地图，提高了分割效率。预激活模块保证了分割效果的稳定性。通过使用预激活模块代替激活后模块，我们的模型的整体分割效果提高了0.3%，这也验证了预激活模块的有效性。

Conclusion

本文提出了一种新的左心室分割深度学习模型。由于多尺度特征提取能力和充分利用的全尺度跳跃连接，我们的MMNet模型能够充分学习四种常见心血管疾病患者和正常患者的左心室特征，并基于学习的特征信息自动分割心脏MRI图像中的左心室腔。即使在有限的训练数据集下，ACDC 2017测试集的左室舒张末分割的Dice系数达到96.2%，较难的收缩末期分割的Dice系数达到93.9%，MICCAI 2009测试集的Dice系数达到98.0%，MICCAI 2018测试集的Dice系数达到96.8%。这三个数据集的整体贾卡德指数分别达到0.897、0.964和0.937。三个数据集之间的总体Hausdorff距离分别达到7.0 mm、5.2 mm和7.5 mm。我们通过消融实验验证了我们提出的两个模块都提高了分割精度。在对比实验中，该方法的表现也优于目前最先进的方法。因此，MMNet为帮助医生通过心脏MRI成像诊断心脏病提供了一种有效和准确的解决方案。