摘要

深度卷积神经网络（CNN）在二维医学图像分割方面取得了显著的成功，但由于其复杂的解剖结构等诸多相互影响的挑战，使得CNN从三维医学图像中分割重要的器官或结构仍然是一项艰巨的任务。立体图像中的环境、三维网络的优化难点和训练样本的不足。本文提出了一种新颖、高效的三维全卷积网络，该网络具有三维深度监控机制，可以全面解决这些挑战，我们称之为三维DSN。提出的三维DSN能够进行体对体学习和推理，消除了冗余计算，降低了对有限训练数据过度拟合的风险。更重要的是，三维深度监控机制能够有效地解决三维深度模型训练时梯度消失或爆炸的优化问题，加快收敛速度，同时提高识别能力。这种机制是通过导出一个直接指导网络中上下层训练的目标函数而发展起来的，以便在训练过程中抵消不稳定梯度变化的不利影响。我们还采用一个完全连接的条件随机场模型作为后处理步骤来细化分割结果。我们在两项典型但具有挑战性的容积医学图像分割任务中广泛验证了所提出的3D DSN：（i）3D CT扫描的肝脏分割；（ii）3D MR图像的整个心脏和大血管分割，通过参与MICCAI。在这两个挑战中，我们以更快的速度取得了与最先进方法相竞争的细分结果，证实了我们提出的3D DSN的有效性。

1.Introduction

It is still a difficult task for CNNs to segment objects from 3D medical images owing to the following mutually affected challenges.
First, the 3D medical images have much more complicated anatomical environments than 2D images, and hence 3D variants of CNNs with much more parameters are usually required to capture more representative features.
Second, training such a 3D CNN often confronts various optimization difficulties, such as over-fitting, gradients vanishing or exploding, and slow convergence speed. Third, the inadequacy of training data in many medical applications makes capturing distinctive features and training a deep 3D CNN even harder.
在本文中，我们提出了一种新颖高效的三维CNN，它具有全卷积结构和三维深度监控机制，全面解决了体医学图像分割的这些挑战。我们简称它为3D DSN。
我们的贡献总结如下:
首先，我们开发了一个具有3D反卷积层的3D完全卷积体系结构，以将粗糙特征体积桥接到体素级分割任务的密集概率预测。该架构能够消除基于块的方法的冗余计算，并实现体积到体积的学习和推理。此外，逐体元误差反向传播大大扩展了训练数据库，从而降低了在有限训练数据上过度拟合的风险。
我们进一步提出了一种三维深度监控机制，通过构建一个直接指导上下两层训练的目标函数，来加强网络内梯度流的阻碍(暂停)，从而学习更强大、更具代表性的特征。该机制可以同时加快优化过程，提高模型的识别能力。
我们在两项典型但极具挑战性的容积医学图像分割任务上广泛验证了我们提出的3D DSN：（i）3D CT扫描的肝脏分割；（ii）3D MR图像的心脏和大血管分割，通过参与两项著名且有影响力的挑战：证明了所提出的三维DSN的有效性和泛化能力。

2.Related work

2.1 用于体积结构分割的CNNs

基于cnn的体积医学图像分割算法可以大致分为两类，即，基于二维CNN和基于三维CNN的方法。
基于二维CNN的方法通常是逐片分割体积CT或MR数据。
几个三维的体到体分割网络，包括3D U-Net (Cicek et al.， 2016)、V-Net (Milletari et al.， 2016)、I2I-3D (Merkow等，2016)和VoxResNet (Chen等，2017)。
3D U-Net将2D U-Net扩展为3D版本，其具有抽象特征的分析路径和产生全分辨率分割的合成路径。在分析和合成路径中在相等分辨率的层之间建立快捷连接。
V-Net将架构划分为多个阶段并整合了剩余连接。 V-Net接受了基于新的基于Dice系数的目标函数的训练，以处理分类不平衡情况。
VoxResNet深刻借鉴了2D深度残差学习的精神（He et al。，2016），构建了一个非常深的3D网络。进一步利用多模态输入和多级上下文信息来产生最先进的脑分割结果。
i2i-3d是与我们最相似的工作，提出了血管边界检测。为了定位小血管结构，通过混合层设计了复杂的多尺度相互作用，混合层将上下两层的特征连接起来，经过1×1×1的卷积。i2i-3d包括通过侧输出的全面、密集的辅助监督，分享了谢和图（2015）的思想。不同的是，我们的方法采用稀疏的监督方式，可以大大减少网络参数的规模和计算工作量。此外，我们通过将侧输出和最终输出作为一元潜力汇总到一个CRF模型中，隐式地将多尺度信息合并到一个CRF模型中。

2.2 肝脏分割

最近，CNN已经被用于自动肝分割（Christ等人，2016），这是基于具有3D条件随机场模型的二维CNN架构。

2.3 整个心脏和大血管分割

心脏分割的最新进展是专注于CNNs，它以数据驱动的方式分层提取表示，例如Tran(2016)使用全卷积网络(FCN)，Wolterink等人(2016)使用空洞卷积神经网络。

3.Method

图1.所提出的3D DSN的结构（以3D肝脏分割为例），具有中间特征体积，深层监督层预测和最终层评分体积在彩色图中可视化。

为了实现高效的端到端学习和推理，我们首先开发了一个三维全卷积网络，使每个体素误差在训练过程中反向传播，并在测试过程中直接输出与输入量大小相等的预测量。更重要的是，我们提出了一种三维监控机制，并将其无缝地集成到全卷积网络中，以应对训练数据有限的深层网络在训练时遇到的优化难题，从而加快收敛速度，提高识别能力。在三维DSN生成的分数体积上，采用完全连通的条件随机场模型，得到分割结果。

3.1 3D CNN

3D CNN的组成部分是3D卷积层和3D子采样（即，最大池化）层，它们依次作为一个层次结构进行叠加。在每层中包含神经元激活的特征图是一组3D张量; 我们将在下文中将它们称为特征量。

3.2 3D体分割的端到端学习

全卷积网络(FCN)成功地消除了基于块(patch)方法中由于重叠而导致的冗余计算。
反卷积操作使得特征图扩大。
当我们从整幅图像中随机裁剪训练patch时，我们可以将输入的所有空间分量看作一个训练小批量，进行随机梯度下降。
除了计算效率的优势，端到端学习也有利于优化过程。以前的基于块的方法将损失限制在空间位置的随机抽样子集内，而将一些位置排除在梯度计算之外。相比之下，我们的端到端训练与逐体元误差计算将大大扩大等效训练数据库。最终，严重过拟合的风险可能会得到潜在的缓解，这对于许多面临训练数据不足困难的医疗应用程序来说是至关重要的。端到端网络在存储消耗方面也是经济的，因为patch是在线裁剪的，不需要预先保存训练样本。

3.3 3D深度监控机制

为了抵消梯度变化不稳定的不利影响，我们提出利用显式监督来训练全卷积网络中的隐层。具体来说，我们首先使用额外的反卷积层来扩展一些较低级别和中级别的特征卷。然后，我们在这些全尺寸特征量上使用softmax函数，并获得额外的密集预测。对于这些分支预测结果，我们针对ground truth计算它们的分类误差（即，负对数似然）。这些辅助losss与最后一个输出层的loss相结合，以激励梯度的反向传播，以便在每次迭代中更有效地更新参数。
我们将其特征量直接连接到最后一个输出层的层称为主流网络。设wl是主流网络的第l（l = 1,2，…，L）层中的权重，我们用W =（w1，w2，…，wL）表示主流网络中的权重集合。用p（ti | xi; W）表示在最后一个输出层中softmax函数之后的体素xi的概率预测，负对数似然loss可以表示为：

其中X表示训练数据库，ti为体素xi∈X对应的目标类标签。
另一方面，我们把产生辅助密集预测的层称为分支网络。深度监控正是通过这些分支网络引入的。为了从第d隐藏层引入深度监督，我们用Wd =（w1，w2，…，wd）表示主流网络中前d层的权重，并使用w^ d来表示桥接第d层的权重特征量到密集预测，然后深度监督的辅助loss可以表示为：

最后，我们通过最小化以下总体目标函数，使用反向传播算法（LeCun等，1989）来学习权重W和所有w^ d：

其中ηd是Ld的平衡权重，它在学习过程中衰减，D是所有隐藏层的指标集，它们都配备了深层监督。第一项对应于最后一个输出层中的输出预测。第二项是深度监督。第三项是权重衰减正则化，λ是权衡超参数。在每次训练迭代中，网络的输入都是大容量的数据，同时对这些不同loss分量的误差进行反向传播。

3.4 使用条件随机场进行轮廓细化

4.实验数据集和材料

4.1 肝脏数据集

数据集由30个CT扫描组成，20个用于训练和10个用于测试。
我们将CT图像的强度标准化为[0,1]的范围。在训练过程中，我们随机裁剪尺寸为160×160×72的patch，并在横向平面上进行[90°，180°，270°]的旋转增强。

4.2 心脏数据集

整个数据集由20张轴向裁剪图像组成，10个用于训练和10个用于测试。
所有的磁共振图像归一化为零均值和单位方差。我们使用了数据增强，包括随机旋转[90°、180°、270°]和沿轴向平面翻转。

5.三维深度监控分析

将训练集划分了训练子集和验证子集。我们构建了一个基线模型，它是一个没有任何深度监控的纯三维端到端网络。该基线模型具有与主流3D DSN网络相同的体系结构。
将每一个体素作为一个独立的训练样本，极大地扩大了实际训练数据库，与传统的基于块的训练方案相比，可以降低过拟合的风险。

5.1 学习曲线

比较学习曲线时，3D DSN比纯3D CNN收敛速度快的多。且3D DSN的loss值更小。

图2.3D DSN和纯端到端没有深层监督机制的3D CNN的学习曲线的比较。左图和右图分别来自肝脏和心脏分割数据集。

5.2 3D网络内核与特征的可视化

图3.（a）3D CNN和（b）3D DSN的第一层中学习的3D内核的可视化，每列呈现尺寸为9×9×7的单个内核，沿第三维扩展为7×9×9map

图4.（a）3D CNN和（b）3D DSN的第一层中的典型特征的可视化。从特征卷中提取切片以进行清晰可视化。

5.3 心脏分割结果的定性比较

图5.有和没有3D深度监督的心脏分割结果的定性比较。从左到右的列是原始MR图像，纯3D CNN结果，3D DSN结果和ground truth。白色和灰色区域分别表示血池和心肌的结构。在第一列中，我们使用纯3D CNN结果，3D DSN结果和分别以青色，蓝色和品红色指示的ground truth覆盖心肌的轮廓。最后一行显示数据和分割的3D重建，红色用于血池，绿色用于心肌。（有关此图例中对颜色的引用的解释，读者可参考本文的Web版本。）

6.实验分割结果

6.1三维CT的肝脏分割

6.1.1 网络架构和训练设置

在主流网络中，我们用于肝脏分割的3D深度监督网络由11层组成，即6个卷积层，2个最大池化层，2个反卷积层和1个softmax输出层。具体来说，在输入层之后，我们首先堆叠两个卷积层（即conv1a和conv1b，大小为8 @ 9×9×7），以及一个最大池化层（即pool1，下采样步幅为2））。接下来，我们采用另外两个卷积层（即，conv2a 16 @ 7×7×5和conv2b 32 @ 7×7×5），以及一个最大池化层（即，下采样步幅为2的pool2）。然后，连接另外两个卷积层（即，conv3a 32 @ 5×5×3和conv3b 32 @ 1×1×1）。我们为下采样路径设计了相对较大的内核大小，以便形成适当的感知区域来识别肝脏区域。
由于我们最大池化两次，我们使用两个反卷积层来获得全尺寸预测分数。 softmax层用于获得预测概率。我们通过两层（即pool1和pool2）注入3D深度监控，其特征量被扩展为辅助分类器。分支网络中的反卷积层的数量由隐藏特征量的减小的大小确定。在我们的实现中，pool1和pool2层后面分别跟着1和2个反卷积层。

我们从零开始训练网络，权重由高斯分布初始化（μ=0，σ=0.01）。学习率初始化为0.1，并且每50个epoch之后除以10。深度监督平衡权重初始化为0.3和0.4，然后随着训练的进行而衰减。我们将大小为160×160×72的patch作为网络输入，当验证精度不再提高时停止训练。

6.1.2 分割评估指标

该挑战采用了五个基于体积重叠和表面距离的评估指标。五种测量方法包括体积重叠误差（voe[%]）、相对体积差（vd[%]）、平均对称面距离（avgd[mm]）、均方根对称面距离（rmsd[mm]）和最大对称面距离（maxd[mm]）。
体积重叠误差和相对体积差是用百分数表示的体积测量值。用R表示分割结果，用G表示ground truth mask，VOE和VD计算公式为:

对于所有的五个测量值，绝对值越低，分割性能越好。

6.1.3 分割结果

将3D CNN和3D DSN进行比较，然后添加了条件随机场CRF(参数μ1 =5, θα=20, θβ =30, μ2 =3, θγ =3 )对这两个网络作为后处理步骤。
在这方面，我们一共得到了四个设置，分别是3D-CNN, 3D-DSN, 3D-CNN+CRF, 3D-DSN+CRF。所有的实验都是在训练集上进行的。对于所有的五个测量值，绝对值越低，分割性能越好。

表格1.我们的方法在不同设置下的定量评估结果。

图6.我们提出的方法的分割结果的例子。 ground truth以绿色表示，我们的结果为红色。每列对应于具有三个视平面的对象，即从顶部到底部的横向，矢状和冠状平面。

6.2三维MR心脏分割

6.2.1 网络架构和训练设置

所采用的网络结构类似于肝脏分割中使用的网络结构，具体来说，在主流网络中构建了一个14层网络，堆叠7个卷积层，3个最大池化层，3个反卷积层和一个softmax输出层。具体的下采样路径是：

input-conv1a-pool1-conv2a-conv2b-pool2-conv3a-conv3b-pool3-conv4a-conv4b

考虑到心肌的小结构，所有卷积层都使用3×3×3的小卷积核。对于特征的容量，conv1a有32个卷积核; conv2a和conv2b有64个卷积核; conv3a和conv3b有128个卷积核; conv4a和conv4b有256个卷积核。为了形成血池的有效感受野，我们使用了3个最大池化层，其下采样步幅为2。在上采样路径中，我们使用3个反卷积层来学习像素级预测。为了进行3D深度监控，我们将conv2b和conv3b的连接到辅助分类器。
网络从头开始训练，权重由高斯分布初始化（μ=0，σ=0.01）。考虑到心脏分割数据集的大方差，我们采用了批量归一化（IOffe和Szegedy，2015）来减少网络隐藏神经元内部协方差的移动。学习率初始化为0.01，并使用“多元”学习率策略衰减（Liu等人，2015）。深度监督平衡重初始化为0.2和0.4，在训练过程中衰减。考虑到GPU内存的消耗，我们将64×64×64大小的patch作为网络输入，当验证精度不再提高时停止训练。

6.2.2 分割评估指标

HVSMR挑战采用七个评估标准，包括Dice系数（Dice），Jaccard系数（Jac），阳性预测值（PPV），灵敏度（Sens），特异性（Spec），边界平均距离（Adb [mm]）和Hausdorff 边界距离（Hdb [mm]），分别对血池结构和心肌结构进行检测。定义如下：

Dice和Jaccard系数的值越大，分割精度越高。此外，还有三个比率（即ppv、sens和spec）也属于基于体积的测量。ppv是真阳性与真阳性加假阳性的比率。灵敏度表示真阳性与真阳性加假阴性的比率。特异性表示真阴性与真阴性加假阳性的比率。对于这三个比率，较高的值表示更好的分割性能。

6.2.3 分割结果

表3.与心脏分割任务的不同方法比较。血池和心肌的评估分别列在顶部和底部。

其中，与3D-DSN效果比起来相对较好的是第二个Wolterink et al. (2016). 用的二维空洞卷积The other two belong to machine learning based methods with Mukhopadhyay (2016) leveraging random forest variants and Wolterink et al. (2016) utilizing 2D dilated convolutional networks (Yu and Koltun, 2016).

图7.使用我们的方法的典型心脏分割结果。我们提出三个视图方向，矢状，横向和冠状平面从上到下列出。白色和灰色区域分别表示血池和心肌的分割。

7.讨论

对于我们的3D DSN的整体架构，我们选择以稀疏的方式引入辅助分类器，而不是像Merkow等人(2016)那样采用密集的方式。这种稀疏的方式可以帮助管理模型的规模，因为更多的附加反卷积层将带来更多的参数。需要注意的是，如果模型过于复杂，在训练数据有限的情况下很难训练出大量参数的模型，可能会影响模型的效率，也不容易调整参数。
条件随机场建立在3D-DSN的基础上，因此CRF部分在实际中是可分离的、灵活的。与肝脏分割相比，在心脏分割上面采用CRF并没有得到较大改善，因为心脏结构比肝脏更复杂，肝脏是二分类，而心脏是多分类。

8.结论

提出了一种三维深度监督网络(即， 3D DSN)用于医学图像的端到端体积解剖结构分割。

相关链接：论文笔记：3D Deeply Supervised Network for Automatic Liver Segmentation from CT Volumes
相关链接：论文解读：Deeply-Supervised Nets
相关链接：Deeply-Supervised Nets

论文阅读笔记：3D deeply supervised network for automated segmentation of volumetric medical images相关推荐

3D Deeply Supervised Network for Automatic Liver Segmentation from CT Volumes
下面博主详细翻译了该篇论文,可以当做详尽的参考,并认真学习. [参考]论文笔记:3D Deeply Supervised Network for Automatic Liver Segmentatio ...
全卷积（FCN）论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation
论文阅读笔记:Fully Convolutional Networks forSemantic Segmentation 这是CVPR 2015拿到best paper候选的论文. 论文下载地址:Fu ...
毫米波点云生成论文阅读笔记 | 3D Point Cloud Generation with Millimeter-Wave Radar
毫米波点云生成论文 | 3D Point Cloud Generation with Millimeter-Wave Radar Kun Qian, Zhaoyuan He, Xinyu Zhang ...
【论文阅读笔记】Occlusion-Aware Siamese Network for Human Pose Estimation
论文地址:Occlusion-Aware Siamese Network for Human Pose Estimation 论文总结本文的网络名,作者命名为OASNet.本文的出发点就如名字所 ...
【ACCV2022】论文阅读笔记Lightweight Alpha Matting Network Using Distillation-Based Channel Pruning
Lightweight Alpha Matting Network Using Distillation-Based Channel Pruning 使用基于蒸馏通道裁剪的轻量Alpha抠图网络 ht ...
论文阅读笔记-FGN: Fusion Glyph Network for Chinese Named Entity Recognition
论文地址:paper:https://arxiv.org/ftp/arxiv/papers/2001/2001.05272.pdf github地址:github:https://github.com ...
自监督论文阅读笔记SELF-SUPERVISED SPECTRAL MATCHING NETWORK FOR HYPERSPECTRAL TARGET DETECTION
高光谱目标检测是一个像素级的识别问题.给定几个目标样本,它旨在从整个高光谱图像中识别特定的目标像素,例如飞机.车辆.船舶.一般来说,背景像素占图像的大部分并且分布复杂.结果,数据集的注释很弱并且非常不 ...
Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
Capture, Learning, and Synthesisof 3D Speaking styles论文阅读笔记 VOCA
Capture, Learning, and Synthesisof 3D Speaking Styles论文阅读笔记摘要制作了一个4D面部(3D mesh 序列 + 同步语音)数据集:29分钟, ...

论文阅读笔记：3D deeply supervised network for automated segmentation of volumetric medical images

摘要