论文笔记A Liver Segmentation Method Based on the Fusion of VNet and WGAN

一种基于VNet和WGAN融合的肝脏分割方法

Computational and Mathematical Methods in Medicine 2021

虽然基于二维卷积神经网络的肝脏分割方法取得了不错的效果，但仍然存在层间信息的缺乏，在一定程度上造成分割精度的严重损失。同时，在2D分割网络中更有效地利用高级和低级特征是一个具有挑战性的问题。因此，设计并实现了一个2.5D卷积神经网络 VNet-WGAN，以提高肝脏分割的准确性。

传统的肝脏分割方法，包括主动轮廓模型、聚类、水平集、图切割方法和区域生长方法，提取灰度、形状，医学图像的结构和纹理信息来手动分割肝脏。这些方法的效率仅限于大型数据库。但是，使用这些方法对数据进行预处理非常耗时。

而深度学习在通用性和效率方面优于传统的肝脏分割方法。在深度学习网络中，FCN和UNet是医学图像分割方法中使用的典型分割模型。随后，从这两个网络衍生出许多网络，例如：添加了均值偏移聚类算法以减少肝脏的过度分割；为了进一步提高图像增强的准确性，提出了一种基于统计阈值的图像增强技术，该技术利用累积分布函数（CDF）排除非肝脏区域；为了提高训练和推理速度，有论文在最后一层将亚像素卷积与双线性插值相结合。

很多模型在医学图像处理中可以得到相对准确的分割结果，但数据采集和标注的困难在很大程度上阻碍了足够大数据集的构建。为了克服这个问题，传统的图像增强技术（例如几何变换-可以生成新的数据）然而，它们在检测医学数据中的生物变化方面并不可靠。2014年，Goodfellow等人提出生成对抗网络（GAN）模型。它使用无监督训练方法通过对抗学习进行训练，目的是估计数据样本的潜在分布并生成新的数据样本。GAN 还可以实现不同模态图像之间的转换。由于GAN不需要提前知道理论分布，可以自动推断出真实的数据集，进一步扩展了数据的规模和多样性，为数据扩展提供了新的方法，缓解了智能诊断的数据需求问题

Contributions：

1. 通过将切片及其上下相邻切片堆叠作为网络输入，将中心切片对应的分割图作为输出，使用两个串联的卷积核来充分提取层内和层间信息。在保持较高的分割精度的同时，空间特性可以降低内存占用率和计算量；

2. 为充分利用网络的高层和低层特征，在VNet网络的long-skip连接结构中加入链式残差池化模块CRP，获取更丰富的语义信息，有效提高肝脏分割的准确率；

3. 在基本的WGAN生成器网络中引入边界损失函数，以弥补Dice损失函数对边缘像素精度考虑的不足。利用边界和Dice加权融合的复合损失函数，分别从区域和边界增强模型的分割能力。

Methodology of This Article：
1. GAN是由生成模型G和判别模型D组成的生成对抗网络，可以表示为G和D之间的极小极大博弈问题。G学习给定噪声的分布（如均匀分布和正态分布）和合成它们。D区分训练样本来自真实样本还是生成样本。 GAN使用对抗学习的概念来获得更好的生成结果。Adversary是指当判别模型D的判别能力越来越强时，生成模型G生成的图像会越来越真实，最终达到一个平衡。

2. Luc等人首次将GAN应用于图像分割。通常语义分割结果往往需要使用CRF和其他后处理技术进行改进，以获得更逼真的轮廓。因此，GAN 本身具有出色的生成能力，可用于改进结果。然而，GAN 也存在训练不稳定、梯度消失、模式崩溃等缺点。基于这些问题，已经衍生出许多流行的架构，包括条件 GAN（CGAN）、DCGAN（深度卷积GAN）和InfoGAN（信息最大化GAN）。一定程度上解决了GAN的弊端。但是，在解决训练过程中的稳定性问题方面仍然存在一些不足。WGAN的出现解决了 GAN 训练的不稳定问题，同时提供了一个可靠的指标，即 Wasserstein 距离用于训练。与JS（Jensen-Shannon）和KL（Kullback-Leibler）相比，Wasserstein距离可以自然地衡量离散分布和连续分布之间的距离，完全避免了GAN中常见的训练稳定和梯度消失的问题。

3. VNet网络结构包括一个编码器和一个解码器，继承了UNet的跳跃连接，以弥补特征提取过程中的信息丢失。此外，VNet使用ResNet的短路连接机制，将每个阶段的输入和输出相加，以学习残差函数；同时用Dice损失函数代替交叉熵损失函数，提高目标分割区域的灵敏度。虽然 VNet 网络为处理 3D 医学图像提供了参考，但医学图像数据大多较小，GPU 内存有限，这仍然会导致网络在训练过程中过度拟合和不稳定，尤其是对于3D数据。

Methods：
由于WGAN模型完全解决了GAN的训练不稳定性问题，因此，在训练过程中，不再需要仔细平衡生成器和判别器的训练水平。由于这一优良特性，采用WGAN作为模型的基本结构，并设计了改进的VNet作为肝脏分割的生成器。判别网络是一个简单的CNN网络，它判断输入图像是生成器生成的“假图像”（分割的结果）还是“真实图像”（注释图像）。

1.Generator：网络的输入是相关切片及其相邻的上下两个切片，中间切片作为输出结果。在训练过程中，使用大小为 1×3×3和3×1×1的卷积核来提取层内和层间信息。这种卷积方法类似于可分离深度卷积，无需3D CNN生成的大量计算即可提取医学数据的3D特征，并缩短了训练时间。在改进的卷积模块中，VNet的跳跃连接部分增加了两个链式残差池化模块CRP，具有池化和卷积操作，以更有效地利用高级和低级特征信息。链式池化操作可以显着增加感受野，因为可以从高分辨率特征图中提取边缘信息，并且可以通过低分辨率提取全局信息。因此，像素的分类精度进一步提高。

同时，残差结构有利于梯度的反向传播。该模块包括两个池化卷积块、两个残差结构、一个激活函数、批量归一化和dropout层（解决某些特征只有在其他特征存在时才有用的场景，也可以增强神经网络的鲁棒性，有效缓解过拟合问题，并在一定程度上实现正则化）。网络使用1×5×5的卷积核，保证池化后的图像尺寸与输入图像尺寸一致；池化之后是卷积操作，然后，输出结果输入到下一个池化卷积模块；最后，将两个特征图合并。在网络训练过程中，网络模型越复杂，需要学习的特征越多，训练时间越长，容易导致过拟合问题。因此，本研究对现有的网络模型进行了微调：具体方法是添加批量归一化（BN）以在每次revolution后对具有不同分布的数据进行归一化。因此，每一层数据都可以转换成相同的分布，网络模型的最优结果更容易收敛，从而在很大程度上加快了网络模型的训练速度

2.Discriminator：判别器的输入是生成器的输出结果和原始图像的注释图像，它们首先融合，然后输入到CNN网络。最后，第二个分类器输出判别器的输出信号。判别器包括一组条件池化块、四组卷积块、两个全连接层和最后两个分类层。一组条件卷积池化块包含两个卷积层和一个最大池化层。每个卷积层由卷积核、归一化和激活函数组成。

3.Loss Function：本文方法的损失函数由生成器和判别器的损失函数组成。Dice loss更多地关注区域的相似性，而忽略了空间信息（例如远离标签区域的错误分割部分）因此，为了最小化分割边界和标签边界之间的距离，提出Dice loss和边界损失的合成函数：在这个合成函数中，边界损失通过边缘匹配度来控制网络损失的程度，合成函数仅评估边界上的像素，当边界上的像素与ground truth的边界完全一致时，边界损失值等于0，而当边界与真实结果不重合时，则通过其与边界的距离来评估。本研究的实验结果表明，合成损失函数是Dice损失和边界损失的加权融合。其中，一个控制区域，一个控制边界，可以实现更好的分割性能。在实践中，Dice损失分数在训练开始时非常高。随着训练的进行，边界损失的比例增加，这说明边界的准确性在训练的后期得到了更多的关注，并且正在处理增强的边界细节信息。

论文笔记A Liver Segmentation Method Based on the Fusion of VNet and WGAN相关推荐

【论文笔记】Map-Based Localization Method for Autonomous Vehicles Using 3D-LIDAR
[论文笔记]Map-Based Localization Method for Autonomous Vehicles Using 3D-LIDAR ~~~ ~~~~ 精确和稳健的定位是复杂 ...
[深度学习论文笔记]Multi-phase Liver Tumor Segmentation with Spatial Aggregation
Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting [深度学习论 ...
【论文笔记】Multi-task deep learning based CT imaging analysis for COVID-19 pneumonia: Classification and
声明不定期更新自己精度论文,通俗易懂,初级小白也可以理解涉及范围:深度学习方向,包括 CV.NLP.Data Fusion.Digital Twin 论文标题:Multi-task deep le ...
论文笔记-SSF-DAN: Separated Semantic Feature based Domain Adaptation Network for Semantic Segmentation
论文信息论文标题:SSF-DAN: Separated Semantic Feature based Domain Adaptation Network for Semantic Segmentat ...
论文笔记Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting
基于空间聚集和不确定区域修复的多期肝肿瘤分割 ELSEVIER Neural Networks 2021 多阶段特征融合策略可分为三类:输入级融合(ILF)方法.决策级融合(DLF)方法和特征级融合 ...
活体识别3：论文笔记之《FACE ANTI-SPOOFING BASED ON COLOR TEXTURE ANALYSIS》
说明本文是我对论文<FACE ANTI-SPOOFING BASED ON COLOR TEXTURE ANALYSIS>做的一个简单笔记. 这个论文是芬兰奥卢大学(Oulu)课题组的一 ...
论文笔记-Augmented Lagrange Multiplier Method for Recovery of Low-Rank Matrices
论文题目:The Augmented Lagrange Multiplier Method for Exact Recovery of Corrupted Low-Rank Matrices Abst ...
论文笔记-Multi-view Incremental Segmentation of 3D Point Clouds for Mobile Robots
标题:Multi-view Incremental Segmentation of 3D Point Clouds for Mobile Robots 作者:Jingdao Chen1, Yong K ...
[深度学习论文笔记]Brain tumour segmentation using a triplanar ensemble of U-Nets 基于Unet三平面集成的脑肿瘤分割
Brain tumour segmentation using a triplanar ensemble of U-Nets 基于U网络三平面集成的脑肿瘤分割 Published: May 2021 ...
Individual Tree Segmentation Method Based on Mobile Backpack LiDAR Point Clouds
Abstract 单棵树 (IT) 分割对于森林管理.支持森林清查.生物量监测或树木竞争分析至关重要.光探测和测距 (LiDAR) 是这方面的一项突出技术,优于竞争技术.航空激光扫描 (ALS) 经常 ...

论文笔记A Liver Segmentation Method Based on the Fusion of VNet and WGAN

论文笔记A Liver Segmentation Method Based on the Fusion of VNet and WGAN相关推荐

最新文章

热门文章