Segment Medical Image Using U-Net Combining Recurrent Residuals and Attention
结合循环残差连接和注意力机制的UNet网络用于医学图像分割
 From MICAD2020

Abstract

医学图像分割可为临床诊断提供可靠的依据。医学图像分割技术的发展不仅影响着其他医学图像处理技术，比如3D重建等，还在生物医学图像分析中占据极其重要的地位。随着深度学习算法在医学图像分割中的应用，医学图像分割算法有了进一步的发展。
  本文主要讨论基于UNet网络的变体进行二维图像的分割。基于UNet网络结合循环残差魔块和注意力模块来分割图像可以达到更好的效果

Section I Introduction

生物医学图像成为疾病诊断和治疗中不可分割的一部分，并且重要性日益凸显。如CT、三位超声成像、单电子辐射层析成像等医学成像技术广泛应用于临床检查、诊断和治疗中。图像分割就是将特定的图像分割成具有唯一或多个属性区域的过程，从而可以划分出感兴趣区域。
  医学图像分割根据提取感兴趣区域的不同分为2D和3D两大类，医学图像分割技术主要提取特殊组织的图像信息，适用场合广泛，如组织的定量分析和诊断、定位疾病组织、学习解剖结构、指定治疗计划、对图像数据进行局部修正、进行计算机手术等。事实上，已经有许多学者提出了诸多医学图像分割方法，但是由于医学图像本身比自然图像更为复杂因此在分割领域仍然有许多待解决的问题。
  自从2006年深度学习在诸多计算机视觉任务中大放异彩，如物体检测、分析等，但是应用于医学图像分析仍存在诸多挑战。 一方面，医学图像较之自然图像更加难以获取，不似自然图像有大规模的训练样本；另一方面子让图像不仅具有较高的空间分辨率、高对比度，还有许多容易识别的视觉特征。但是医学图像往往只有某种特定的信号强度，信噪比也很低，这都增加了进行分割的难度。 
  但是医学图像分割又在图像处理和分析任务中举足轻重，主要可被分成三大类：
   （1）手动分割 ；
   （2）半自动化分割 ；
   （3）全自动分割。
    其中手动分割直接有经验丰富的临床医生借助图像编辑器直接在原始图像上划定组织的边界或者分割出感兴趣的区域，这样精度高但十分费时费力； 半自动化分割将计算机强大的数据处理能力、算法分析和存储能力与医生专家的经验相结合，通过人机交互进行切割；自动化分割意味着整张图像完全由计算机完成分割，没有任何人为干预。 随着深度学习的广泛应用，基于深度学习的医学图像分割算法在诸多任务中已经超过了传统的分割算法。

Section II Related Work

本节将简明介绍深度学习、医学图像分割算法的研究进展，以及挑选主要模型进行综合对比分析。
 Part A Deep Learning 
 深度学习是在机器学习的基础上进化未来的人工神经网络，早在1940s-1960s提出单层感知机训练单个神经元，但是单层感知机无法解决线性不可分问题。由于这一模型没有扩展到多层网络中，因此这方面的研究停滞了近20年。
直到1986年BP算法的提出完美的解决了非线性分类问题，人工神经网络再次引起了广泛的关注；但是鉴于当时的计算资源有限，BP算法的发展受到了限制，因此神经网络的发展又一次陷入了瓶颈。直到2006年Hinton和它的学生正式提出了深度学习的概念，才使得神经网络再次回到人们的视线中。2012年在ImageNet图像识别竞赛中AlexNet从根本上解决了梯度消失的问题，并利用GPU极大的提升了运行速度。随着计算能力的不断提升、现有数据的不断增加，深度学习不断取得重大进展突破，目前已广泛用于语音识别、图像检索、自然语言处理、人脸识别和其他挑战中，均取得了非凡的成果。
Part B 基于深度学习的医学图像分割
 医学图像分割负责识别内部体素和外部体素中感兴趣的目标区域，主要可分为两类，一类是分割器官和组织；另一类是分割病灶或肿瘤。 分割器官和组织目的在于量化与之相关的临床参数，比如组织的体积或形状，以便进一步研究器官和组织。 比如Kumar等人基于block的CNN对HE病理染色图像中的细胞核机进行分割；MICCAI2018挑战赛中通过从MRI图像中提取纤维束特征预测脑肿瘤的概率。 进行病灶和肿瘤分割的慕斯是在确保杀伤肿瘤细胞的同时尽可能保护正常器官。比如Yu等人结合残差网络和FCN实现在皮肤镜下自动分割黑色素瘤，在ISBI2016中取得了第二名。
 Part C 基于UNet的分割框架研究进展
  2015年Ronnerberger首次提出了UNet网络结构，这是一种在FCN全卷机神经网络的基础上发展起来的一种语义分割网络，非常适合在稀疏的医学数据集上进行分割任务，因此UNet发布之后便在医学图像分割领域表现突出，并且引起了一系列学者在UNet基础上进行改进。 比如Cicek等人提出UNet进行三维图像分割，将三维图像等效为连续的二维图像切片。Milletari进一步提出用于3D分割的VNet变体。
  VNet的创新之处在于根据图像特征设计损失函数，并且使用1x1卷积来减少通道数。Drozdzal则在UNei基础上引入长短跳层连接hop connection。 在病灶分割方面，深度学习算法还需要完善多种任务，比如目标器官和组织的识别分割，进一步结合全局特征和局部特征。Wang等人先利用UNet进行伤口分割然后使用训练后的SVM对伤口进行分类，从而确定伤口是否被感染，最后还用GP回归算法预测创面愈合时间。Brosch等人则是利用UNewt对脑补MEI图像的白质病变进行分割，并通过在第一层和最后一层卷积之间的跳层连接提升了网络的额分割效果。

Section III Method

Part A UNet Module
   UNet经常用于图像分割任务，由于能够从少量的训练数据中得到较为精确的分割结果被广泛用于医学图像分割任务中。UNet是在FCN的基础上发展起来的，编解码模块之间的跃层连接有效传递了不同分辨率下的细节信息。并且网络综没有全连接层，整个处理过程使用valid conv也没有造成上下文特征的丢失；除此之外为了增强对边缘部分的分割能力，还通过镜像输入图像来推断丢失的使其能够下文信息。最终和背景相比，主题信息被给予更高的权重。 UNet的结构如Fig1所示，主要可以分为下采样部分逐层学习不同尺度的特征；以及上采样部分，逐层恢复原始图像分辨率。最终经过softmax函数得到最终的分割概率图谱。
   
Part B Recurrent Residual Module
 残差网络在计算机视觉任务中展示了非凡的性能，残差网络通过shortcut构建跨层的信息叠加，这样在深层次网络中可以提供更加丰富的特征。 而递归神经网络鉴于其独特的记忆模式，其输入来自于多层，不仅局限于当前层作为输入，还包括前面时间步内的信息，因此前面时间步的状态会影响后续时间步的决策。 本文的递归残差模块结构参见Fig2，可以很明显看到与（b)递归神经模块、（c)残差模块的区别与联系。
 
Part C Attention Units 
注意力机制模仿的是生物观察行为的内部结构，是一种使得内部经验与外部感觉保持对齐的一种策略，从而增加一些区域的观测精度。扫描完全局后需要聚焦于某一目标区域，对这一区域施加更多的注意力从而得到感兴趣物体的细节信息，同时也抑制其他无用的信息。
 根据不同的应用场景，注意力机制可被分为：空间注意力和时空注意力。
其中空间注意力主要用于图像处理。最早注意力机制是用于Seq2Seq,注意力机制的本质是对比输入序列和输出向量的匹配程度，匹配程度越高，注意力系数就越高，从而根据计算出的注意力系数对当前的序列对进行加权。
本文使用的注意力模块如Fig3所示，可以看到使用了skip connection，主要根据同一层下采样的特征图与上采样的图之间计算注意力系数对特征图谱进行加权。

Section IV Experiments

Part A 实验细节
 框架：Pytorch Python 2.8 Cuda 4.5.8 处理流程参见Fig4. 
 

首先数据集被分成Train:Val:Test，随后送入UNet中得到分割图谱，但是UNet中结合了递归残差模块和注意力模块，实验也显示这样有助于提升分割精度。
 Part B 评价指标
主要有Acc,Sensiticity，Specificity，F1 score，JS系数和Dice系数。
Part C 实验结果
 本文与其他结构的UNet结果对比展现在Table I中，从表中可以看到UNet确实适合用于医学图像分割，可以达到0.7的JS系数，本文的R2AttUNet在此基础上提升了10%,其他的性能也几乎提升了近5%.Fig5可视化了不同网络的分割结果，可以看到性能差距还是很大的，最佳的就是同事采用Recurrent Residual和Attention机制的本文提出的框架。

Section V Discussion and Conclusion

深度学习在医学图像分析中具有重要的理论意义和时间价值，并且在分割方面还有很大的提升空间，因为对一些病理图像根据形态学差异分析其疾病类型和严重程度是医生诊断过程中最耗时的场所。借助深度学习不仅可以进一步提升效率和精度，还可以辨别出医生难以分辨的特征，甚至发现全新的未知形式，为进行新形态的标记提供强有力的技术支持。
  本文在UNet基础上加入递归残差模块和注意力模块进行医学图像分割。首先对图像进行预处理，随后利用优化后的UNet进行分割。最后通过评价指标对比分析发现，这种方法具有一定的普遍性，在一定程度上证明了UNet适合于医学图像分割可用于快速构建网络模型。
   但这种方法仍存在一些限制，如： 在训练过程中网络模型占用内存过大； 实验结果容易受训练次数的影响。 因此未来本文将朝着借助图像变形增加训练样本数量这一方向进行优化，在可接受的范围内进一步提升分割精度。

论文阅读——Segment Medical Image Using U-Net Combining Recurrent Residuals and Attention相关推荐

论文阅读——Segmenting Medical MRI via Recurrent Decoding Cell
论文阅读之循环解码单元用于MRI医学图像分割  Segmenting Medical MRI via Recurrent Decoding Cell from AAAI2020 继续看医学图像分割网络 ...
论文阅读：Adding Attentiveness to the Neurons in Recurrent Neural Networks
目录 Summary Details (Implementation) 原来的 RNN 结构变为 Element-wise-Attention Gate (EleAttG) 后论文名称:Addin ...
论文阅读 - Segment Anything
文章目录 0 前言 1 预备知识 1.1 深度学习训练框架 1.2 语义分割训练框架 2 SAM的任务 3 SAM的模型 3.1 模型整体结构 3.2 Image encoder 3.3 Prompt ...
【论文阅读】强化学习-Other Directions for Combining Policy-Learning and Q-Learning专题4篇
文章目录 Combining Policy Gradient and Q-learning, O'Donoghue et al, 2016. Algorithm: PGQL. The Reactor: ...
论文阅读_Show, Attend and Tell: Netural Image Caption Generation with Visual Attention
参考自以下 https://www.cnblogs.com/Determined22/p/6914926.html https://www.jianshu.com/p/7582df96b081 htt ...
《Segment as Points for Efficient Online Multi-Object Tracking and Segmentation》论文阅读笔记
<Segment as Points for Efficient Online Multi-Object Tracking and Segmentation>论文阅读笔记 1.介绍 2.相 ...
KGBERT论文阅读（自用）
KGBERT论文阅读 Abstract 一.目前存在的问题: Bert预训练语言模型:通用语言表示( General Language Representation ),缺乏特定领域的知识( Doma ...
3D目标检测论文阅读多角度解析
3D目标检测论文阅读多角度解析一．前言 CNN(convolutional neural network)在目标检测中大放异彩,R-CNN系列,YOLO,SSD各类优秀的方法层出不穷在2D图像的目标 ...
【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（2）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...

论文阅读——Segment Medical Image Using U-Net Combining Recurrent Residuals and Attention