摘要

本文提出的是一种用于体积分割的Transformer架构，这个架构需要在编码局部和全局空间线索时保持复杂的平衡，并沿体积的所有轴保留信息。提出的编码器受益于同时编码局部和全局线索的自我注意机制，而解码器采用并行的自我和交叉注意力公式来捕捉精细细节以进行边界细化。

本文提出的网络称为VT-UNet。一些3D医学影像数据被划分为2D切片，并将2D切片作为输入。这种做法对于封装切片间的依赖关系至关重要的大量的潜在体积信息将被丢失。在基于UNet的架构中，本文提出了两种类型的Transformer块。

首先在编码器的块以分层方式直接作用于3D体积，以共同捕获局部和全局信息。其想法与Swin-Transformer相似。其次对于解码器我们在扩展路径中引入并行交叉注意和自我注意，这在来自解码器的q和来自编码器的k，v之间建立的桥梁。通过交叉注意和自我注意的并行化，本文的目标是在解码过程中保持完整的全局上下文，这对于分割任务很重要。由于VT UNet是纯Transformer没有卷积，并且在解码过程中组合了两个模块的注意力输出，因此序列的顺序对于获得准确的预测结果就非常重要。

方法

我们假设X={X1，X2,....Xr}是输入MRI的体积序列，我们称Xi为一个Token。本文认为原始形式的Token可能不适合定义跨度，因此我们在自注意力机制中，我们通过从输入Token学习线性映射来定义跨度。我们对本文的自注意力进行了如下的修改：

VTUNet网络的整体架构

下图显示了VTUNet网络的架构图

我们的输入是一个尺寸为D*H*W*C的3D体素,输出是D*H*W*K的3D体素，其中K表示分割得到的类的数量。

VTUNet的编码器

编码器部分由3D Patch Partitioning 层和Linear Embedding层和3D Pach merging层以及两个连续的VT编码器块组成。

3D Patch Partitioning

基于Transformer的模型使用一系列序列的Token，VTUnet的第一个块接受D*H*W*C维度的医学数据的3D输入。并将其分割为不重叠的3Dpatch并为其创建一组标记如下图所示

分区核的大小是P*M*M，因此用来表示Token。3D patch Partitioning之后是一个Linear embedding将维度为P*M*M的每个Token映射到一个C维向量。

VT Encoder Block

在VIT中，Token携带着重要的空间信息，在最近的研究中使用窗口来执行注意力机制已经得到了证明。我们在VT Encoder Block中也进行3D窗口操作，具体来说我们提出了两种类型的窗口即规则窗口和移位窗口。分别用VT-W-MSA和VT-SW-MSA来表示，细节如图B所示

VT-W-MSA和VT-SW-MSA都采用了带窗口的注意层，然后是中间带有高斯误差线性单元(GELU)非线性的2层多层感知器(MLP)。在每个MSA和MLP之前应用层归一化(LN)，在每个模块之后应用残差连接。窗口使我们能够在建模令牌之间的长期依赖关系时注入归纳偏差。在VT-W-MSA和VT-SW-MSA中，在窗口内跨标记的注意有助于表示学习

在VT-W-MSA中，我们将体积均匀的分割为图（b）所示的较小的不重叠窗口。由于相邻窗口中的Token不能通过VT-W-MSA看到彼此，我们利用VT-SW-MSA中的移位窗口来桥接VT-W-MSA相邻窗口中的Token。整个过程用公式表示为

其中表示VT-W-MSA的输出以及MIP的输出特征。

3D Patch Merging

在VT-UNet编码器中，我们利用3D Pacth merging合并生成特征层次结构。

在通过 VT-Enc-Blk之后，我们沿着空间轴以不重叠的方式合并相邻的Token，以产生新的Token。为此，我们首先将每组2*2的相邻Token的特征连接起来。得到的向量通过线性映射投影到维度翻倍的空间。

The VT Decoder

在经过VT-ENc-Blk和3D Patch Expanding层组成的Bottleneck层之后。VT解码器从连续的VIT解码器块，3D Patch Expanding层和最后的分类器生成最终的预测结果。

3D Patch Expanding

为了构造具有与输入相同空间分辨率的输出，我们需要在解码器中创建新的Token。为了便于讨论，考虑瓶颈层之后的Patch Expanding。

Patch Expanding之后的输入Token是维度是8C。在Patch Expanding中我们首先使用线性映射将输入Token的维度增加两倍。经过重塑以后，我们可以从维度为2*8C的结果向量中获得维度为4C的2*2Token。我们将沿着空间轴进行重塑。因此对于

我们创建的Token。

VT Decoder Block

每个VT-Dec-Blk从位于VT-UNet同一阶段的VT-Enc-Blk接收其前一个VT-Dec-Blk生成的Token即K值和V值。VT-Dec-Blk具有类似的窗口操作，但使用了分组为SA模块和交叉注意(CA)模块的四个SA块。功能可以描述为:

在这个式子中r和l表示解码器模块的左右分支，根据式子注意力机制的右分支作用于前一个VT-Dec-Blk生成的Token。我们强调通过其中的下标D从解码器发出的信息流。然而交叉注意力的左侧分支使用解码器生成的q以及从计算图中同级的VT-Enc-Blk获得的键和值。这里的思想是使用编码器跨越的键和值，以受益于编码器收集的空间信息，这些块也使用规则和移位的窗口，向模型注入更多的归纳偏差。

需要注意的是，来自具有相同窗口操作的SA的值和键需要合并，因此形成了图2（c）所示的交叉连接形式

Fusion Module

融合模块如下图所示

将交叉注意力CA模块和MSA模块生成的Token组合在一起，并将其送入下一个VT-Dec-Blk，Zl通过的线性函数计算为：

其中F() 表示傅里叶特征位置编码，α控制着每个CA模块和MSA模块的权重。

Classifier Layer

在解码器的最后一个3D Patch expanding层之后，引入了一个分类器层，其中包含一个三维卷积层，用于将C维特征映射到K个分割类。

总结

本文提出了一种用于医学图像分割的Transformer，该网络在处理大尺寸3D体积时计算效率很高，并学习对人工制品具有鲁棒性的表示。

（脑肿瘤分割笔记：七十一):A Robust Volumetric Transformer for Accurate3D Tumor Segmentation相关推荐

（脑肿瘤分割笔记：四十四）基于深度学习的脑肿瘤分割的综述
目录 Abstract&Introduction 脑肿瘤分割任务面临的主要挑战深度学习方法的脑肿瘤分割的方法脑肿瘤分割方法一:设计有效的架构分割方法针对于不同目的的模型对于精度有要求的 ...
（脑肿瘤分割笔记：四十三）用于脑胶质瘤分割的上下文感知网络
Title:CANet: Context Aware Network for Brain Glioma Segmentation 摘要-Abstract 目前的一些脑肿瘤分割方法缺乏强有力的策略来整合 ...
（脑肿瘤分割笔记：十四）用于脑肿瘤分割的优化U-Net
目录 Titie:Optimized U-Net for Brain Tumor Segmentation Abstract--摘要 Introduction 方法-Method 数据数据预处理与数 ...
（脑肿瘤分割笔记：四七）--自编码器和变分自编码介绍具有变分自编码器正则化的U型分割结构
本文只是记录个人阅读论文的感想与思考!难免存在错误!如若理解有误还请各位大佬指出!感谢! 目录相关概念自编码器(AE) 自编码器存在的问题变分自编码器(VAE) 关于正则化的直观解释论文一:3 ...
（脑肿瘤分割笔记：五十七）基于3D注意力UNet的脑肿瘤分割与生存预测
Title:Brain Tumor Segmentation and Survival Prediction using 3D Attention UNet 摘要: 本文采用了3D UNet的架构,并 ...
脑肿瘤分割学习（五）：A Robust Volumetric Transformer for Accurate 3D Tumor Segmentation
A Robust Volumetric Transformer for Accurate3D Tumor Segmentation 摘要Abstract 1.引言 Introduction 2 方法论 ...
[深度学习论文笔记]Brain tumour segmentation using a triplanar ensemble of U-Nets 基于Unet三平面集成的脑肿瘤分割
Brain tumour segmentation using a triplanar ensemble of U-Nets 基于U网络三平面集成的脑肿瘤分割 Published: May 2021 ...
在BRATS挑战赛中用于脑肿瘤分割、预后评估和总体生存预测的最佳机器学习算法
胶质瘤是最常见的原发性脑恶性肿瘤,具有不同程度的侵袭性.不同的预后和不同的组织学亚区,即瘤周水肿/瘤周浸润侵犯组织,坏死组织,增生活跃的组织,非强化的组织.这种内在的异质性也表现在它们的影像学表型上, ...
使用深度学习进行三维脑肿瘤分割
使用深度学习进行三维脑肿瘤分割平台: 根MATLAB官网案例改编 :https://ww2.mathworks.cn/help/deeplearning/ug/segment-3d-brain-tu ...

（脑肿瘤分割笔记：七十一):A Robust Volumetric Transformer for Accurate3D Tumor Segmentation

摘要

方法