Title:CANet: Context Aware Network for Brain Glioma Segmentation

摘要-Abstract

目前的一些脑肿瘤分割方法缺乏强有力的策略来整合肿瘤细胞及其周围环境的上下文，良好的整合上下文信息已经被证明是处理局部（边界）模糊的基本方法。本文提出了一种上下文感知网络(CA-Net)，很好的整合了肿瘤细胞以及其周围的上下文信息。

CA-Net从卷积空间和特征交互图获取具有上下文的高维特征和鉴别特征。此外作者进一步提出了上下文引导的注意条件随机场来进行选择性的聚合特征。

解决的问题

类间（边界模糊）是脑肿瘤分割中的常见问题。由于不同类别的体素可能共享相似的强度值或特征表示，因此如果只考虑孤立的体素，就很难实现精确的密集体素分割问题（本文考虑要解决的问题）

为了解决这一问题，作者通过探索胶质瘤细胞与周围环境的特征交互图来了解他们之间的关系信息

本文的贡献

引入特征交互图推理作为一个并行的辅助分支来建模胶质瘤细胞和周围环境的关系。中间特征表示在自定义上下文引导的注意条件随机场框架中进一步开发和聚合。

将提出的CGA-CRF推论的平均场近似表示为卷积操作，而CGA-CRF实现为顺序的深度神经网络，这个模块可以无缝嵌入任何深度的神经架构，以实现端到端的训练（泛化能力强）。

在脑肿瘤分割中常常存在着不平衡和类间干扰的问题，目前的解决方案是考虑使用级联的网络结构，但是级联的网络结构主要关注某一特定网络阶段的一个肿瘤区域，无法推断不同肿瘤区域间的关系

方法-Method

首先详细的描述了所提出的特征交互图。然后作者引入了新的特征融合模块CGA-CRF，它可以选择性的聚合来自不同上下文的特征，并学习生成最优的特征。最后将CGA-CRF中的平均场更新为序列卷积操作，使得网络实现端到端的训练。

提出的CA-Net可以通过对特征交互图进行推理来隐式的捕获远程关系信息。两种上下文（特征交互图和卷积）都使用从共享编码器主干派生的中间特征图作为输入,其中N是中间特征图实例总数，C是特征维数。图上下文特征交互图用，卷积生成坐标空间为

CGA-CRF的主要思想是利用最终的表示与中间特征表示X之间的关系，生成与MRI图像相关的最优分割映射。这个中间特征表示X具有辅助的远程关系的，这个特征表示由具有卷积特征的交互空间生成。不同于直接拼接=Contact(X,,)和求和。本文的目的是通过一个新的条件随机场学习一组潜在特诊表示。由于和在学习过程中所起到的作用是不同的，本文采用注意机制的观点，并将其推广到条件随机场的门节点。门节点可以调节信息流，发现不同的上下文和潜在特征之间的相关性

网络框架如下图所示：

A:背景引导特征提取

1）图上下文：自适应采样投影

首先利用收集到的特征图创建特征交互空间G={V,E,α}。V表示交互图中节点的集合，E表示交互节点之间的边，α表示邻接矩阵。给定一个从骨干网络中学习到的高维特征X=,首先将原始特征投影到特征交互空间上，生成投影特征，生成这一特征的过程用公式表示为

其中Wnm和bnm为每个原始特征Xn通过随机梯度得到的移位距离。ρ（）是一个三线性插值采样器，在已知变形△m和交互图节点V的全部集合的情况下，对特征节点Xm周围移位的特征节点进行采样。

特征交互图推理

将输入特征投影到交互图G上，K个特征节点V={V1，.....Vk}和边E遵循图卷积网络定义，其中为图邻接矩阵，为权重矩阵，则图卷积公式为：

使用拉普拉斯平滑更新邻接矩阵，以便将节点特征传播到整个图中，在实践中，使用1*1卷积层实现和还实现了I作为残差连接，使梯度流最大化。

2）卷积上下文分支：卷积上下文分支由编码器和解码器组成，二者之间有跳跃连接，编码器降低了特征图的空间维数，而扩展路径恢复了特征图的空间维数和对象细节。这个体系结构的优点是充分的利用了上下文信息不同尺度的特征，大尺度特征可以用来定位对象，小尺度特征可以为分类提供更详细更准确的信息。

B：引导注意CRF融合模块

这一模块提出的CGR-CRF模块来进行特征融合。其动机来自两个方面，首先，通过最大化概率分配分割标签可能会由于相邻体素共享相似的特征表示而导致错误的边界分割;其次，以往的作品采用通道级联或元素求和机制，融合不同来源的特征。但是，这些机制简化了不同源特征图之间的关系，可能导致信息丢失

作者利用概率图形模型的推理能力，采用条件随机场模型来学习最优的潜在融合特征。由于来自不同情境的信息可能对最终结果有不同程度的影响，作者整合了CGA-CRF的注意门，以调节特征之间的信息流动。作者还进一步展示了使用顺序卷积操作的CGA-CRF均值场更新的实现，这使得CGA-CRF融合模块可以作为顺序层与任何神经网络集成，并以端到端方式进行训练。与以往的编码器-解码器神经网络(图3 (a))和多尺度神经网络(图3 (b))相比，提出的CGA-CRF(图3 (d))具有较强的推理能力，可以共同学习神经网络主干编码的特征隐藏表示。

结构对比图如下所示

图3：先前特征融合方案的图形模型说明：（a）基本编码器-解码器神经网络，（b）多尺度神经网络，（c）多尺度CRF，以及（d）提出的上下文引导注意CRF。I表示输入的3D MRI图像。S表示特定的要素比例。XC和XGRE分别表示卷积运算和图卷积实践产生的隐藏特征。AGC表示从相应的功能XC和XG生成的注意图。最好是彩色的
3）CGA-CRF推理作为卷积操作：将CGA-CRF的平均场更新为顺序卷积操作实现，以便在CGR-CRF可以在任意神经网络中以端到端方式进行训练

总结：

作者提出了一种新的3D MRI脑胶质瘤分割方法CA-Net。考虑到标准卷积和图卷积的不同上下文信息，提出了一种结合深度监督卷积和图卷积上下文的混合上下文感知特征提取方法。与以往使用元素求和或通道连接等简单特征融合的方案的工作不同。本文设计了一种基于条件随机场的新特征融合模型，称为上下文引导注意条件随机场（CGA-CRF）有效的学习下游分割任务的最佳潜在特征。此外，将CGA-CRF中的平均场近似的表示为卷积运算，将CGA-CRF合并到分割网络中以执行端到端的学习。

（脑肿瘤分割笔记：四十三）用于脑胶质瘤分割的上下文感知网络相关推荐

（脑肿瘤分割笔记：十四）用于脑肿瘤分割的优化U-Net
目录 Titie:Optimized U-Net for Brain Tumor Segmentation Abstract--摘要 Introduction 方法-Method 数据数据预处理与数 ...
【Visual C++】游戏开发笔记四十三浅墨DirectX教程十一为三维世界添彩：纹理映射技术(二)...
本系列文章由zhmxy555(毛星云)编写,转载请注明出处. 作者:毛星云(浅墨) 邮箱: happylifemxy@163.com 本篇文章里,我们首先对Direct3D之中固定功能流水线中的 ...
【Visual C++】游戏开发笔记四十三浅墨DirectX教程十一为三维世界添彩纹理映射技术二
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 本系列文 ...
（七）DKN:用于新闻推荐的深度知识感知网络
摘要: 背景: 新闻语言是高度浓缩的,充满了知识实体和常识.然而,现有的方法并没有意识到一些外在的知识,也不能充分发现新闻之间潜在的知识层面的联系.因此,推荐给用户的结果仅限于简单的模式,不能进行合理 ...
（脑肿瘤阅读笔记：四十六）KIU-Net用于医学图像分割和体积分割的过完备卷积网络架构
目录 Title:KiU-Net: Overcomplete Convolutional Architectures for Biomedical Image and Volumetric Segme ...
论文浅尝 | 一种用于新闻推荐的深度知识感知网络
Citation: Wang H, Zhang F, Xie X, et al. DKN: Deep Knowledge-Aware Networkfor News Recommendation[J] ...
unet脑肿瘤分割_BraTS18——多模态MR图像脑肿瘤分割挑战赛续6
今天将继续分享从网络结构上进行改进提出GAVNet模型来分割脑肿瘤.为了方便大家学习理解整个分割流程,我将整个流程步骤进行了整理,并给出每个步骤的结果,希望对大家有所帮助. 一.GridAttenti ...
[深度学习论文学习笔记]多模态融合的深度学习脑肿瘤检测方法
多模态融合的深度学习脑肿瘤检测方法论文:http://www.photon.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id ...
unet脑肿瘤分割_3D脑肿瘤分割的Dice损失函数的优化
3D 脑肿瘤分割的 Dice 损失函数的优化刘昊,王冠华,章强,李雨泽,陈慧军 [摘要] [ 摘要 ] 脑肿瘤的精确诊断对于提高病人的生存率,提供积极有效的治疗方案有着重要的意义.磁共振( M ...

（脑肿瘤分割笔记：四十三）用于脑胶质瘤分割的上下文感知网络