【论文笔记】Multi-Scale GCN-Assisted Two-Stage Network for Joint Segmentation of Retinal Layers and Disc in Peripapillary OCT Images

论文下载（途径多种多样）：

[2102.04799] Multi-scale GCN-assisted two-stage network for joint segmentation of retinal layers and disc in peripapillary OCT images (arxiv.org)

Dataset（数据集）

Collected dataset: Download our collected dataset.
Public dataset: Download Duke SD-OCT dataset

研究背景

青光眼作为世界第一大不可逆致盲性眼病，若未能及时发现和接受，可导致青光眼患者失明。青光眼前期大多没有症状，只有当疾病进展到晚期才可能会被察觉到，但此时往往已“为时已晚”错过了最佳治疗时间。青光眼也因此被称为“沉默的致盲性眼病”。目前，中国约有2180万名青光眼患者，且发病呈现年轻化趋势。当前，预防青光眼最有效的方法是早期筛查、早期诊断和早期干预。

视网膜层的微小形态变化，如视网膜神经纤维层（retinal nerve fiber layer，简写为RNFL）和神经节细胞层（ganglion cell layer, 简写为GCL）变薄，对青光眼的诊断起着至关重要的作用。光学相干断层扫描（optical coherence tomography, 简写为OCT）作为一种非侵入性的三维成像方法可用于视网膜检查。由于OCT的微米级轴向分辨率，它可以直接可视化视网膜的分层结构。如下图诊断报告[2]所示，从OCT图像得到的视神经乳头周围RNFL厚度是早期青光眼诊断的常见指标。因此，一种可以快速、便捷地分割视神经乳头周围视网膜OCT图像的自动化方法对实现青光眼“早发现”尤为重要。

论文摘要

An accurate and automated tissue segmentation algorithm for retinal optical coherence tomography (OCT) images is crucial for the diagnosis of glaucoma. However, due to the presence of the optic disc, the anatomical structure of the peripapillary region of the retina is complicated and is challenging for segmentation. To address this issue, we develop a novel graph convolutional network (GCN)-assisted two-stage framework to simultaneously label the nine retinal layers and the optic disc. Specifically, a multi-scale global reasoning module is inserted between the encoder and decoder of a U-shape neural network to exploit anatomical prior knowledge and perform spatial reasoning. We conduct experiments on human peripapillary retinal OCT images. We also provide public access to the collected dataset, which might contribute to the research in the field of biomedical image processing. The Dice score of the proposed segmentation network is 0.820 ± 0.001 and the pixel accuracy is 0.830 ± 0.002, both of which outperform those from other state-of-the-art techniques.

视网膜光学相干断层扫描（OCT）图像的精确自动组织分割算法对于青光眼的诊断至关重要。然而，由于视盘的存在，视网膜的毛细血管周围区域的解剖结构是复杂的，并且对分割具有挑战性。为了解决这个问题，我们开发了一种新的图形卷积网络（GCN）辅助的两阶段框架，以同时标记九个视网膜层和视盘。具体而言，在U形神经网络的编码器和解码器之间插入多尺度全局推理模块，以利用解剖先验知识并执行空间推理。我们在人的视神经乳头周围视网膜OCT图像上进行了实验。我们还为公众提供对所收集数据集的访问，这可能有助于生物医学图像处理领域的研究。所提出的分割网络的骰子分数为0.820±0.001，像素精度为0.830±0.002，两者都优于其他先进技术。

论文主要内容

首先，该研究将OCT图像输入到第一级的视盘检测网络，通过该网络可以得到指示视盘位置的蒙版和相应的特征图，在原输入图像上应用蒙版以生成无视盘的图像。之后，将其提供给第二级视网膜层分割网络，获取视网膜层的特征图。最后，将第一级网络的视盘特征图和第二级的视网膜层特征图融合得到一个完整的视网膜OCT图像的分割结果。

在这两级网络中，该研究都使用了一种多尺度的图网络辅助的全局推理模块。在第一级网络中获取全局的水平空间特征，而在第二个网络中捕获全局的垂直空间特征。

下面结合论文中给出的图，

图1：（a）黄斑OCT图像和（b）视神经乳头周围OCT图像之间的比较

人工分割视神经乳头周围图像。使用十种标签，包括RNFL、GCL、IPL、INL、OPL、ONL、IS/OS、RPE、脉络膜和视盘，并用不同的颜色标注。层结构遵循视神经头位于图像中心的规律，而更薄的视网膜层在两侧分层。

图2：分割框架的示意图

（a）分割整个过程包括三个主要步骤：

①第一级为初始视盘检测

② 第二阶段是视网膜层分割

③ 前两级的输出随后进行融合

（b）多尺度GCN辅助U形网络（MGU网络）的简化说明。

MGU网络由一对编码器和解码器组成，其中插入了多尺度全局推理模块（MGRM）。MGU网络和MGRM的详细结构分别见图6和图5。

图3：视神经乳头周围视网膜OCT图像的基于图形的表示

图像在全局范围内具有“non-disc”-“disc”-“non-disc”的水平布局。“non-disc”区域的放大视图呈现分层结构。我们的分割框架旨在利用视网膜视神经乳头周围区域的解剖先验知识，解决视网膜各层厚度变化引起的分割挑战。

图4：图形推理块的示意图

图推理块由四个操作组成，分别为①投影，②图卷积，③逆投影，④融合。

首先，将原始特征投影到节点空间。然后对节点空间特征进行图卷积，提取全局节点特征。为了将全局节点特征与原始特征融合，在与原始特征融合之前，将全局节点特征反向投影回原始特征空间。

图5：多尺度全局推理模块的示意图

为了解决由于不同层之间视网膜厚度的巨大变化而导致的分割挑战，我们提出了一个多尺度全局推理模块（MGRM）来对所有九层视网膜的高级语义特征进行全局推理。MGRM由多尺度池算子和图推理块组成。它使用多个有效的感受野来捕捉和学习不同厚度视网膜层的特征。

MGRM将输入分为四条不同的路径，其中三条路径配备了不同内核大小的池层，其次是图形推理块：内核大小分别设置为2×2、3×3和5×5，将不同厚度的视网膜层信息编码到全局特征图中。然后，通过双线性插值对全局特征进行上采样，以匹配原始输入特征映射的大小。最后，将所有四条路径重新组合，并连接特征。整个过程如图5所示。

图6：MGU网络的结构示意图

MGU网络的结构包括编码器、MGR和解码器。跳跃连接（the skip-connections）将编码路径中的低级特征连接到解码路径中相应的高级特征。

跳跃连接的作用：在比较深的网络中，解决在训练过程中梯度爆炸和梯度消失问题。

Loss函数：

在两级分割框架中，提出了两个损失函数L_seg1和L_seg2来监督这个两级MGU-Nets，并让它们以端到端的方式更精确地分割视盘和九个视网膜层。总损失函数如下：

其中

【论文笔记】MGU-Net相关推荐

ORB-SLAM3 论文笔记
ORB-SLAM3 论文笔记这篇博客 ORB-SLAM3系统相机模型的抽象(Camera Model) 重定位的问题图片矫正的问题视觉惯性SLAM的工作原理相关公式 IMU初始化跟踪和建图 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...
最新图神经网络论文笔记汇总（附pdf下载）
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]近年来,图神经网络变得非常火热,每年顶会在该领域内都会出现大量的研究论文,本文为大家提 ...
[论文笔记] Fast Quality Driven Selection of Composite Web Services (ECOWS, 2006)
Time: 4.0 hours Jae-Ho Jang, Dong-Hoon Shin, Kyong-Ho Lee, "Fast Quality Driven Selection of Co ...
论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
光流速度_[论文笔记] FlowNet 光流估计
[论文笔记] FlowNet: Learning Optical Flow with Convolutional Networks 说在前面个人心得: 1. CNN的光流估计主要是速度上快,之后的v ...
论文笔记《Maxout Networks》《Network In Network》
原文出处:http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/ 论文笔记 <Maxout Networks> & ...
论文笔记：HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization
论文笔记:Hankel Matrix Factorization for Tagged Time Series to Recover Missing Values during Blackouts_U ...
论文笔记 A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting
0 abstract 空间时间序列预测问题出现在广泛的应用中,如环境和交通问题.由于存在特定的空间.短期和长期模式,以及维度的诅咒,这些问题具有挑战性. 在本文中,我们提出了一个用于大规模空间时间序列 ...

【论文笔记】MGU-Net