Image Projection Network: 3D to 2D ImageSegmentation in OCTA Images 论文阅读笔记

代码链接：https://github.com/chaosallen/IPN_tensorflow

摘要
网络结构
相关实验
总结

一、摘要

我们提出了一种图像投影网络(IPN)，这是一种新颖的端到端架构，可以在光学相干断层成像血管造影(OCTA)图像中实现三维到2D图像的分割。我们的关键见解是构建一个投影学习模块(PLM)，它使用单向汇集层来同时进行有效的特征选择和降维。通过组合多个PLMs，该网络可以输入三维OCTA数据，并输出视网膜血管分割等2D分割结果。它为视网膜指标的量化提供了新的思路:无需视网膜层分割，无需投影图。我们针对两个关键的视网膜图像分割问题测试了网络的性能:视网膜血管(RV)分割和视网膜中央凹血管区(FAZ)分割。在316个OCTA体上的实验结果表明，IPN是三维到2D分割网络的有效实现，并且多模态信息和体信息的使用使得IPN表现得比基线方法更好。

二、网络结构

在设计从3D到2D的IPN之前，我们首先设计了一个从2D到1D的投影网络作为预实验，验证神经网络能否沿着投影方向总结出有效的特征。

1.2D-to-1D 网络

我们借鉴了经典VGG模型的框架，去掉了所有的全连接层，将原来的max pooling改为unidirectional maxpooling。这些改变的目的是沿着投影方向选择有效的特征，并减小数据维度，以将数据压缩到二维投影平面上

图 1 对比max pooling 和unidirectional maxpooling

引入单向池化后，2D至1D 网络的最终结构如图2所示。网络的输入是2D Bscan图像，输出是1D矢量。最终的分割结果是通过拼接得到的，所以包含了大量的锯齿状边缘，空间连续性较差。尽管分割结果显示了2D-1D网络的局限性，但它们也体现出这种投影网络的有效性。

图2 2D到1D IPN的结构

2.3D-to-2D 网络
与2D-1D 网络不同，3D-2D 网络使用3D卷积而不是2D卷积，unidirectional pooling从2D延伸到3D，但仍仅发生在投影方向。有了这个变化，IPN可以输入三维图像，输出二维标签。此外，我们将网络结构模块化，并构建了投影学习模块(PLM)

图3 3D-2D 网络结构

图4 3D到2D 中的网络模块和unidirectional pooling

投影学习模块（PLM）:由三个3D卷积层和一个unidirectional pooling组成。卷积层用于提取图像特征，unidirectional pooling用于沿投影方向选择有效特征。本文中，三维卷积的核大小为3 × 3×3，激活函数为ReLU函数。使用图4(b)所示的unidirectional Max-pooling。参数如表所示

图5 OCTA血流强度信息与RV分割的ground truth。

视网膜血管(RV)分割相关细节：

OCTA可以显示血流信号的强度，视网膜血管中的血流强度更高，如图5所示。RV分割的任务是检测这些血管在投影图方向上的位置，并获得分割结果，如图5(a)所示。视网膜血管主要分布在视网膜表层。虽然在视网膜深层会产生伪影，但如图5 (b)所示，伪影的位置与真实血管在投影方向上的位置一致，因此不会影响视网膜血管在投影图中的显示。
输入数据为3D OCT和OCTA图像，进入网络时占用两个通道。我们使用的光学相干断层扫描和OCTA数据的大小是640像素× 400像素× 400像素。由于计算资源的限制，我们需要将它们拆分成块。块的大小为640 px × 100 px × 100 px，每个OCT和OCTA数据在测试阶段被分成16个块。由于血管在投影图中分布均匀，训练阶段采用随机采样的方法。

图6 (a)OCTA的视网膜中央凹无血管区。(b)ground truth。(c)distance map。(d)训练过程中的权重图采样

视网膜中央凹血管区(FAZ)分割相关细节：

FAZ是一个中央凹内没有视网膜血管的区域。考虑到位置信息对于FAZ分割的重要性，我们在RV分割网络的双输入通道之外，添加了距离图通道(图6(c))作为第三通道。生成距离图。
FAZ细分的一个基本挑战是正负样本的不平衡。FAZ只占投影图的一小部分，而背景占了很大一部分。因此，代替RV分割中的随机采样，我们采用以投影中心为中心的正态分布采样，如图8(d)所示。这样，中心位置被选为训练数据的概率更高，从而增加了正样本的比例。
其他设置与RV分割一致。

三、相关实验

1.数据集

数据集包括来自293个对象的共316个 OCTA 图像和相对应的OCT图像，随机选择200组图像作为训练网络的训练集，16组作为验证集，100组作为测试集。
每个光学相干断层扫描体积的大小为640像素× 400像素× 400像素，对应于以视网膜黄斑区为中心的2 mm × 6 mm× 6 mm的体积。OCTA体积大小为160像素× 400像素× 400像素。OCTA图像的垂直分辨率是OCT图像的1/4，因此我们使用双线性插值将OCTA体积的大小拉伸到640 px × 400 px × 400 px以匹配OCT图像。

2.训练相关参数

深度学习框架	Tensorflow
显卡	NVIDIA GeForce 1080Ti
损失函数	交叉熵
优化器	Adam
最大迭代次数	20k
保存模型	验证集Dice系数达到最佳时保存模型

训练结果就不放了

四、总结

本论文提出了一种新的3D-2D分割网络，可以应用于OCTA图像的RV分割和FAZ分割。引入了unidirectional pooling，将三维数据的有效信息汇总到2D投影平面中。

Image Projection Network: 3D to 2D ImageSegmentation in OCTA Images 论文阅读笔记相关推荐

粗读Image Projection Network: 3D to 2D Image Segmentation in OCTA Images
一个专门针对3D的OCTA图像的分割方法.OCTA详细介绍见左边链接,大致结构如下.整个扫描得到的结果是3D的,其中白色突起是血管,分割任务主要是筛选出中间深黑色部分(整个眼底因为是弧形,所以用立方体 ...
Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
Sentiment Classification towards Question-Answering with Hierarchical Matching Network 论文阅读笔记
Sentiment Classification towards Question-Answering with Hierarchical Matching Network 论文阅读笔记这篇论文介绍 ...
论文阅读笔记--Aesthetics-Driven Stereoscopic 3-D Image Recomposition With Depth Adaptation-2018
论文阅读笔记:美学引导的带有深度适应的立体3D图像重构 I.介绍 II.相关工作 A.单目(2D)图像处理 1)美学驱动的重构(Recomposition) 2)图像分割与抠图(Segment and ...
论文阅读笔记：《Hyperspectral image classification via a random patches network》（ISPRSjprs2018）
论文阅读笔记:<Hyperspectral image classification via a random patches network>(ISPRSjprs2018) 论文下载地址 ...
Capture, Learning, and Synthesisof 3D Speaking styles论文阅读笔记 VOCA
Capture, Learning, and Synthesisof 3D Speaking Styles论文阅读笔记摘要制作了一个4D面部(3D mesh 序列 + 同步语音)数据集:29分钟, ...
Lift Splat Shoot Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D 论文阅读笔记
Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D 论文阅读 ...
解决参考图像分割中的随机性问题：MMNet: Multi-Mask Network for Referring Image Segmentation 论文阅读笔记
解决参考图像分割中的随机性问题:MMNet: Multi-Mask Network for Referring Image Segmentation 论文阅读笔记一.Abstract 二.引言三. ...
LiDAR-based Panoptic Segmentation via Dynamic Shifting Network(论文阅读笔记)
LiDAR-based Panoptic Segmentation via Dynamic Shifting Network(论文阅读笔记) 环形扫描骨干网络.动态漂移.一致性驱动的融合一.重点内容 ...

Image Projection Network: 3D to 2D ImageSegmentation in OCTA Images 论文阅读笔记

Image Projection Network: 3D to 2D ImageSegmentation in OCTA Images 论文阅读笔记相关推荐

最新文章

热门文章