3D Auto-Context-Based Locality Adaptive Multi-Modality GANs for PET Synthesis

为了最大程度地减少 PET 扫描固有的示踪剂辐射引起的潜在健康风险，从低剂量合成高质量的 PET 图像以减少辐射暴露是非常有意义的。本文提出了一种基于 3D 自动上下文的局部自适应方法多模态生成对抗网络模型（LA-GANs）可从低剂量合成高质量的 FDG PET 图像，并附带提供解剖信息的 MRI 图像。我们的工作有四个方面。首先，与传统方法不同，传统方法将图像模态作为输入通道进行处理，并应用相同的内核对整个图像进行卷积，因此，不同模态的贡献可能会在不同的图像位置发生变化，因此对于整个图像而言，统一内核并不是最佳的。为了解决这个问题，我们提出了一种多模态融合的局部自适应策略。其次，我们利用 1×1×1 内核来学习这种局部适应融合，从而使我们的磁盘磁盘产生的附加参数数量最少。第三，在 3D 条件 GANs 模型中与 PET 图像合成一起学习了建议的局部适应融合机制，该机制通过使用大尺寸图像斑块和分层特征来生成高质量的 PET 图像。第四，我们将自动上下文策略应用于我们的方案，并提出了一种自动上下文 LA-GAN 模型，以进一步完善合成图像的质量。

综述

作为一种核成像技术，正电子发射断层扫描（PET）可以实现人体代谢过程的可视化，并已越来越多地用于疾病诊断和干预的临床。通过检测从注入人体的放射性示踪剂间接发射的伽玛射线对，PET 系统通常使用制造商提供的软件对发射源进行三角测量，从而重建人体中示踪剂浓度的 3D PET 图像。通常，需要使用全剂量示踪剂才能获得诊断质量的 PET 图像。但是，放射性暴露不可避免地引起对潜在健康危害的担忧。对于经历多次 PET 扫描作为治疗一部分的患者，风险是累积的。为了解决辐射问题，一些研究人员已尝试在PET扫描过程中减少示踪剂的剂量（例如，使用全剂量的一半）。由于 PET 成像是一个量子积累过程，因此降低剂量不可避免地会涉及不必要的噪声和伪影，从而在一定程度上降低 PET 图像的质量。低剂量 FDG PET（L-PET）图像涉及更多的噪音，更少的功能细节。这种 L-PET 图像可能无法满足诊断要求。因此，从低剂量的图像合成高质量的 F-PET 图像以减少放射线照射并同时保持图像质量非常重要。

现代PET扫描通常会伴随其他方式，例如计算机断层扫描（CT）和磁共振图像（MRI）。通过结合功能和形态学信息，PET / CT 和 PET / MRI 系统可以提高各种恶性肿瘤的诊断准确性。先前的研究还表明，多模态数据为医学图像质量增强带来了好处。在本文中，为了将解剖学信息整合到PET合成中，我们建议从 L-PET 图像和随附的 MRI（包括 T1 加权 MRI（T1-MRI）和弥散张量图像（DTI））合成高质量的 F-PET 图像。

F-PET图像合成已经有几篇著作。（这里作者列举了基于传统方法的几个例子）尽管这些方法在低剂量下表现出良好的性能，可增强PET图像质量，但仍有两个主要缺点限制了潜在的临床可用性。第一个是它们都基于小块，而每个体素的最终估计是通过平均重叠的块来确定的。这种策略不可避免地会导致图像过于平滑，而缺少典型 F-PET 图像的纹理，从而限制了合成图像中小结构的定量。另一个缺点是这些基于体素的估计方法通常需要在线解决大量优化问题，因此在对新主题进行测试时非常耗时。

方法

在本文中，受 GAN 吸引人的成功的启发，同时也为了解决当前多通道深度架构用于模式融合的局限性，我们提出了一种基于自动上下文的“位置自适应”多模式 GAN（LA-GAN）模型从 L-PET 和随附的多峰 MRI 图像（包括 T1-MRI 和 DTI）合成 F-PET 图像。请注意，常见的 DTI 度量包括分数各向异性（FA），平均扩散率（MD），径向扩散率（RD）等。这里，我们从扩散图像计算 FA 和 MD 图像以进行 F-PET 图像合成。

我们提出的 LA-GANs模型如图所示，它由三个部分组成：1）局部自适应融合网络，2）生成器网络，和 3）鉴别器网络。具体地，局部融合网络以 L-PET，T1-MRI，FA-DTI 和 MD-DTI 图像为输入，并通过在不同图像位置学习不同的卷积核来生成融合图像。之后，训练生成器网络以从融合图像生成合成的 F-PET，而鉴别器网络随后将一对图像作为输入，即 L-PET 和真实或合成的 F-PET，目的是区分实数对和合成对。如果辨别器能够轻松地区分它们，则意味着合成的 PET 图像与真实图像不太相似，并且还应进一步改善融合网络和生成器网络以产生更逼真的合成。否则，应增强鉴别器。因此，这三个网络与鉴别器同时进行训练，试图正确地区分真实数据和合成数据，而融合网络和生成器网络则试图产生可欺骗鉴别器的逼真的图像。

结论

本文用 GAN 由低剂量 PET 生成高剂量 PET，主要创新点在于对 3D 图像局部进行分别卷积。

[TMI2019-06]3D Auto-Context-Based Locality Adaptive Multi-Modality GANs for PET Synthesis相关推荐

Waymo离线点云序列3D物体检测网络 (3D Auto Labeling)： Offboard 3D Object Detection from Point Cloud Sequences
本文介绍一篇Waymo基于点云序列的3D物体检测网络:3D Auto Labeling,论文已收录于CVPR 2021. 这里重点是理解本文提出的 Object-centric Auto Labeli ...
Context Based Face Spoofing Detection Using Active Near-Infrared Images(论文翻译)活体检测相关
摘要 - 在本文中,借助可控的有源近红外(NIR)光,我们构建了近红外差分(NIRD)图像.基于反射模型,NIRD图像被认为包含具有和不具有活动NIR光的图像之间的光照差异.基于NIRD图像的两个主 ...
High Capacity Reversible Data Hiding in Encrypted Image Based on Adaptive MSB Prediction
论文阅读题目:<High Capacity Reversible Data Hiding in Encrypted Image Based on Adaptive MSB Prediction ...
【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network
对于遥感图像的超分辨率,本文提出了一种自适应多尺度特征融合网络(AMFFN). AMFFN 可以直接从原始低分辨率图像中提取密集特征,而无需任何图像插值预处理.串联几个自适应多尺度特征过滤块(AMFE ...
❀论文篇❀Context Based Emotion Recognition Using EMOTIC Dataset论文翻译
摘要在我们的日常生活和社会交往中,我们经常试图感知人们的情绪状态.已经有很多在为机器提供类似的识别情绪的能力方面有很多研究.从计算机视觉的角度来看,以前的大部分努力都集中在分析人的情绪状态.在某些情 ...
[阅读笔记]Zhang Y. 3D Information Extraction Based on GPU.2010.
1.立体视觉基础深度定义为物体间的距离视差定义为同一点在左图(reference image) 和右图( target image) 中的x坐标差. 根据左图中每个点的视差得到的灰度图称为视差图. ...
Deformable 3D shape registration based on local similarity transforms
本质上是shape matching的as similar as possible版本它的主要贡献在于, 找到一种方法使displacement field尽量平滑, 具体的做法就是公式7, 使每个 ...
A Novel Lip Descriptor for Audio-Visual Keyword Spotting Based on Adaptive Decision Fusion（2016）
摘要当应用于噪声剧烈变化的现实环境时,关键词识别仍然是一个挑战.在最近的研究中,由于视觉语音不受噪声的影响,视听一体化方法已显示出优越性. 然而,在视觉语音识别中,个体的话语习惯会导致混淆和错误识别 ...
Improved 3D Object Detector Under Snowfall Weather Condition Based on LiDAR Point Cloud
Improved 3D Object Detector Under Snowfall Weather Condition Based on LiDAR Point Cloud Method Doubl ...
[CCPNet]Cascaded Context Pyramid for Full-Resolution 3D Semantic Scene Completion
[CCPNet]Cascaded Context Pyramid for Full-Resolution 3D Semantic Scene Completion 摘要 Cascaded Contex ...

[TMI2019-06]3D Auto-Context-Based Locality Adaptive Multi-Modality GANs for PET Synthesis

3D Auto-Context-Based Locality Adaptive Multi-Modality GANs for PET Synthesis

综述

方法

结论

[TMI2019-06]3D Auto-Context-Based Locality Adaptive Multi-Modality GANs for PET Synthesis相关推荐

最新文章

热门文章