XraySyn: Realistic View Synthesis From a Single Radiograph Through CT Priors

来源：MICCAI2021

摘要

x光照片通过使用x光将病人的内部解剖可视化，x光将三维信息投射到2D平面上。因此，射线照片分析自然需要医生将关于3D人体解剖的先验知识与2D射线照片联系起来。在小范围内合成新的射线照片可以帮助医生更可靠地解释解剖结构；然而，x光照片视图合成严重不适定，缺乏配对数据，并且缺乏可区分的操作来利用基于学习的方法。为了解决这些问题，我们使用计算机断层扫描(CT)进行射线照相模拟，并设计了一种可微分的投影算法，使我们能够在射线X光片和CT域之间实现几何一致的变换。我们的方法，XraySyn，结合真实仿真和微调在真实的X光片合成新的视角X光。据我们所知，这是第一个关于射线照片视图合成的工作。我们表明，通过了解三维空间中的射线照相术，我们的方法可以应用于无基础骨标记物的X线片骨提取和抑制。

介绍

射线照相术被广泛用于可视化人体内部解剖，它使用高能辐射或X射线穿过身体，并在平面探测器上测量剩余的辐射能量。由于不同的器官对X射线有不同程度的衰减，检测到的能量以2D图像或X光片的形式显示出来，揭示了人体的内部结构，并提供了有价值的诊断信息。

射线照相既快速又经济;然而，高能辐射会对健康造成不利影响。传统上，每次只需要一个正面x光片，例如胸部x光片。虽然医生可以直观地将2D x线照片上的不同器官在3D空间关联起来，但这种直觉是隐性的，在准确性上存在差异。因此，x线照片视图合成算法可以帮助提供额外的信息，来帮助理解病人的内部结构。除了提供更多的视觉信息外，理解3D影像的能力也很重要。例如，由于x射线照片上的每个像素都代表了在3D中穿过的x射线，所以将一个像素标记为一个特定的解剖结构基本上是模棱两可的，因为x射线不可避免地会穿过多个结构。在探索3D环境时，我们可以将一个像素分解成代表不同结构的值，从而改进分析算法。特别是，在真实x线片上进行骨提取比较困难，但已被用于骨折分析(Chen et al. 2020)、病变检测(Li et al. 2020)等。我们通过新视图合成和骨提取任务，解决三维x线照片理解。

将2D图像转换为3D对象本质上是不合适的。在自然图像领域，基于深度学习的方法以数据驱动的方式解决了这一问题，取得了令人印象深刻的结果。然而，射线照相视图合成提出了几个独特的挑战。首先，由于隐私和辐射问题，x光片没有多视图数据集，这禁止了监督学习的使用。其次，缺乏一种可微算法，以确保射线照片和3D空间之间的几何一致的转换。最后，与可见光不同的是，x射线可以穿透物体，因此，在3D中，逆x射线投影需要同时考虑表面和内部信息，这使得这个问题比自然图像更不合适，从而给无监督的方法带来了挑战。

尽管在真实的射线照片上直接解决反图形是一项艰巨的任务，但一些尝试已经通过数字重建射线照片(drr)来解决它(Ying et al. 2019;Henzler等人，2018)。DRR (Moore et al. 2011)是来自计算机断层扫描(CT)体积的模拟x线照片，这是大量可用的。这种方法解决了学习2D3D转换的数据稀缺性;然而，真实x线片与drr之间仍存在显著差异。drr的生成也不能纳入基于学习的算法，要么是离线(Henzler et al. 2018)，要么在可用视角方面有严重的限制(Ying et al. 2019)。

  • X2CT-GAN: Reconstructing CT From Biplanar X-Rays With Generative Adversarial Networks.【cvpr2019】
  • Singleimage Tomography: 3D V olumes from 2D Cranial X-Rays.【Comput.Graph2018】
  • A method to produce and validate a digitally reconstructed radiograph-based computer simulation for optimisation of chest radiographs acquired with a computed radiography imaging system.一种用于生成和验证基于数字重建x线照片的计算机模拟的方法，用于优化使用计算机x线照片成像系统获得的胸部x线照片。【2011】

在这项工作中，我们引入了一种新的叫做XraySyn的两阶段算法来估计x光片的3D背景，并将其用于新的视图合成和骨骼提取。XraySyn的第一阶段称为3D PriorNet (3DPN)，包含一对可微分的反向投影和正向投影算子，以学习在模拟环境下的x线照片到CT的转换。这些操作确保了x线片和CT之间的转换几何一致，因此显著降低了学习的复杂性。我们进一步将可微正演投影仪集成到改进的DeepDRR (Unberath等人2018)中，以模拟真实的射线照片，以最小化drr和真实射线照片之间的域间隙。XraySyn的第二阶段称为2D RefineNet (2DRN)，进一步增强了预估的3D CT的投影x线照片。通过使用生成对抗网络(GAN)和剩余连接，2DRN生成了高质量的射线图像视图和它们各自的骨骼结构。总之，我们的贡献可以分为四个部分:

  1. 我们提出了一个可微分的正向投影算子，并将其集成到改进的DeepDRR中，形成一个名为CT2Xray，该管道可以从CT模拟真实的x射线照片，传播梯度，并快速运行。

  2. 我们提出了一个3D PriorNet (3DPN)，它结合了CT2Xray，并通过学习模拟x光片和CT体积之间的配对关系，从单个x光片生成3D背景。

  3. 我们提出了一个2D RefineNet (2DRN)，它对3DPN输出的2D射线照片进行细化。通过利用CT标签和CT2Xray管道的可用性，2D RefineNet不仅可以合成新颖的x线照片，还可以合成相应的骨结构。

  4. 我们在真实的x射线照片上实验了XraySyn，包括3DPN和2DRN，发现尽管在x射线照片领域缺乏直接监督，但视图合成和骨提取的性能在视觉上是准确的。

DeepDRR - A Catalyst for Machine Learning in Fluoroscopy-Guided Procedures.【DRR2018】

相关工作

View synthesis from a single image
自然图像视图合成的研究历史悠久。对于相关性和简明性，我们关注基于单一图像和使用CNN的视图合成的最新进展。处理这种任务的一种方法是以图像到图像的方式生成新视图。一些方法(Chen et al. 2016;Kulkarni et al. 2015)提出生成一个解纠缠的空间，在那里图像可以投射到和修改，以合成新的观点，而其他人(Park et al. 2017;Sun et al. 2018;Tatarchenko, Dosovitskiy和Brox 2016;Zhou et al. 2016)依赖gan生成从原始视图中被遮挡的信息。一般来说，图像到图像的方法是基于视图之间充分的像素对应，这为在图像空间或潜在空间中的恢复提供了理解。这样的像素对应在x射线视图之间要弱得多。从本质上讲，我们的方法更类似于3D形状生成方法(Girdhar等人2016;Choy et al. 2016;Liu et al. 2019;Xu et al. 2019;Gkioxari, Johnson和Malik 2019;Groueix等人2018年)的研究涉及3D表面的生成，与3D体积的生成相比，3D表面的不适性更小。

Radiograph simulation and transformation to CT

由于缺乏多视图x线照片和正确标记它们的困难，需要大量x线照片的数据驱动方法往往转向基于ct的x线照片模拟。而基于成像物理的Monte-Carlo (MC)方法(Badal and Badano 2009;Sisniega et al. 2013;施耐德，伯特菲尔德，和施莱格尔2000)可以导致高度逼真的射线模拟，它们是耗时和不可扩展的。许多作品(Li et al. 2020;戈泽斯和格林斯潘2018;Ying et al. 2019;Albarqouni, Fotouhi和Navab 2017;Campo、Pascau和Est´epar 2018)使用drr来执行诸如骨增强、骨抑制、疾病识别、CT重建等任务，drr不太真实，但计算成本低廉。特别是，Ying (Ying et al. 2019)通过训练额外的域适应网络，解决了drr和真实射线照片之间的差异。Henzler (Henzler et al. 2018)使用在受控环境下获取的真实颅x射线图像来恢复3D骨结构。由于临床证据支持x线片骨抑制可以提高诊断准确性(Laskey 1996)， Li (Li et al. 2020)提出通过学习基于drr的骨分割网络来实现骨抑制，并通过手工后处理将该网络应用于真实x线片。最近，DeepDRR (Unberath et al. 2018)被提出通过复制MC模拟对应的类似程序来更准确地建模DRR生成，并表明在此类模拟中训练的CNN模型能够更好地在真实射线照片上进行概括。

方法

这项工作的主要目标是从正面x光片合成新的视图，这需要一定程度的3D知识。由于多视图数据集在真实的x射线照片中并不容易获得，所以我们提出的XraySyn方法由两个阶段组成。第一阶段通过CT体积在模拟环境下学习估算三维知识。第二阶段将这种学习转化为生成真正的射线照片。

这种方法所面临的挑战是如何最好地解决从模拟x线照片到CT体积的转换，同时确保输入x线照片可以从这种体积复制。我们首先解释了能够学习这种转换的提议操作符，ct2Xay和单图像反向投影仪。然后我们介绍了XraySyn，它结合了两个操作符，X片——》CT——》X片。

CT2Xray

CT2Xray，如图2所示，有两个部分:(i)可微正投影;(ii)基于衰减的x线模拟，与第一部分一起形成CT2Xray，并将CT体积转换为真实的x线照片。据我们所知，CT2Xray是第一个可以通过沿任意视点梯度传播的CT体生成真实射线照片的算法。

图2:XraySyn的两级网络结构。

  • 在第一阶段(上)，模拟x线片从视图T反投影(BP)，并通过3DPN进行优化，以获得CT和骨掩膜估计、Vct和Vmask。通过CT2Xay、vct和Vmask从T视图前向投影(FP)计算组织和骨含量TCTbone和TCTtissue，用于模拟新型视视角X光片。
  • 在第二阶段(下)，TCTbone和TCTtissue通过训练的3DPN生成，通过2DRN进行细化，并用于生成新的视图。

Differentiable forward projector (FP)
可微分正向投影
设Vct表示CT图像，FP生成VC的2D投影:

  • T：控制视点旋转和平移的齐次矩阵
  • l（x）：是连接模拟x射线源和探测器在x处的线段。

对于反向传播，I关于Vct的梯度可以写成：

(1)和(2)方程可以通过gpu大规模并行执行，其中每条线的体积积分都是一个独立的操作;因此，这种实现可以用于在线训练。

CTX2ray
正向投影的CT体积会产生drr，这是对x射线图像的不好模拟，因为假设是不同的组织对x射线的衰减相似是不准确的。DeepDRR (Unberath等人2018)通过避免这种假设，产生了更好的模拟，但它是不可微分的，因此不适合端到端学习。我们提出了可微的Xray模拟成为CT2Xay，它集成了可微分的正向投影仪，并产生了更真实的射线照片。
在DeepDRR中，实际的x光衰减：

  • µ(m, E)：是材料m在能量状态E下的线性衰减系数，并且是测量的和已知的
  • Tm是材料厚度。
  • SE是散布估计项,I0是源X射线强度。为了简单起见, SE和I0与噪声一起被省略。

CT2Xray仅考虑骨和组织材料，即m∈{bone，tissue}。借助于骨掩模Vmask并使用可微分的前向投影器，它计算材料厚度关于投影参数T：

射线照片通常作为测量衰减的逆置版本存储和查看；因此，CT2Xray可以表示为：

Single image backprojector (BP)
单幅图像反投影器

当CT2Xray从CT体积生成射线照片时，需要反函数将射线照片转换回相应的CT体积。这样的转变显然是不适定的；然而，我们可以公式化前向投影仪的反函数，以将输入的X射线图像正确地放置在3D中。我们称这样的反函数为Single image backprojector。遵循来自通用反投影算法的类似公式，如(Kinahan，Defrise和Clackdoyle 2004)中所述，该算法从多视图射线照片重建CBCT，单图像反投影器(BP)表示如下:


通过将VTbp (7)代入VCT (1)，在视图T下恢复相同的I，因此我们将以这种方式获得的VTBP表示为视图T下I的反投影。虽然相同的图像方向一致性通常不适用于CT2Xray，即，将(7)代入(5)不会恢复I。我们表明，通过使用CNN来补充单个图像反投影器，由于几何一致性，可以更好地近似这种一致性。

XraySyn

XraySyn分两个阶段进行训练，如图2所示。模拟阶段训练射线照片到计算机断层扫描的转换网络，称为3D PriorNet，并在CT2Xay的帮助下，从估计的计算机断层扫描生成射线照片视图。真实射线照片阶段，训练2D RefineNet，然后进一步缩小模拟和真实射线照片之间的区域差距。由于需要计算与材料相关的衰减，我们还获得了将标签从CT域转移到射线照片域的能力，在我们的情况下是使用CT骨标签，并在真实射线照片上实现骨提取。

3DPriorNet（3DPN）
在模拟设置下，单幅图像背投器从输入视图射线照片IT产生VT BP，CT2Xray从vct和vmask产生期望的视图射线照片IT’；为了完成端到端的射线照片到CT的生成，需要一个函数G来从VBPT中恢复VCT和vmask。数学上，射线照片和CT之间的生成过程可以表示为:

其中θ表示G中的参数。

我们使用3D UNET(C Ageic Ageek等人)。2016)用来做G的结构。训练G的损失函数需要确保CT域和X线域的一致性，定义如下：


其中，λCT、λMASK和λT X射线是权重；
LCT、L MASK和LT Xay定义为：

  • CE：是交叉熵损失

  • 与

    相似

2D RefineNet (2DRN)

虽然3DPN G从x光片估计了一定程度的3D背景，但由于不适的性质，这样的估计在质量上是粗糙的，在分辨率上是由于记忆限制。此外，真实射线照片与模拟射线照片之间存在区域间隙。为了解决这些问题，引入了第二个阶段，称为2DRN。2DRN有两个目标:(i)从3DPN的输出产生分辨率更高的真实射线照片，(ii)在TCTm上做小的改进，这样我们仍然可以获得输出射线照片的物质分解。从概念上讲，2DRN可以被理解为增强的、可学习的ct2Xay的一部分。2DRN由两部分组成。主精炼网络F基于残差密集网络(RDN) (Zhang et al. 2018);另外，利用全卷积网络M直接从输入的IT生成F中的某些卷积层参数。M是为了在shuffle时防止丢失高层信息。总的来说，对tCT m的细化表示为:

其中φ和M(IT in)代表f中的参数。

增强的CT2Xay：（在公式5中将tmct替换）

最后合成的视图结果

LSGAN为了确保
当T 0和T相对接近时。2DRN的整体损耗函数描述为:

论文阅读：XraySyn: Realistic View Synthesis From a Single Radiograph Through CT Priors相关推荐

  1. [论文解析] NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors

    用语言引导的diffusion作为通用图像先验的单视角NeRF合成 Overview What problem is addressed in the paper? Is it a new probl ...

  2. 论文阅读：Automatic Detection and Classi cation of Teeth in CT Data

    [论文信息] MICCAI 2012 会议论文 文章实现了中全自动的牙齿检测和分类,对象为CBCT/MSCT,实验数据集是43套临床头部CT图像. 主要是两个步骤: 1. 分割上颌骨: 2. 分成16 ...

  3. 论文阅读：CVPR 2022 Object Localization under Single Coarse Point Supervision

    任务:point-based object localization (POL) Motivation:具有相同语义信息的点具有不同的标签.而其他方法预先定义的关键点可能是不准确的.因此本文提出来基于 ...

  4. 【论文笔记】Generative Adversarial Frontal View to Bird View Synthesis - 论文阅读笔记

    [论文笔记]Generative Adversarial Frontal View to Bird View Synthesis 这篇论文是一篇发表在3DV会议上的文章,提出了基于GAN进行视角迁移与 ...

  5. 【论文阅读】NeRF: Representing Scenesas Neural Radiance Fieldsfor View Synthesis

    NeRF是一篇发表在ECCV 2020的一篇文章,并获得了当年Best Paper称号.该技术一经提出就惊艳了众人,NeRF目前也是计算机视觉领域一个非常有趣并且火热开展的研究方向.博主本人后续的研究 ...

  6. 论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

    目录 文章摘要 1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示) 2 Volume Rendering with Radiance ...

  7. 论文阅读——Towards Adversarial Retinal Image Synthesis

    论文阅读--Towards Adversarial Retinal Image Synthesis GAN用于视网膜图像合成 Abstract 眼底图像的合成十分具有挑战性,传统方式借助复杂的眼底解剖 ...

  8. 文献翻译阅读-NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

    目录 信息 简介 相关工作 神经3D表示 视角合成和基于图像的渲染 方法 体渲染技术(用离散形式表示连续积分) 优化神经场的技术 位置编码 分层体积抽样 实施细节 结果 结论 参考 信息 NeRF,即 ...

  9. 读论文12——NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis

    目录 Abstract Introduction Related Work Neural Radiance Field Scene Representation Volume Rendering wi ...

最新文章

  1. php使用TCPDF生成PDF文件教程
  2. python 执行报错AttributeError: 'list' object has no attribute 'g'
  3. Python几个简单好用的基础功能
  4. cocos2d-x初探学习笔记（6）--场景间切换效果
  5. php datediff 函数,dateAdd与DateDiff函数的js代码
  6. Python自动化测试|如何解决前置模块及数据依赖（二）
  7. 如何将应用打包成为 Docker 镜像？
  8. ok计数器使用教程_玩转透视表！Excel教程 Excel入门 Excel技巧 Excel快捷键 Excel学习！...
  9. 在c语言中合法标识符的第一个字符必须是,c语言合法标识符判断规则是什么？...
  10. 一些关于angular的总结
  11. Android 设置闹铃步骤和基础代码
  12. 尔雅 科学通史（吴国盛） 个人笔记及课后习题 2018 第五章 欧洲科技文明的起源
  13. 腾达ac5服务器无响应,腾达路由器AC6告诉你WiFi设置5大误区
  14. 中国医科大计算机在线作业答案,16秋中国医科大学《计算机应用基础（中专起点大专）》在线作业标准答案包100分...
  15. 用SPSS-Modeler分析银行信用风险评分方法
  16. EasyUi入门教程01
  17. 实验吧--天网管理系统
  18. Work20230405
  19. Excel读写合集：Excel读写小白从不知所措到轻松上手
  20. 【Transformer专题】一、Attention is All You Need（Transformer入门）

热门文章

  1. php情书之笛卡尔的情书,笛卡尔的情书
  2. 揭秘4G拨号背后的“秘密”
  3. java 订单号 前缀_JAVA-生成有序自定义前缀加时间订单编号
  4. 中石油股票何时上市和 中石油股票上市交易 中石油股票上市价
  5. iOS RSA公钥加密数据 服务端接受PHP私钥解密 反过服务端公钥加密数据 iOS端私钥解密数据
  6. chrome v8引擎
  7. oracle dmp文件读取,从dmp文件恢复数据库
  8. 企业选择OA系统的好处有哪些？该如何选择？
  9. 摩拜胡玮炜卸任CEO了！破产大潮下，一个造富假象的破裂
  10. Flink CEP 在抖音电商的业务实践