1. 3D-2D 配准方法调查研究

1.1 概述

图像配准方法可以根据图像模态、图像维度、配准偏好(nature of registration basis)、几何变换、用户交互、优化策略、患者、配准目标进行分类。本文综述的论文主要是3D CT/MRI 与 2D X-ray进行配准。

1.2 图像模态(image modality)

1.3 图像维度(image dimensionality)

为了实现3D-2D的配准，两个数据需要有一致的维度关系。我们可以将2D数据转化为3D数据，或者将3D数据转化为2D数据从而达到维度统一。前一种策略将会以2D-2D配准为主，后一种策略主要以3D-3D配准为主。维度统一问题可以通过投影法、反投影法、重建法得到解决。

1.3.1 采用投影法策略统一数据维度

投影法策略下，将手术前的3D 体数据投影成N个2D平面。

1.3.2 反投影策略统一维度

术中采集到的2D 实时数据，经过反投影变换得到3D 数据，再与术前的3D体数据进行对比优化。

1.3.3 三维重建策略统一维度

术中实时采集到2D 数据序列，经过三维重建算法得到实时的术中3D 数据，在与术前的3D 数据进行3D-3D配准。

在临床实践过程中，由于要考虑放射剂量的约束，配准的时间同配准精度一样都是需要着重考虑的问题。由于获取多个 2D 数据以及重建时间消耗，这就限制了重建法的应用。我们知道，三维图像重建至少需要2张2D数据，并且2D图像越多重见效果越好，配准精度越高，但这和实际情况是相违背的。相比较之下，投影法与反投影法都只需要一张2D数据就可以完成2D-3D图像配准工作。

1.4 配准的特征基础(nature of registration basis, intrinsic/extrinsic)

忽视“维度统一”进行3D-2D配准的方法，我们可以基于外部特点、固有特点或者联合特征进行配准。固有的特点也可以进行分类，基于解剖特征(feature-)/基于图像灰度(intensity-)/基于梯度(gradient-based)。

1.4.1 基于外部标识物的配准方法(Extrinsic 3D-2D registration method)

外部标记点方法依赖人工目标，如立体的框架、皮肤上的标志物。标志物通常使用球形结构(不锈钢实心球、充满水溶液的塑料球、金种子等)，该标记物可以在术前3D图像或术中2D图像很容易地检测到。立体框架(stereotactic frames)和骨植入标记物都是附着在人体骨骼上，由于刚性作用，非常稳定。相比较之下，皮肤标记物以及体内软组织移植物会受到呼吸作用/软组织形变而移动。然而，在放射性治疗或者放射外科手术中，采用热消融软组织上的肿瘤时，基于标记物的配准方法是一种常用的策略。例如，2005年Choi等人在肝脏上的研究；此外，在肺部、前列腺等的研究也有先例。这些软组织部位附近没有骨质结构可以提供可靠地参考。

上述的三种策略也会被应用于此处的配准工作，实现“维度”统一。2000年 Shirato等人将投影策略引入基于外部特征的配准。进行配准时，将带有位置标志物的3D数据进行投影，得到投影2D数据。同样也是2000年，Tang等人采用反投影策略研究基于外部特征的配准。2002年Litzenberg等人，2004年Aubry等人也将重建策略引入研究。

基于外部特征的配准方法具有直接、速度快的优点。这是由于我们需要研究的数据量稀少(只关心标记物)，而且不需要十分复杂的优化算法。该方法最为关键的一步在于准确识别和分割标记物，无论实际操作过程中我们是采用人工手动分割还是图像算法自动分割。

虽然，对于患者而言，将体外标识物植入体内是不便利并且侵入的；但是，基于外部标识物的配准方法具有非常高的强度，所以该方法也会作为验证其他配准方法的金标准。然而，我们必须需要注意的目标配准误差(Target Registration Error,TRE)这个评判量，如果标识物距离目标区域很远，就会出现，标识物附近，目标配准误差很小，远离标识物，目标配准误差极大地增加，进而导致配准失败。

虽然，基于外部标识物的配准方法是十分有效的，该方法最主要的弊端在于无法进行回访性地分析。因为每一次，标识物必须在采集术中2D之前，植入标识物。

1.4.2 基于本质特征的配准方法(Intrinsic 3D-2D registration method)

基于本质特征的配准方法依赖于图像的解剖结构。根据本质特征的含义，我们该出了更为详细的分类：基于结构特征的配准方法(feature-based)、基于灰度的配准方法(intensity-based)、基于梯度的配准方法(Gradient-based) 。对于每一种方法，投影、反投影、重建策略都可以被应用到“维度统一”的问题上。

1.4.2.1 基于解剖特征的配准方法(Feature-based Registration methods)

基于2D-3D的解剖结构特征配准方法就是为了找到一个最优的变换T，可以最小化3D 解剖特征(从术前3D数据中提取)与相应的2D特征之间的距离。这些特征是几何实体，如孤立点、点集形成的曲线、轮廓线或者平面。通过图像分割的方法提取几何特征可以减少大量的数据量，反过来会加快配准的速度。所以，基于特征的2D-3D配准方法，他的精度直接取决于图像分割的精度。

为了减弱不准确分割的影响，相关研究人员(Wunsch等)提出了处理错误几何匹配或者差异的方法。基于特征的配准方法还可以进一步的分为Point-toPoint、Curve-to-Curve和Curve-to-Surface的配准。

Point-to-Point是最简单的基于特征的配准方法。当建立起点匹配，基于外部标识物的配准方法也可以被使用。基于“点对点”的特征配准方法严重的依赖操作者的技巧，这是因为我们很难发现这样一个点，在术中的二维图像中并且可以与术前3D 图像中的解剖标记点恰好相关。然而，基于“点对点”的配准方法通常会作为配准的初始，然后可以执行更为精确的2D-3D配准方法。

无论是采用哪一种“维度统一”策略，我们都可以通过“Curve-to-Curve”、“Curve-to-Surface”方法避免在3D数据集与2D数据集之间进行“点匹配”。当采用投影方案时，使得，经3D投影得到的2D封闭轮廓/曲线与术中2D图像采集到的图像曲线相匹配(即距离最小)。采用反投影方案时与重建方案类似。

采用点匹配的方法，一定要可以求取两个特征数据集的距离。点匹配最常用的是最小化欧拉距离。此外，还有更多的方法正在研究和被提出。当然我们也可以看到，这些方法对奇异点都是相当的敏感的，目前一些健壮的方法(M-estimator、Tukey weighting function、the Voronoi diagram)已经被应用去减少极端数据的影响。当然，我们也可以采用一些先验知识直接取出这些极端数据。ICP-like(Iterative closest point)配准方法也可以拓展成一个统计的框架，该配准框架并不是简单地二值匹配关系，不仅仅存在“匹配”“不匹配”两种情况，而是用概率的方法去形容匹配程度。

通过“文库”(library-based)配准方法也可以应用于特征匹配。首先，生成一个2D模板文库，用来提前定义变换参数集合，对于刚体而言，就是平移和旋转。因此，每一个文库都代表着3D 体数据变成特定的2D 数据的那个特定的变换。模板可以为傅里叶描述子、奇点图、2D轮廓等。该方法的精准度主要取决于模板的分辨率。

1.4.2.2 基于灰度的配准方法(Intensity-based 2D-3D registration method)

1.4.2.3 基于梯度的配准方法(Gradient-based 2D-3D registration method)

1.5 联合配准

1.6 用户交互

A review of 3D/2D registration methods for image-guided interventions(2)相关推荐

A review of 3D/2D registration methods for image-guided interventions(1)
1.摘要(Abstract) 对于影像引导的放射性治疗(Image-guided radiation therapy).放射外科手术(radiosurgery).微创外科手术(minimally in ...
Combining Visual Cues with Interactions for 3D–2D Registration in Liver Laparoscopy翻译
Combining Visual Cues with Interactions for 3D–2D Registration in Liver Laparoscopy翻译 0. 摘要 1. 介绍 2. ...
《Image registration methods: a survey》论文翻译
这几天精读了论文<Image registration methods: a survey>,给大家做了一下翻译~~~ 添加链接描述图像配准方法综述摘要本文对近年来经典的图像配准 ...
image 3d view HTML5,Cute Slider - 3D 2D HTML5 Image Slider
IMPORTANT! We can NOT provide support for this item since Feb 2015. If you would like to use our ite ...
[HSI论文阅读] | HybridSN: Exploring 3-D–2-D CNN Feature Hierarchy for Hyperspectral Image Classification
仅整理个人和组里对下文引用的论文(HybridSN)的学习所获,如有错误,感谢指正~ 更新记录 ⭐️ 2021.3.6 -- 关于本文2.2.2节卷积层参数的计算 ⭐️ 2021.3.8 -- Hyb ...
【CRR-FMM】A Concise Review of Recent Few-shot Meta-learning Methods
[CRR-FMM]A Concise Review of Recent Few-shot Meta-learning Methods 1 Introduction MindMap 2. The Fra ...
浏览器端大屏百度地图常用控件 3D/2D 测距地图风格卫星地图路况...
前提:成为百度地图开发者并获取的百度地图key https://lbsyun.baidu.com/ 示例: https://lbsyun.baidu.com/jsdemo.htm#aCreateMap ...
36套模具3D+2D原图+结构图
36套模具3D+2D原图+结构图链接:https://pan.baidu.com/s/16JoMTON8cjhZQ6X6QJGicA 提取码:047v
论文阅读：Disp R-CNN:Stereo 3D Object Detection via Shape Prior Guided Instance Disparity Estimation
Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance Disparity Estimation 摘要(理解) 作 ...

A review of 3D/2D registration methods for image-guided interventions(2)