摘要

提出了用于实时2-D / 3-D注册的卷积神经网络（CNN）回归方法：（在这之前好像还没有将CNN应用在实时2-D / 3-D配准上）
该方法利用了嵌入在数字重建射线照相和X射线图像中的信息，并使用CNN回归器直接估算了转换参数
提出了一种自动特征提取方法，用于计算对回归变量敏感，而对其他因素具有鲁棒性的三维位姿特征。
CNN回归器针对局部区域进行训练，并以分层方式应用，以将复杂的回归任务分解为可以单独学习的更简单的子任务
与基于强度的方法相比，该方法在计算效率上的优势是配准精度的降低可忽略不计。

介绍

文献中大多数现有的2-D / 3-D配准方法都是基于优化的，其中，迭代地更新转换参数以优化反映配准质量的目标函数。
本论文不是基于优化？ 本文利用了嵌入在数字重建射线照相和X射线图像中的信息，并使用CNN回归器直接估算了转换参数，迭代秀优化网络的参数。
本文配准焦点在：将3d模型的模拟X射线衰减映射图与术中实时2d的X射线图进行配准。

根据要优化的目标函数，基于优化的方法可以进一步分为基于强度的方法和基于特征的方法：

基于(优化)强度的方法： 是通过模拟虚拟X射线的衰减，从3-D X射线衰减图得出模拟的X射线图像，称为数字重建射线照片（DRR）[3] [4]。采用优化器以最大化DRR和X射线图像之间的基于强度的相似性度量。基于强度的方法被广泛采用，主要是因为它们具有很高的准确性[5]
优点： 高精度，
缺点：计算花费大： 由于基于强度的方法需要对相似性度量进行大量的评估，每种方法都需要在DRR渲染中进行大量的计算，因此它们的典型结果是运行时间超过了1s，实时能力不佳； 捕捉范围小： 因为基于强度的方法中要优化的相似性度量通常是高度不凸的，所以优化器极有可能陷入局部最大值，从而导致这些方法的捕获范围较小。
- 捕捉范围小解决方法通常是：参数初始化方法，初始化方法通常利用目标对象的主要特征进行姿态恢复，因此它是针对非常特定的应用。
- 加速DRR渲染的策略：：1) 稀疏采样 2） splatter(飞溅法)：是一种基于体元的体绘制技术，直接将单个体元投影到成像平面上。只允许使用超过一定阈值的体元来进行绘制。这种方法通常会降低配置精度。
- 监督学习应用在学习相似性度量上:能够有更好的捕捉范围或者精度，但是无法解决计算花费。

个人理解，基于学习的方法配准耗时短，是将基于优化方法需要在每次配准都需要进行迭代优化过程的计算花费，通过回归等方式转化到了训练阶段。这与VoxelMorph论文中的理解一致

本文提出了一种CNN回归方法 ，分层学习姿势估计（PEHL），以实现具有较大捕获范围和高精度的实时2-D / 3-D配准。本文首先通过三种策略来简化非线性关系，然后使用CNN回归器来捕捉映射。

Local image residual ：类似于3-D pose-indexed 只受初始参数和真实参数之间的差异影响
Parameter space partitioning ：将变换参数空间划分为很多小区域，对每个小区域进行回归器的训练
Hierarchical parameter regression：分解变换参数并用层级方式进行回归

问题描述

介绍2D/3D配准的背景，以及将配准问题描述成回归问题，并进行公式化

X-Ray成像模型

I(p)是X射线图像点p的灰度强度，L(p,r)表示从X-ray光源到点p的射线，μ（·）衰减系数

J()表示要成像的物体的X射线衰减映射，T表示从对象坐标系到X射线成像坐标系的3-D转换矩阵。

在2-D/3-D配准中，L由X-ray成像系统决定，J由3-D数据提供（CT,MRI等），变换T根据输入的X射线图像估计。
（ rigid-body ）3-D Transformation Parameterization
通过具有6个分量的矢量t对刚体3-D变换T进行参数化：本文通过三个平面内(in-plane:t_x, t_y,t_θ)和三个平面外(out-of-plane：t_z, t_α,t_β) 转换参数来参数化变换T.

in-plane: 平面内变换参数的影响接近于二维刚体变换
out-of-plane： 平面外参数平移和旋转的影响分别是缩放和形状变化 ？？？

2-D/3-D Registration via Regression
转换参数为t的X射线图表示为 I_t

The inputs for 2-D/3-D registration
L和J在下面公式被省略，因为，他们对于给定的2d-3d配准任务是不变的。
1 ) 3-D对象的X射线衰减映射J
2 ) X射线图像I_tgt，其中t_gt 表示未知的真实转换参数，求的参数
3 ) t_ini 初始化转换参数

2-D/3-D Registration的目的是计算真实的 t_gt，问题可表示为一个回归问题：

t_gt 就可用如下公式来计算：

基于公式4，进一步表示为：

问题进一步转化为需要构建一个特征提取器X()，和一个回归器f()将特征映射到映射回归到参数的残差

通过分层学习进行姿态估计

这章1.2小节将如何提取特征X()的细节,第3节是讲将参数空间进行划分，再针对每个划分区域进行回归训练，最后是回归模型的结构。

参数空间分割（Parameter Space Partitioning ）
由于特征自然取决于t，因此目标映射可能随 t 的变化而显着变化，这使其高度复杂且难以准确恢复，因此,作者想提取一个对参数残差δt敏感，对参数t不敏感的特征。此类特征被称为位索引特征，并且该特征可以表示为：

作者将在III-B部分中展示的那样，使用ROI使X()对平面内参数和缩放参数（t_x,y,z,θ）保持不变（为什么？因为这四个参数的改变，只会让物体呈现的像在成像平面上进行平面内平移，缩放或者内面内旋转，不会改变物体成像形状。但是其他两个参数改版会大幅改变物体的成像形状）
但是,不能使X()对对 t_α 和 t_β 不敏感，为了解决这个问题，对 t_α 和 t_β 划分成18x18个网格（每个网格20x20度），针对每个区域进行提取LIR特征，回归其因此也分别的为每一个区域训练恢复这个简化的对 t 不敏感的映射。(为什么，这样划分后，就可能满足对t不敏感了？
下文的解释是：在一个小的局部区域，这两个参数的变化近似于2D变换。这样H()就近似于对 t 不敏感)
为何这样操作就能达到对t不敏感？？？
局部图像残差：Local Image Residual (LIR)

**LIR特征的计算：**是变换参数为t的DRR渲染图 I_t 和X射线图像 I_t+δt 在局部块上的差

H_p^t()在ROI中提取图图像块。
提取3-D Points
计算lir特征所用的3-D点分两步分别为每个区域提取。
第一步，提取对应于2-D边缘的-3-D点作为候选，具体来说，通过对合成X射线图像（即使用DRR生成的图像）中具有高梯度幅度的像素进行阈值提取来提取候选对象，然后将它们反投影到相应的3-D结构
第二步，筛选候选点，以便仅保留满足 LIR（7）且没有明显重叠的候选点。本文做法是，通过分别在捕捉范围内随机化M个t和δt，然后，计算特征候选点对参数t和δt的敏感性通过下面两个公式。（类似于均方差的计算方法，特征候选点对所有参数对计算）

根据需要 E_i 小， F_i 大，综合看可以通过 F_i / E_i 排序，选取排名靠前的候选LIR特征。

层次回归
把六个参数分成三组：
在一组参数被回归后，使用已经估计的参数来重新计算特征值X，以便将参数回归到下一组中,
CNN回归模型
回归模型比较简单，类似与一个LeNet5的结构，对于一个区域fig 3中的CNN权值共享，应为每个通道具有相似的属性，而CNN起到进一步提取深层次特征的作用，所以可以进行权值共享。

论文笔记：A CNN Regression Approach for Real-Time 2D/3D Registration相关推荐

[深度学习论文笔记]Multimodal CNN Networks for Brain Tumor Segmentation in MRI
Multimodal CNN Networks for Brain Tumor Segmentation in MRI: A BraTS 2022 Challenge Solution MRI中用于脑 ...
[论文笔记]基于 CNN+双向LSTM 实现服饰搭配的生成
论文:<Learning Fashion Compatibility with Bidirectional LSTMs> 论文地址:https://arxiv.org/abs/1707.0 ...
【论文笔记】CNN for NLP
什么是Convolutional Neural Network(卷积神经网络)? 最早应该是LeCun(1998)年论文提出,其结果如下:运用于手写数字识别.详细就不介绍,可参考zouxy09的专栏, ...
【论文笔记】A Unified Approach for Tracking UAVs in Infrared
摘要本文设计了一个统一的框架来追踪无人机,包括局部追踪器.相机运动估计模块.边界框回归模块.重检测模块和更新模块. 相机运动估计模块对局部追踪器运动做补偿,然后边界框回归模块来找到一个精准的边框.如 ...
【论文笔记04】Model-driven approach for the design of multi-chainsmart contracts—用于设计多链智能合约的模型驱动方法
A. Barišić, E. Zhu and F. Mallet, "Model-driven approach for the design of Multi-Chain Smart Co ...
【深度学习】步态识别-论文笔记：（ICCV-2021）用于步态识别的3D局部卷积神经网络
这里写目录标题论文详情概述达摩院视频讲解笔记挑战提出3D local CNN 3D local block 数据集论文摘要 1 介绍 2 主要贡献 3 方法 3.1 Formulatio ...
论文笔记：DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs
论文笔记:DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs co ...
显著性应用--论文笔记--2019--Aesthetic guided deep regression network for image cropping
论文信息: 作者:Peng Lua, Hao Zhanga, XuJun Pengb, Xiang Penga 期刊:Signal Processing: Image Communication 任务 ...
Deep Learning论文笔记之（五）CNN卷积神经网络代码理解
Deep Learning论文笔记之(五)CNN卷积神经网络代码理解 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但 ...

论文笔记：A CNN Regression Approach for Real-Time 2D/3D Registration

REAL-TIME 2D/3D REGISTRATION VIA CNN REGRESSION

摘要

介绍

问题描述

通过分层学习进行姿态估计

论文笔记：A CNN Regression Approach for Real-Time 2D/3D Registration相关推荐

最新文章

热门文章