https://learn2reg.github.io/

https://github.com/learn2reg/tutorials2019

Introduction to Medical Image Registration

什么是医学图像配准？

建立图像之间的空间关系，也称之为空间归一化spatial normalisation。

图像配准关注与寻找到图像空间之间的空间变换或映射spatial transformation or mapping

为什么需要配准？

病患的移动（不同时刻的对齐）
病患的变化（治疗前后的对比）
病患的对照（基于atlas的分析）
信息融合（补充方式或时间，计划转移）
运动补偿改进重建
视场放大(拼接)
本地化和视觉伺服

关键的组成

空间变换模型spatial transformation model

刚体变换Rigid、仿射变换affine、基于局部基函数、位移场displacement field.等

图像匹配驱动Image matching driver

稀疏配对特征Spare paired features。图像强度比较image intensity comparisons

正则化regularisation

空间变化平滑先验spatial transformation smoothness

数据驱动先验data driven pripors

优化策略optimisation strategy

梯度下降gradient descent，无导数连续优化器 derivative-free continuous optimiser，离散图论优化器discret graph-based optimiser

统计学Stistical, 机器学习maching-learing based

配准最主要的两种方法

基于特征匹配Feature-based matching

识别成对的对应点、线或其他几何图元

根据对应特征，拟合一个空间变换模型

基于强度的配准Intensity-based registration

定义一个用于比较图像间相似度的代价函数

使用空间变换来warp图像

通过优化warped image间的代价函数，找到空间变换

经典基于强度的配准：最优化问题

符号：

F：fixed image 。作用域 $\Omega_F$
M：Moving image。作用域 $\Omega_M$
$s^*$ ：空间变换。 $\Omega_F\rightarrow \Omega_M$ ； $x\in \Omega_F$
G：变换模型；空间变换的空间s
$Sim(\cdot ,\cdot )$ ：图像相似度的度量
$Reg(\cdot ,\cdot )$ ：可选的正则项

空间转换的示例空间和相关的复杂性

空间变换不一定需要生成向量空间
加法：没有几何意义

$s1,s2\inG \Rightarrow s = s1+s2\notin G$

自然操作：合成

$s1,s2\inG \Rightarrow s = s1\circ s2\in G, s: p\in\Omega ,s(p)=s1(s2(p))$

李群结构：需要找到一个好的空间内在参数化或使用约束优化

https://zh.wikipedia.org/wiki/%E6%9D%8E%E7%BE%A4

杨梦铎, 李凡长, 张莉. 李群机器学习十年研究进展[J]. 计算机学报, 2015(07):33-52.

李群是连续的群，也即其元素可由几个实参数描述。李群为连续对称性的概念提供了一个自然的模型，例如三维旋转对称性。

经典基于强度的配准：优化问题

要解决的优化问题(省略权重因素) $s^* = arg min_sSim(F,M \circ s)+Reg(s)\\ \begin{matrix} & & \end{matrix}= arg min_sE(s)$
迭代求解

从经典到基于学习的方法

经典方法

一对图像或者F和M： $s^* = arg min_sSim(F,M \circ s)+Reg(s)$

基于学习方法的扩展(省略权重因素)

利用多对图像对： $F_i$ 和 $M_i$

在训练的时候使用额外的信息E（注释，真实模拟）：定义一个监督损失 $SuppLoss$

使用 $\theta$ 参数逼近函数（例如CNN） $f_\theta(\cdot )$ 编码 $s$ ： $s = f_\theta(F,M)$

在所有的训练集上优化

$\theta^*=argmin_\theta E_{p(F,M)}[Sim(F,M\circ f_\theta(F,M))+Reg(f_\theta(F,M))+SupLoss(E,F,M,f\theta(F,M))]$

许多其他基于学习的选项(如学习相似或学习更新步骤)

基于强度配准：隐藏的困难

许多选择：

Sim,Reg,G,optimiser, parameters, weighting, etc.
大多数选择针对指定问题
从数据中很难了解其中的许多：可用的基本事实
没有最好的方法

经典的方法提出了困难的优化问题：

高维度
强非线性问题
强非凸能量函数，局部极小：具有许多深度学习的特征

从离散样本到连续问题

数字图像通常是一个规则的体素网格上的样本集合
空间变换不能用精确的(离散的)体素匹配来精确地表示：需要连续的表示
图像相似性度量通常依赖于连续积分
插值和重采样用来“绕过”这个难题
对于基于深度学习的方法，重要的是确保步骤是可区分的

插值和重采样

体素位置 $x\in \Omega_F,s(x)$ 一般不落在 $\Omega_M$ 体素位置。
$M\circ s(x) = M(s(x))$ :

对于Nyquist-Shannon采样定理，利用sinc核可以准确地从一组离散样本中恢复带限连续函数

在实际应用中，由于sinc的计算复杂度和相关的伪影(如振铃)，使用了最近邻、线性或三次插值

变换的方向

插值策略的影响

用小的旋转重采样多次：避免多次重采样!如果使用一次，线性插值是好的。

基本配准的策略

$s(x) = S\cdot x$ ：使用齐次坐标homogeneous coordinates，变换后的坐标
$Sim(F,M\circ s)=\int \left | F(x)-M(S\cdot x)\right |^2dx$ 相似性度量
$Reg(s)=0$ 正则化
积分的作用域： $x\in\Omega_F;s(x)\in \Omega_M$
$\Omega_s = \Omega_F\bigcap s^{-1}(\Omega_M)$ ：fixed图像和moving图像的逆变换图像交集
如何计算积分： $\int_{\Omega s}\left| F(x) - M(S\cdot x)\right|^2 \approx \sum_{x\in \Omega s}\left| F(x)-M(S\cdot x)\right|^2$ ; $Sim(F,M\circ s) \overset{\Delta }{=} \sum_{x\in \Omega s}\left| F(x)-M(S\cdot x)\right|^2$
$Sim(F,M\circ s) \overset{\Delta }{=} \sum_{x\in \Omega s}\left| F(x)-M(S\cdot x)\right|^2$ 如何优化：需要计算Sim的梯度（或者一般），使用链式法则chain rule。
$\bigtriangledown Sim(S) =- \sum_{x\in \Omega s}(F(x)-M(s\cdot x))\cdot(\bigtriangledown M)(S\cdot x)^T \cdot(x^T \bigotimes I d_N)$
通过梯度下降: $S_{n+1} = S_n + \lambda\triangledown Sim(S_n)$ ;步长规则，线搜索？一阶收敛。
Newton-Raphson(使用Hessian)可能是一种选择：如何得到代价函数的Hessian的稳定评估?这个比例可以进行变形配准吗?

图像相似度的度量-示例

用于相同强度 +高斯噪声的差平方和(SSD)Sum of squared differences
仿射关系的标准化互相关(NCC) Normalised Cross-correlation：光照差异小，对比度变化小；局部化版本(LNCC)提供了良好的通用性
联合熵，用于强度之间的非参数统计关系的联合图像直方图中的散度和(标准化)相互信息：多模态配准

联合直方图

空间多分辨率金字塔spatial multiresolution pyramids

图像的多尺度表示:在小图像上有效地捕获大规模信息;传播到更细粒度的级别并细化
简单的下采样/次采样会引入混叠误差
先应用低通low-pass，然后向下采样：Gaussian平滑+下采样通过采样因素2是最经典的方法

用于图像配准的高斯金字塔

通常提高配准的速度、准确性和健壮性

需要真么复杂的处理么？

非常简单的形变配准算法：CURT

基于闭型解的非刚性配准算法来最大化秩相关约束Rank Correlation criterion。图像相似度和组织重叠度来的评价标准更好image similarity and tissue overlap scores。不需要仿射变换处理。

验证方法

FRE：Fiducial Registration Error配准误差基准 -配准后对应基准点之间的均方根距离

FLE：Fiducial Localisation Error定位误差基准 -定位基准点的误差

TRE：Target Registration Error配准误差目标-除了基准点以外，对应点之间的距离，这是最重要的

随着目标与基准形心的距离增加，TRE值也增加

FRE不是一个可靠的配准准确性指标(!!)

FRE独立于基准配置。
FRE与偏置误差无关(如MRI梯度、数字化仪相机失调、手持探头弯曲)。
TRE近似有 $N^{-1/2}$ 的相关性 $\left \langle TRE^2(r) \right \rangle \approx \frac{\left \langle FLE^2 \right \rangle}{N}\left ( 1+\frac{1}{3} \sum_{k=1}^{3}\frac{d_k^2}{f_k^2} \right )$

$\left \langle FRE^2 \right \rangle$ :均方基准配准误差

$N$ :基准数

$d_k^2$ ：目标点到基准配置原理轴k的距离(平方)

$f_k^2$ :基准点与基准配置原则轴k之间的RMS(平方)。

对于基于学习的图像注册，注意事项仍然有效

learn2reg-配准介绍相关推荐

fsl线性配准介绍+核磁共振影像数据处理
fsl线性配准介绍+核磁共振影像数据处理讲解视频内容请移步Bilibili: https://space.bilibili.com/542601735 fsl线性配准介绍基本概念标准空间.结构空 ...
tensor flow lstm 图像一条直线_【开源计划】图像配准中变形操作（Warp）的pytorch实现...
前言按照开源计划的预告,这次我来分享图像配准流程中的变形操作的代码实现.首先我们先来回顾一下配准的流程,我们以这篇Unsupervised End-to-end Learning for Defor ...
点云配准（二）— python open3d ICP方法
上一节中介绍了点云配准的基础知识.本节将采用python open3d来进行点云配准. open3d安装和点云配准介绍,请参考: Open3d读写ply点云文件_Coding的叶子的博客-CSDN博客 ...
TeaseR++：快速鲁棒的C++点云配准库介绍+英文版视频教程
本文提出了一种快速鲁棒的点云配准算法,对存在离群噪声点的点云数据具有较好的配准效果.首先使用了截断最小二乘(Truncated Least Squares TLS)代价函数重新构造配准问题 ,该代价是 ...
ICCV2021旷视研究院入选9篇paper介绍（检测+点云+图像配准等）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达近日,两年一度的国际计算机视觉大会 ICCV 2021( IEEE International Con ...
综述|2021最新关于点云配准的全面介绍
标题:A comprehensive survey on point cloud registration 作者:Xiaoshui Huang[1], Guofeng Mei[2], Jian Zha ...
医学配准软件ants和相关python库antspy的介绍和安装
医学配准软件和相关python库的介绍和安装文章目录医学配准软件和相关python库的介绍和安装 1. ants源码安装和使用介绍 1.1 ants介绍 1.2 ants安装 1.3 ants使用 ...
PCL - 3D点云配准(registration)介绍
前面多篇博客都提到过,要善于从官网去熟悉一样东西.API部分详细介绍见 Point Cloud Library (PCL): Module registration 这里博主主要借鉴Tutorial里 ...
【论文精读】使用空间梯度和噪声分割标签（伪标签）的深度学习配准
Deep learning based registration using spatial gradients and noisy segmentation labels Théo Estienne ...
CVPR2020：训练多视图三维点云配准
CVPR2020:训练多视图三维点云配准 Learning Multiview 3D Point Cloud Registration 源代码和预训练模型:https://github.com/zgo ...

learn2reg-配准介绍