Vertebral Labelling in Radiographs: Learning a Coordinate Corrector to Enforce Spinal Shape

x线片中的脊椎标记:学习坐标校正器以加强脊柱形状

论文单位：慕尼黑工业大学信息学系，慕尼黑，德国
作者：Amirhossein Bayat, Anjany Sekuboyina
发表期刊：CSI2019

摘要

在脊柱x线片上定位和标记椎骨在脊柱侧凸和退行性疾病的脊柱形状分析中有重要的应用。然而，由于组织覆盖和脊柱x线片的大小，椎体定位和标记是具有挑战性和复杂的。为了解决这个问题，我们提出了一种鲁棒的方法，用于大图像和噪声图像中的地标检测，并将其应用于脊柱x线片。在这种方法中，模型具有输入图像的整体视图，而不受其大小的影响。我们的模型通过两个步骤预测椎骨的标签和位置:

首先，利用全卷积网络(FCN)通过预测二维高斯分布来估计椎体位置和标记;
然后，我们引入残差校正(RC)分量，该分量从二维高斯图像中提取每个椎体质心的坐标，并利用整个图像对位置和标签估计进行校正。RC组件的功能是可微的。因此，可以将其融合到深度神经网络中，并与其他子网络进行端到端的训练。

我们在矢状位和冠状位x线片上分别实现了85.32%和52.28%的识别率，定位距离分别为4.57mm和5.33mm。

1 介绍

脊柱定位标记适用于Cobb角计算、手术计划、生物机械负荷分析、诊断椎体骨折或其他病理。分析脊柱侧凸和退行性疾病的脊柱形状应在直立站立的位置进行，这是通过2D x线片捕捉到的。因此，椎骨定位和标记在x线片上是至关重要的，而大多数椎骨标记的工作是在CT扫描上进行的。

项目的挑战：

由于覆盖组织和噪声，在x线片中的椎骨定位和标记是具有挑战性的任务。尤其在腰椎，椎骨上叠加着异质软组织。因此，椎骨的强度看起来与其他区域的不同。
另一个挑战是脊柱x光片的尺寸太大，因为它们包括整个脊柱。后一个问题使得设计一个具有接受域的网络变得困难，覆盖整个图像。出于同样的原因，应用可用的深度神经网络架构来处理这些图像也是次优的。
另一方面，应用全连接层来解决这个问题也是不可行的，因为这会导致增加参数，并将网络性能限制在固定大小的图像上。

脊椎定位和标记的相关工作大多是在CT扫描上进行的。通常，使用FCN来估计兴趣点的热图，然后在热图上应用第二个模块来更准确地预测位置和标签。各种方法之间的主要区别主要在于第二个模块。

在【7】和【8】中，Yang et al.。提出一种带深度监督的深度FCN训练方法，然后进行消息传递或卷积LSTM以提高预测效果。在【9】中，作者建议回归热图，然后使用FCNs回归地标。在他们的方法中，输入图像中的大小是可变的。然而，我们在输入中总是有完整的脊椎图像。在文献【5】，【6】使用回归森林对脊椎进行标记，但其模型的局限性是视野有限。为了解决视野受限的问题，文【4】中的作者使用MLP网络来捕捉远程上下文特征。在相同的方向上，在【3】中，作者介绍了一种在CT扫描中定位和识别椎骨的对抗性框架。他们在对抗性环境中使用基于能量的鉴别器来校正FCN预测的标签。

然而在上述相关工作都是基于CT的，但我们解决了脊椎X线片中的椎体标记和定位问题。由于组织覆盖和噪声，这项任务更具挑战性。
我们设计了一个不限制大小和强化脊柱形状的模型。我们的解决办法是两级监督。

首先，我们通过使用完全卷积网络(FCN)预测二维高斯来估计地标的粗略位置。在这一层次上，将2D高斯图像与ground truth2D高斯图像进行比较。
接下来，我们引入残差校正器(RC)组件，将上一步中预测的高斯转换为坐标格式，然后对坐标进行校正。
这样，数据的维数从h×w降到2×24，其中h和w分别是输入图像的高度和宽度，24是椎骨的数量。对于每个椎骨，2个参数被估计为2D坐标。换句话说，只要输入图像包括整个脊椎，我们就可以将数据的维数从可变大小的输入图像降低到2×24的固定大小。RC组件的功能是可微的。因此，整个网络都可以端到端的方式进行训练。

我们的模型设计，利用纹理特征和脊柱形状(椎间空间关系)来定位和标记颈、胸和腰椎。我们在两个数据集上训练和测试了我们的模型。一个包含矢状位X线片，另一个包含冠状位X线片数据集。

结论

我们设计了一种鲁棒性强、精度高的两级监督的深度神经网络体系结构，适用于大图像上的landmark检测。
我们设计了残差校正器(RC)，这是一个可微模块，用于将预测为二维高斯图像的质心转换为坐标，然后对它们进行校正。
最终，冠状面和矢状面的识别率均达到80.55%，矢状面和冠状面的定位距离分别为7.71 mm和7.59 mm。

2 方法

Annotations
将FCN的输出与ground-truth高斯图像进行比较。与【3】类似，ground-truth高斯图像Y∈R^(h×w×25)是25个通道的2D图像，每个通道对应于24个椎骨(C1到L5)中的每一个，一个对应于背景；h和w分别是输入图像的高度和宽度。每个通道被构造为形式为
x∈R2的高斯热图，其中μi是第i个椎骨的位置，σ控制扩散。背景通道被构造为，y₀=−max(y_i)。

Architecture.
图1概述了我们提出的模型。它由两个子网络组成：作为FCN的U-Net【10】，以及图1中用虚线框突出显示的RC组件。

在RC分量中，首先使用softargmax方法提取质心坐标【1,2】。这样，数据的维数从h×w降低到2×24，其中24是椎骨的数量。对于每个椎骨，2个参数被估计为2D坐标。换句话说，只要输入图像包括整个脊椎，我们就可以将数据的维数从可变大小的输入图像降低到2×24的固定大小。在此之后，我们有一个全连通层的剩余块来(1)校正估计坐标的位置和(2)增加模型的接受视野。由于该模型的感受场覆盖了整个输入图像，与具有类似感受场的FCN方法相比，它可以用更少的网络层和参数来捕捉输入图像中的长期依赖关系。由于Soft-argmax是可微的，我们可以将完全连接的层与FCN端到端和可变大小的输入图像一起训练。RC分量网络中的完全连通的层给出了输入图像到网络的整体视图，并引导估计的脊椎坐标和标签的全局一致性。即标签的顺序以及脊柱的形态一致性。

Training.

FCN子网络，预测二维高斯图像，将该级别的预测图像与ground truth高斯图像进行比较。为此，我们使用【3】中引入的损失函数，它测量在FCN预测和ground truth高斯图像的softmax激励上由交叉熵损失支持的L2。

Y杠是预测的高斯图像

Y是目标的高斯图像

H是交叉熵损失函数

接下来，使用我们的RC组件，我们提取质心坐标并纠正它们。在这一阶段，我们使用平滑绝对(Huber)损失来比较预测坐标与ground truth。

最后，总损失是第一阶段和第二阶段损失的总和。

Inference.
一旦对模型进行训练，将输入图像输入到FCN子网络进行推理，得到的结果是与输入图像大小相同的多通道图像。在得到的图像中，每个椎体质心在相应的通道中被预测为二维高斯分布。接下来，这个多通道图像被输入到RC组件。在RC分量中，高斯坐标是使用soft-argmax函数提取的。然后，利用剩余的全连通层对提取的坐标进行校正。

3 实验和结果

Datasets
我们有122名患者的内部数据集，我们有冠状位和矢状位x线片，我们也有椎心的注释。我们随机选取100个案例进行训练，22个案例进行验证。x线片多为老年患者，部分病例有脊柱侧凸或金属插入。我们通过旋转图像2,2,5和n d−5◦来增强数据。我们从这个数据集中创建了两个独立的数据集，一个用于冠状视图，另一个用于矢状视图x线片。

Experiments.

我们进行了四个实验来验证我们的方法:

首先，我们只训练U-net在矢状面上定位和标记椎体质心。
我们对U-net进行冠状面x线片的训练。
其次，为了提高模型的性能，我们在模型中加入RC组件，训练模型的矢状视图。
我们在冠状视图x光片上用RC组件训练模型。

我们在Pytorch框架中实现我们的网络，并使用Quadro P6000 GPU来训练模型。在所有实验中，初始学习率为0.0001，使用Adam作为优化器，训练模型进行150次迭代。

Evaluation.
为了评估我们网络的性能，我们使用识别率(id.rate)和定位距离(d_mean和d_std)，单位为mm【5】。表1比较了U-Net和我们的模型在矢状面X线片上的训练性能。类似地，表2报告了U-Net和我们的模型的性能，这些模型是在冠状位X线片上训练的。

表1。U-Net和我们的模型在矢状面X线片上的定量性能比较。

表2.U-Net和我们的模型在冠状位X线片上的定量性能比较

我们没有将我们的结果与CT上的椎骨标记方法进行比较，因为它们是在另一种方式上进行测试的。结果表明，残差修正方法显著提高了模型的性能。由于U-net的接受范围有限，定位和标注不准确。RC分量考虑了整个脊柱的形状，并学习了椎间的空间关系。因此，它可以通过加强脊椎的真实形状来修正U网的预测。

图2展示了在冠状面和矢状面图像上测试我们的模型的示例。结果表明，我们的模型对X线照片中可见的金属插入和治疗效果是健壮的。此外，它对移位和小旋转具有很强的鲁棒性。如图2所示，我们的模型可以处理矢状面和冠状面的不同大小的X线片。最后，我们的模型对原始图像数据进行处理，不需要预处理或使用另一个网络来定位脊椎，所有的计算都是在一次向前传递中完成的。

在矢状面冠状X线片上测试该模型。预测的质心用红色圆点表示，地面 ground truth 质心用绿色十字表示，数字表示脊椎标签。(在线彩色插图)

4 总结

由于感受场的限制和脊柱X线片的大尺寸，使用完全卷积网络处理大型医学图像并不是最优的。此外，对这些网络应用完全连接层来补偿感受场的限制也是不可行的，因为这会显著增加参数的数量。缩小图像会导致丢失细节，并使网络容易出错。我们提出了一种结构，利用全卷积网络提取局部特征，并使用残差校正模块学习脊柱的全局形状。最后，我们的模型对X线片中的治疗效果是健壮的，并且可以在一次前向传递中定位和标记椎体。

论文阅读Vertebral Labelling in Radiographs: Learning a Coordinate Corrector to Enforce Spinal Shape相关推荐

【论文阅读】Rethinking Spatiotemporal Feature Learning For Video Understanding
[论文阅读]Rethinking Spatiotemporal Feature Learning For Video Understanding 这是一篇google的论文,它和之前介绍的一篇face ...
论文阅读： Channel Augmented Joint Learning for Visible-Infrared Recognition
论文阅读: Channel Augmented Joint Learning for Visible-Infrared Recognition code: https://gitee.com/mind ...
【论文阅读】Decision Transformer: Reinforcement Learning via Sequence Modeling
[论文阅读]Decision Transformer: Reinforcement Learning via Sequence Modeling 1 本文解决了什么问题? 本文将强化学习抽象为一个序列 ...
【论文阅读】Gait Lateral Network: Learning Discriminative and Compact Representations for Gait Recognition
Gait Lateral Network: Learning Discriminative and Compact Representations for Gait Recognition 摘要: I ...
【论文阅读】Parametrized Deep Q-Networks Learning: RL with Discrete-Continuous Hybrid Action Space
[论文阅读-深度强化学习打王者荣耀]Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Contin ...
论文阅读：Self-supervised video representation learning with space-time cubic puzzles
论文名称:Self-supervised video representation learning with space-time cubic puzzles(2019 AAAI) 论文作者:Dah ...
论文阅读：Self-Supervised Video Representation Learning With Odd-One-Out Networks
目录 Contributions Method 1.Model 2.Three sampling strategies. 3.Video frame encoding. Results More Re ...
【论文阅读】Color Constancy by Learning to Predict Chromaticity from Luminance
论文:Color Constancy by Learning to Predict Chromaticity from Luminance 作者:Ayan Chakrabarti 年份:2015 期刊 ...
论文阅读32 | Channel Augmented Joint Learning for Visible-Infrared Recognition
论文:Channel Augmented Joint Learning for Visible-Infrared Recognition 出处:CVPR 2021 1.摘要这篇文章介绍了一种通道增强 ...

论文阅读Vertebral Labelling in Radiographs: Learning a Coordinate Corrector to Enforce Spinal Shape