Automatic Cobb Angle Detection using Vertebra Detector and Vertebra Corners Regression

自动Cobb角检测使用椎体检测器和椎体角回归

摘要

正确评估和治疗脊柱侧弯需要准确估计脊柱弯曲。目前的黄金标准是人工估计脊柱x射线图像的柯布角，这是耗时的，有很高的内部变化率。我们提出了一种自动的方法与一个新的框架，首先检测椎体作为目标，然后landmark detector分别估计每个椎体的4个landmark。Cobb角是利用从预测的地标得到的每个椎体的斜率来计算的。为了对测试数据进行推断，我们执行了包括裁剪、剔除异常值和平滑预测地标的预处理和后处理。该结果在AASCE MICCAI 2019挑战测试中进行了评估，该测试显示SMAPE得分为25.69分。

关键词：脊柱侧凸，landmark，Object Detection，cobb角

介绍

脊柱侧弯是脊柱的一种侧弯，多发生在青少年。严重的脊柱侧弯也会导致残疾。
目前诊断脊柱侧凸的金标准是人工测量前后(AP)或侧位(LAT) x线图像中的Cobb角，这涉及到识别脊柱曲线[1]顶点上下最倾斜的椎体。
然而，该过程耗时且依赖于观察者，导致观察者间的高度变异性，可能对评估预后和治疗决策产生负面影响。因此，人们对直接从x射线图像自动估计柯布角越来越感兴趣。在这种情况下，我们参加了MICCAI 2019年的精确自动脊柱曲率估计AASCE挑战，任务是从包含609张AP x射线的训练数据集中准确估计三个Cobb角[3]，这些数据集的结果是对98张测试图像进行评估的。ground truth (GT)注释是由17个椎体的四个角组成的解剖标志:12个胸椎和5个腰椎。

相关工作:估计Cobb角的两种最常见的方法是基于分割和基于landmark的方法。
基于分割的方法首先分割所有的椎体或椎体的终板，识别出最倾斜的椎体，并估算出Cobb角[3,4,5]。传统的基于特征工程的方法难以从x射线图像中准确分割出每个椎体。据我们所知，即使是现代的有监督的深度神经网络对于椎体分割也不够健壮和准确。创建准确的GT分割是耗时的，相对于标注地标(脊椎的四个角)比较困难。
在最先进的基于地标的方法中，每个椎骨的四个角被检测出来，然后用于估计Cobb角。一些方法联合估计所有的地标和Cobb角，而另一些方法首先估计地标，然后计算Cobb角，这可能包括异常值排除和后处理技术[6,7]。

医学图像中的地标检测方法主要有强化学习[8]、基于迭代patch的[9]和基于全卷积神经网络的[10]。与其他解剖标志相比，椎骨标志的一个重要区别是存在大量相似的椎骨。
我们认为，在检测到被检测椎骨内的标志之前，将椎骨检测为物体是有利的，因为它允许:
i)避免用平移不变性的CNN检测在不同位置的相似椎骨的坐标的困难
ii)利用流行的目标探测器预先训练的计算机视觉任务
iii)减少 landmark detector的搜索空间

贡献:我们提出了一种新的方法，首先用bounding box object detector检测17个椎骨，然后每个预测的 box 输入到landmark detector ，如图1所示。在计算三个柯布角之前，对预测的地标进行后处理以去除异常值。
[11]使用fast - rcnn[12]object detector在侧位x线中检测椎间盘，但他们把没有实现 landmark detection。

图1：提出的框架:输入的图像首先被传递给检测椎骨的物体检测器（object detector ）。被检测的椎骨被提取为单独的图像，并传递给检测椎骨四个角的地标检测器（landmark detector）。landmark被映射回原始图像，从那里柯布角被计算。我们使用基于cnn的Faster-RCNN和DenseNet分别进行目标检测和地标检测。

2、数据集

该数据集由609张脊柱AP x线图像组成，可在SpineWeb数据集16获得。每个图像有68个GT标志对应17块椎骨的4个角和3个cobb角。组织者单独提供了没有GT的测试图像。
我们将每个椎骨的四个标志性角连接起来，创建一个盒子，宽度和高度分别对称增加50和10像素，创建GT bounding boxes。
所有的边界框都被标记为属于一个类。使用GT边界框对单个椎骨进行裁剪和提取，作为包含四个地标角的单独图像。
地标的坐标被归一化到坐标系中：将裁剪图像的所有像素坐标映射到区间[0,1]的坐标系。用归一化的地标坐标作为地标回归网络的GT标签。

这一段说明了GT怎么生成。

3、椎骨检测，随后进行Landmarks回归

我们使用一个目标检测器来检测椎体作为bbox对象，然后将bbox对象作为单独的输入图像输入到一个地标回归网络。将来自各个边界框的预测归一化地标坐标进行组合，并映射回原始图像，如图1所示.

3.1 使用Faster-RCNN训练椎体检测

Faster-RCNN[12]是一种被广泛使用的两级目标检测器，包括:

i)Region Proposal Network(RPN)从基于CNN网络的特征地图中，提出对象可能存在的的一系列大小不同的anchor区域。

ii）一个全连接的和一个bbox回归层，其回归所标识对象的边界框位置。

我们使用在Imagenet data上预先训练权重的ResNet V1 101作为基础网络，该网络在block 2之后进行了微调。

我们使用了64264^2642和1282128^21282像素的两种box面积，RPN的锚盒的宽高比为1:1和2:1，因为椎骨相对较小，没有极端的宽高比。使用动量为0.9、学习率为0.0003、提前停止的SGD优化器对网络进行了约180k步的训练，batch size为1。采用Luminoth in Tensorflow框架10.1实现。数据扩增包括随机高斯噪声(µ= 0，σ = 0.005)，垂直和水平翻转的概率为0.5。
所有的图像重新缩放，保持高宽比，使其大小保持在600 - 1000像素尽可能多。

3.2 DenseNet训练地标检测器

使用密集连接卷积神经网络(DenseNet)估计四个角点的地标，该网络比传统CNN[13]需要更少的参数。在DenseNet中，每个层的特征映射用于一个块内的所有后续层，其中每个块构成了一个瓶颈层(具有1x1滤波器大小的2d卷积层)、批标准化、ReLU激活和一个常规的2d卷积层(3x3滤波器大小)。我们使用了5个block，增长率为8，这是每一层输出的feature map的数量。2D全局平均池在5个块之后使用，然后是一个密集的层。最后一层由8个具有线性激活函数的输出单元组成。所有输入到地标检测器的图像都被调整为200 x 120像素。

4、预处理和后处理

**裁剪:**几乎所有的测试图像都包含颅骨和骨盆区域，但没有一个训练图像包含这些区域。在训练过程中，该模型没有看到头骨和骨盆区域的阴性样本，这使得它容易错误地检测出类似于椎骨的结构，如下颌。我们随机选取一幅宽高比为a0的测试图像，通过经验发现，从上到下裁剪ct0= 0.18和cb0= 0.21倍的图像高度，可以满意地切除颅骨和骨盆区域。所有剩余高宽比为a的测试图像分别采用
从上到下分别裁剪。

删除异常值:我们利用相邻椎骨不能相距太远，去除了一些离群值:如果任何检测到的边界框的x中心(水平)距离其最近的两个相邻(顶部和底部)框的x中心的一半框宽以上,他们被删除作为离群值。对于最上面和最下面的框，只对最接近的一个框进行了相同的测试。

基于预测landmark的曲线拟合和Cobb角计算:我们使用了与挑战数据集[6]一起提供的代码，从给定的一组地标计算3个Cobb角——主胸(MT)、近胸(PT)和胸腰椎/腰椎(TL/L)。当与17个边界框相对应的地标数不是68时，它就不能很好地工作了。为保证角度计算的准确68个landmark point，在剔除离群点后，我们使用如下方法:当检测到的椎骨数大于17时，从底部开始剔除额外的bounding box。同样，如果数字小于17，按照要求复制底部地标。我们还通过拟合一条多项式曲线来平滑地标，在视觉检查中，6次多项式给出了3到8的最佳拟合。以y坐标作为拟合多项式的自变量，回归各地标的x坐标。在最终的测试分数中，那些被平滑的地标被用来估计cobb角。

5、结果

结果用对称平均绝对百分比误差进行评价

我们有N(=98)个测试图像

m(=3)每幅图像的Cobb角、GT的ag、相应的预测角ap。

表1显示了三个不同实验的结果，在这三个实验中，我们通过裁剪、剔除离群值和平滑估计的地标，在挑战中获得了最好的分数。
当挑战结果条目关闭时，排行榜的最高分为21.71%。

图2显示了检测到的包围盒和地标，以及使用多项式拟合对来自测试集的4个示例图像进行异常值剔除和平滑的结果。

图2：从左上角开始逆时针方向：测试集的四个图像

边界框检测、

异常值拒绝、

地标预测

和对测试集的四个图像进行6次多项式的地标(绿色)平滑

6、讨论和总结

在预测拐角地标之前检测椎骨是一种很有前途的方法。但是，裁剪所有测试图像并不能很好地推广。用头骨和骨盆区域的阴性样本图像训练的更健壮的目标探测器可以消除裁剪的需要。该方法没有适当考虑到不同椎体的标志位置之间的相互依赖性。一种学习算法来学习这种相互依赖关系可以改善结果。最后，学习从地标直接估计角度，而不是使用几何算法，可以鲁棒的噪声地标预测。

此工作得到NVIDIA GPU捐赠的支持。我们也感谢Pro-Mech Minds & Engineering Services同意为展示这项工作提供部分会议访问费用。

论文阅读：Automatic Cobb Angle Detection using Vertebra Detector and Vertebra Corners Regression相关推荐

论文阅读：Salient Object Detection: A Benchmark
论文阅读:Salient Object Detection: A Benchmark 南开大学的显著性检测benchmark 链接:http://mmcheng.net/zh/salobjbenchm ...
论文阅读笔记——DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects)
论文阅读笔记--DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects 论文简介 1 引言 2 DLT- ...
[论文阅读] Boosting Salient Object Detection with Transformer-based Asymmetric Bilateral U-Net
论文地址:https://arxiv.org/abs/2108.07851 发表于:Arxiv 2021.08 Abstract 现有的显著目标检测(SOD)方法主要依靠基于CNN的U型结构,通过跨层 ...
论文阅读——Automatic Testing and Improvement of Machine Translation
https://arxiv.org/pdf/1910.02688.pdf 机器翻译的自动测试和改进 Github:https://github.com/zysszy/TransRepair(无代码) ...
论文阅读：Gradient-Induced Co-Saliency Detection（ECCV2020）
ECCV 2020 paper github代码https://github.com/zzhanghub/gicd论文主要工作: 针对协同显著性检测问题,提交检测精度. 方法:首先,我们对一组图像在高 ...
论文阅读：Visual Relationship Detection with Language Priors
Visual Relationship Detection with Language Priors(ECCV2016) 文章尽管大多数的relationship并不常见,但是它们的object ...
[论文阅读] Automatic Polyp Segmentation via Multi-scale Subtraction Network
论文地址:https://arxiv.org/abs/2108.05082 代码:https://github.com/Xiaoqi-Zhao-DLUT/MSNet 发表于:MICCAI'21 Abs ...
读论文　Automatic generation and detection of highly reliable fiducial markersnunder occlusion
论文讲述了marker生成,检测,姿态评估的算法. 使用markers board,可以提高健壮性,以及遮挡情况下的姿态估算. 使用HSV颜色分割,marker使用蓝绿色,效果也不错. 1.提取轮廓, ...
论文阅读：CTF:Anomaly Detection in High-Dimensional Time Series with Coarse-to-Fine Model Transfer
CTF:在高维时间序列异常检测 CTF:Anomaly Detection in High-Dimensional Time Series with Coarse-to-Fine Model Tran ...

论文阅读：Automatic Cobb Angle Detection using Vertebra Detector and Vertebra Corners Regression