作者信息：

Yutong Xie, Yong Xia, Member, IEEE, Jianpeng Zhang, Yang Song, Member, IEEE, Dagan Feng, Fel

low, IEEE, Michael Fulham, and Weidong Cai, Member, IEEE

摘要：

在胸部CT上准确识别恶性肺结节是肺癌早期发现的关键，这也为患者提供了最好的治愈机会。深度学习方法最近已成功地引入计算机视觉问题，尽管由于缺乏大型训练数据集，在恶性结节的检测方面仍然存在重大挑战。在本文中，我们提出了一种基于多视角知识的协作(MV-KBC)深度模型，利用有限的胸部CT数据来分离恶性结节和良性结节。我们的模型通过将一个三维结节分解为9个固定的视图来学习三维肺结节的特征。对于每个视图，我们构建了一个基于知识的协作(KBC)子模型，其中设计了三种类型的图像补丁来微调三个预先训练过的ResNet-50网络，这些网络分别表征了结节的整体外观、体素和形状的异质性。我们联合使用9个KBC子模型对肺结节进行分类，并采用自适应加权方案，使MV-KBC模型能够端到端地进行训练。惩罚损失函数用于更好地降低假阴性率，且对MV-KBC模型的整体性能影响最小。我们在基准的LIDC-IDRI数据集上测试了我们的方法，并将其与五种最先进的分类方法进行了比较。结果表明，MV-KBC模型对肺结节分类的准确率为91.60%，AUC为95.70%。这些结果明显优于目前最先进的方法。

关键词：

Lung nodule classification, deep learning,collaborative learning, computed tomography (CT)

介绍：

放射科医生通常逐个阅读恶性结节的胸部CT扫描，这种方法需要高度的技能和集中，耗时、昂贵，容易出现操作者偏倚。

虽然计算机辅助诊断系统(CADs)已被用于辅助放射科医生阅读胸部CT扫描，但自动识别胸部CT上的良恶性结节仍然存在问题，因为至少有两个原因：肺结节轮廓的困难引起的大量结节形状和纹理变化和恶性和良性结节共享的视觉相似性。

肺CADs通常：从背景中提取（1）来自背景下的节段结节，（2）从每个分段结节中提取特征，（3）利用这些特征训练分类器将结节描述为良性或潜在恶性。传统的肺结节分割方法包括肺分割和检测和分割包括结节在内的感兴趣区域(ROI)。这些方法一般可分为形态学、区域生长、能量优化和基于统计学习的方法。

......

近年来，深度学习技术在计算机视觉领域取得了巨大的成功，因为它们提供了统一的特征提取分类框架，使用户摆脱手工制作的特征提取。这一成功促使许多研究者使用深度卷积神经网络(CNNs)进行医学图像分析。对于图像分割，全卷积网络(FCN)提供了一个新的方向，使输出图像的大小与输入图像的大小相匹配，具有向上的采样层。最近，朗内伯格等人报道了一种名为U-Net的生物医学图像分割FCN，取得了良好的结果。对于肺结节的分类，Hua等人应用深度CNN和深度信念网络(DBN)分离肺结节的良恶性，并报道深度学习具有更好的鉴别能力。Kumar等人使用自动编码器和cnn将肺结节分类为恶性或良性，准确率为77.52%。沙菲伊等人利用了由三个随机形成的卷积层组成的随机测序仪，获得了84.49%的精度。侯赛因等人使用端到端可训练的多视图CNN(MV-CNN)进行肺结节表征。沈等人提出了一种多尺度CNN，通过从交替堆叠层中提取鉴别特征来捕获肺结节的异质性。他们进一步将该模型扩展到多作物CNN，能够通过从卷积特征图中裁剪不同区域并在不同时间应用最大池来自动提取显著的结节信息。侯赛因等人提出了三维CNN多任务学习方法，用于肺结节的表征。

虽然这些深度学习技术比基于手工制作的基于特征的方法更准确，但它们在常规肺结节分类方面并没有达到像在ImageNet挑战中相同的性能。次优性能主要是由于训练数据不足导致的深度模型过拟合，医学图像分析通常较小，这与获取图像数据和图像注释所需的工作有关。

在深度学习社区中，有很多尝试来解决小数据问题。

首先，有报道称，从ImageNet等大规模数据集学习到的图像表示能力可以转移到训练数据；

其次，虽然为医学图像分析设计3DCNN很简单，但将2DCNN扩展到切片基础上的体积医学图像分析，结合数据增强，使我们能够拥有更多的训练样本；

第三，可以将先验领域知识纳入到解中，以正则化深度模型。

例如，一个结节的恶性肿瘤与其异质性之间有很高的对应关系(见图1)。在我们之前的工作，我们使用GLCM-based纹理描述符和傅里叶形状描述符来探索结节的异质性体素值(HVV)和异质性形状(HS)，分别结合描述符和信息的九层DCNN肺结节分类在决策水平。虽然我们报道了提高的准确性，但该方法仍然使用手工制作的特征来表征结节的异质性，但效果较差。

本文特色：

本文提出了一种基于多视角知识的协作(MV-KBC)深度神经网络模型进行胸部良恶性肺结节分类，

首先将每个三维肺结节分解为9个固定视图（矢状面、冠状面、轴向面和6个对角面），了解三维结节的特征。

然后，对于每个视图，我们构建了一个基于知识的协作(KBC)子模型，其中设计了三种类型的图像补丁来微调三个预先训练的ResNet-50网络，旨在将这些ResNet-50网络的图像表示能力分别转移到表征肺结节的整体外观(OA)、HVV和HS。

最后，利用9个KBC子模型利用误差反向传播过程中学习的自适应加权方案对结节进行分类，从而使MV-KBC模型能够端到端训练。

此外，我们还引入了惩罚损失函数来操纵MV-KBC模型的假阳性率和假阴性率之间的权衡。

所提出的MV-KBC模型的贡献：

1）据我们所知，这项工作是首次将领域知识纳入良恶性肺结节分类的深度学习模型之一

2）在决策层面融合多视图（即横向、矢状、冠状和六个对角面）/多外观（即OA、HS、HVV）子模型，可以对整个模型进行端到端训练，避免了加权系数的麻烦设置，提高了分类精度。

3）结果表明，我们的模型提供了一个实质性的性能改进，而快速的在线测试表明，我们的模型可以用于常规的临床工作流程。

本研究的初步版本在MICCAI2017[40]中提出。本文对原论文进行了实质性的修改和扩展。主要扩展包括将每个三维肺结节分解为9个固定视图平面，利用每个视图平面上提取的补丁训练一个KBC子模型，27个ResNet-50网络的分层集成，用惩罚损失函数替换交叉熵损失。

数据集：LIDC-IDRI数据库，良性结节1301个，不确定结节612个，恶性结节644个。

方法：

提出MV-KBC算法由四个主要步骤：（1）提取二维结节切片的九个视图，（2）提取OA，HVV和HS补丁二维结节切片，（3）构建九KBC子模型和训练每个补丁提取在每个视图的平面，并构建和训练MV-KBC模型肺结节分类。总结该算法的曲线图如图2

A.多视图切片提取

由于胸部CT扫描具有可变的空间分辨率，我们使用样条插值[30]将其重新采样为1.0×1.0×1.0mm3的统一体素大小。我们假设已发现肺结节，因此将本研究的范围仅限于良恶性结节的分类。为了避免结节检测引起的不准确，我们将结节的位置定义为放射科医生给出的结节中心的中间。对于每个肺结节，我们首先裁剪一个64×64×64的立方体，它以其位置为中心，这样结节总是完全包含在立方体中。然后，我们分别在横面、矢状面、冠状面和6个对角面上提取了9个二维切片，其中每个对角面切割对角体的两个对角面，有立方体的两条对边和四个顶点(见图。2(a))。因此，我们获得了每个结节的9个切片视图。

B.OA、HVV和HS补丁提取

OA、HVV和HS贴片的提取是基于每个切片上的肺结节的分割。我们采用UNet网络[27](FCN)全卷积网络模型来分割肺结节。它有一条收缩的路径和一条膨胀的路径(见图。 3).收缩路径遵循卷积神经网络的典型结构，其中重复应用两个3×3填充的卷积层，每个层之后都是ReLU函数。利用4个2×2最大池化层，步幅为2，对获得的特征图进行下采样。扩展路径中的每一步都有特征图的上采样，然后是2×2卷积层，从收缩路径中相应的特征图和两个3×3卷积层，每个都是ReLU函数。最后一层是一个1×1的卷积层，它将每个32个分量的特征向量映射到所需的类的数量。

我们将U-Net应用于LIDC-IDRI数据集，并进行了10倍交叉验证。前9倍的每一个有195个结节，第10倍有190个结节。每次，使用一倍结节进行检测，其他结节用于训练U-Net。因此，该测试集从未用于U-Net训练。所有的训练图像及其分割图，定义为放射科医生标记的区域的交叉点，以端到端的方式训练网络，以使交叉熵损失最小化。采用批大小为32的小批量随机梯度下降算法作为优化器。最大迭代次数设置为100，学习率设置为0.001。此外，如果其他90%的训练补丁的误差继续减少验证集上的误差，但验证集上的误差停止减少，我们随机选择10%的训练补丁形成验证集，甚至在达到最大历元号之前终止训练过程。在测试阶段，使用训练后的U-Net逐个进行结节分割。

根据结节分割，将每个切片上包裹结节的正方形ROI确定为OA贴片，以代表肺结节的整体外观。在不同切片上获得的OA贴片大小不同。为了表征结节的HVV，将OA贴片内的非结节体素设置为0，如果OA贴片大于16×16，则提取所有OA贴片的平均大小，包含最大结节体素的16×16贴片作为HVV贴片。要生成结节的HS面片，OA面片内的结节体素设置为0。

由于数据增强通过向数据集[37]添加变量来减轻深度学习模型的过拟合，我们使用随机图像平移、旋转和水平或垂直翻转[30]为每个训练补丁生成了4个增强数据。平移步骤来自[6,6]体素，旋转角度随机来自{90°、180°、270°}。然后，将所有OA、HVV和HS补丁的大小调整到224×224。

C.KBC子模型

在9个平面视图中提取的OA、HVV或HS补丁，连同增强数据，用于训练KBC子模型，该模型包含三个预先训练的ResNet-50网络[45](见图。 4).用于本研究的ResNet-50网络包含50个可学习层，因此包括一个7×7卷积层，产生64个特征图，一个3×3最大池化层，4个瓶颈架构，一个平均池化层和一个包含1000个神经元的FC层。每个瓶颈体系结构由三个卷积层组成，映射大小分别为1×1、3×3和1×1（见表二）。第1到第4个瓶颈层的特征图通道增加，而特征图尺寸（即输出尺寸）随着瓶颈层的加深而逐渐减小。

为了将在大规模图像数据库上学习到的图像表示能力转移到表征肺结节上，通过ImageNet数据集[45,46]的训练，初始化每个ResNet-50网络的参数已经收敛。为了使ResNet-50网络适应我们的良恶性结节分类问题，我们去掉了其最后一个全连接层，然后添加了3个全连接层，分别包含2048、1024和2个神经元。使用Xaiver算法随机初始化这三个完全连接层的权重，最后一层的激活函数设置为sigmoid函数。然后，以分层方式对修改后的ResNet-50网络进行微调，从只调整最后一层开始，最后调整所有层。

。。。

D.MV-KBC模型

所提出的MV-KBC模型由9个KBC子模型组成(见图。2(c))。每个KBC子模型的双神经元输出层连接到同一个单神经元分类层，然后是s型函数。该分类层的输出是由MV-KBC模型所做的预测，可以表示为

。。。

E.评估

我们将MV-KBC模型独立应用于LIDC-IDRI数据集5次，并进行了10倍交叉验证。通过获得的准确性、灵敏度/查全率、特异性、精度的平均值和标准差，临界值为0.5、f分数度量和受试者操作员曲线下面积(AUC)[49]来评估性能。准确性显示了我们的模型在将结节分为恶性或良性方面的表现。敏感性和特异性分别衡量正确识别的恶性和良性结节的比例。精度是在检索到的阳性实例中检索到的真阳性实例的比例。f分数是对测试准确性的衡量，考虑精度和召回率。AUC对班级间的不平衡很敏感。

我们使用整个LIDC-IDRI数据集（即1301个良性和644个恶性结节），并评估了我们的MV-KBC模型，这些方法简称为方法A、B、C、D、E和F已在介绍部分描述。对于方法C、D、E和F，我们重复了这些代码，并使用10倍交叉验证在我们的数据集上独立测试了它们5次。对于其他比较方法，我们没有代码，因此采用了已发表论文中报告的性能。

结果

A.良性恶性分类法的比较

表三显示了所提出的MV-KBC模型和其他六种肺结节分类方法的准确性、灵敏度/查全率、特异性、准确性、精确度、f评分和AUC的平均值和标准差。对于方法A和方法B，我们采用了已发表论文中报道的性能。虽然这些肺结节来自同一个LIDC-IDRI数据集，但用于训练模型的图像却有所不同，方法B使用了比方法更大的训练集 A. 我们的MVKBC模型使用了LIDC-IDRI数据集（即1301个良性结节和644个恶性结节），与方法a和方法a相比取得了最佳的性能 B.

Knowledge-based Collaborative Deep Learning for Benign-Malignant Lung Nodule Classification论文阅读相关推荐

Deep Learning for 3D Point Clouds: A Survey 论文阅读
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 Abstract:在点云深度学习中,主要包含的任务有:3D形状分类.3D目标检测和跟踪.3D点云分割. ...
Automated defect inspection system for metal surfaces based on deep learning and data augmentation
Automated defect inspection system for metal surfaces based on deep learning and data augmentation 基 ...
python数据库开发 dga_DGA detection based on Deep Learning (CNN and GRU) (基于深度学习的DGA检测)...
DGA-detection DGA detection based on Deep Learning (CNN and GRU) (基于深度学习的DGA检测) This project impleme ...
Prediction of Multidrug-Resistant TB from CT Pulmonary Images Based on Deep Learning Techniques论文总结
Prediction of Multidrug-Resistant TB from CT Pulmonary Images Based on Deep Learning Techniques 解决的问 ...
image adaptive 3dlut based on deep learning
文章目录 image adaptive 3dlut based on deep learning 1. Learning Image-adaptive 3D Lookup Tables for Hig ...
LCZ classification based on deep learning概况（持续更新）
目录 Multilevel Feature Fusion-Based CNN for Local Climate Zone Classification From Sentinel-2 Images: ...
[LiteratureReview]PointNet Deep Learning on Point Sets for 3D Classification and Segmentation
[LiteratureReview]PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 出处:20 ...
【论文精读 | 细节分析 | 代码实现】PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation
文章目录声明引文 1.点云数据格式 2. 点云的特点 2.1.1 点云的置换不变性 2.1.2 点云的相互关系 2.1.3 点云的旋转不变性 3. 传统处理方式 Abstract 点云数据的特性补 ...
《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解
<SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection>论文阅读理解领域:用于医学图像的异常检测论文地址 ...

Knowledge-based Collaborative Deep Learning for Benign-Malignant Lung Nodule Classification论文阅读

摘要：