Paper--Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis

文章链接：https://arxiv.org/pdf/1908.06912.pdf
Abstract
从自然图像到医学图像的转移学习已被确立为医学图像分析深度学习中最实用的范例之一。但是，要适应这种范式，必须以2D格式重新构造和解决最突出的成像方式（例如CT和MRI）中的3D成像任务，从而丢失丰富的3D解剖信息，并不可避免地损害性能。为了克服这一限制，我们建立了一组称为通用自动教学的模型，称为“创世纪模型”，因为它是即时创建的（无手动标签），自学的（通过自我监督学习的）和通用的（已提供），作为用于生成特定于应用程序的目标模型的源模型。我们广发的实验表明，在涵盖分割和分类任务的所有五个目标3D应用中，我们的创世纪模型显著优于从头开始的学习。更重要的是，简单地在3D中从头开始学习模型可能不一定比从2D中从ImageNet转移学习获得更好的性能，但是我们的模型创世纪始终领先于任何2D方法，包括对从ImageNet预先训练的模型进行微调以及优化。调整了我们的模型创世纪的2D版本，确认了3D解剖信息的重要性以及我们的模型创世纪对3D医学成像的意义。这种性能归因于我们基于统一但自我监督的学习框架，该框架建立在一个简单而强大的观察之上：医学图像中复杂而又反复出现的解剖结构可以作为深层模型的强有力的监督信号，从而通过自我监督自动学习常见的解剖学表现形式。作为开放科学，可以在https://github.com/MrGiovanni/ModelsGenesis上获得所有经过预训练的Model Genesis。

Introduction
考虑到自然图像和医学图像之间的明显的差异，我们假设如果直接从医学图像构建源模型，则迁移学习可以产生更强大的（针对特定应用）的目标模型。为了验证这一假设，我们选择了胸部成像，因为胸部包含多个关键器官，这些器官容易发生多种疾病，从而导致大量发病和死亡，并因此带来大量的医疗费用。在本研究中，我们将重点放在胸部CT上，因为它在诊断肺部疾病中具有重要作用，并且我们的研究社区已经积累了多个胸部CT图像数据库，例如LIDC-IDRI和NLST2,其中包含大量胸部CT图像。因此，我们寻求回答以下问题：我们是否可以利用大量可用的胸部CT图像而无须系统注释，以训练可以通过迁移学习产生高性能目标模型的源模型？
为了回答这个问题，我们开发量一个框架，可以训练用于3D成像的通用源模型。我们将使用我们的框架，通用自动训练的模型-创世纪模型，并将使用胸部CT扫描训练的模型称为模型创世纪。作为消融研究，我们还使用称为Genesis Chest CT 2D的2D Chest CT切片训练了降级的2D版本。为了证明Genesis模型在2D应用中的有效性，我们训练了一个基于ChestX-ray83的2D模型，命名为Genesis Chest X-ray。
我们的广泛实验将在第二节中详细介绍。 3证明了Genesis模型，包括Genesis Chest CT，Genesis Chest CT 2D和Genesis Chest X射线，在所有七个目标任务中均显着优于从头开始学习（参见表1）。

如表4所示，仅在3D中从头开始学习可能不一定会比微调最新的ImageNet模型产生更好的性能，但是我们的Genesis Chest CT始终领先于任何2D方法，包括微调ImageNet模型。

作为对我们的Genesis Chest CT 2D和Genesis Chest X-ray，确认了3D解剖信息在胸部CT中的重要性以及我们的自我监督方法在3D医学图像分析中的意义。
这种性能可归因于以下项的观察：医学成像协议典型地聚焦于SPECI音响Ç临床目的的身体的特定部分，导致类似解剖结构的图像。复杂而又经常性的解剖结构为自我监督学习提供了一致的模式，以发现特定身体部位（在我们的案例中为肺）的共同代表。
如图1所示，我们的统一自我监督学习方法的基本思想是从统一框架中通过各种方式转换的图像中恢复解剖模式。

Models Genesis
创世纪模型从零开始在未标记的图像上学习，目的是产生一种通用的视觉表示形式，该表示形式可以在疾病、器官和方式之间通用和转移。在创世纪模型中，使用一系列自我监督方案来训练如图1所示的编码器-解码器。一旦训练完成，就可以对编码器进行微调以完成目标分类任务。而编码器和解码器可以一起用于目标分割任务。为了清楚起见，我们正式定义了一种训练方案，即通过任何转换来转换patches的过程，如图1 所示，并训练一个模型以从转换后的副本中回复原始patches。在下文中，我们首先以学习为目的和观点来解释我们的每个自我我监督学习方案，然后总结我们创世纪模型的四个独特属性。在此过程中，我们还将“创世纪模型”与现有方法进行对比，以展示我们的创新和新颖性。
1.通过非线性变换学习外观
医学图像中的绝对或相对强度值传达有关成像结构和器官的重要信息。例如，CT扫描中的霍恩菲尔德单位对应于人体的特定物质。这样，强度信息可以用作像素级监督的强大来源。为了在图像变换过程中保留解剖结构的相对强度信息，我们使用了B´ezier曲线，这是一种平滑且单调的变换函数，该函数为每个像素分配一个唯一值，从而确保了一对一的映射。恢复因非线性变换而失真的图像patches，将创世纪模型的重点放在学习器官外观（形状和强度分布）上。图1-1显示了转换后图像的示例。由于篇幅所限，我们在附录4节中提供了实现细节。
2.通过局部像素调整学习纹理
给定一个原始的patch，局部像素调整包括从该patch中采样一个随机窗口，然后关闭包含像素的顺序，从而生成转换后的patch。局部窗口的打消决定了任务的拿督，但我们将其保持为小于模型的接受范围，并且还应足够小以防止更改图像的全局内容。为了从局部像素关闭中恢复，创世纪模型必须记住局部边界和纹理。图1-2显示了局部关闭的示例。我们在附录4节中包含了基础数学和实现细节。
3.通过内涂和外涂来学习上下文
为了通过外涂实现自我监督学习，我们生成了任意数量的各种大小和纵横比的窗口，并将它们相互叠加，从而形成了一个形状复杂的窗口。然后，我们为窗口外的所有像素分配一个随机值，同时保留其中像素的原始强度。对于内涂，我们将原始强度保留在窗口外部，并将内部像素的强度值替换为恒定值。与【6】不同的是，内涂作为代理任务通过仅还原patch中心区域，我们在输出中还原整个patch。外涂促使创世纪模型通过外推来学习整体几何形状和空间布局，而修复则要求创世纪模型通过内涂获得器官的局部连续性。图1-3和图1-4分别显示了外涂和内涂的示例。更多可视化内容可以在附录4中找到。
模型创世纪具有以下四个独特的属性：
1.自动教学-无需手动标记
对创世纪模型进行自我监督，并使用大量未标记的图像数据集来进行训练，要求专家注释为零。因此，模型创世纪与ImageNet [7,9]的传统监督转移学习非常不同，后者从3D医学成像应用中受益匪浅，而从NiftyNet5的预训练模型中受益匪浅（见第3节和附录4）由于数据集和特定应用（例如，脑碎裂和器官分割）的规模很小，这些模型已经过训练。
2.折衷-从多个角度学习
我们的统一方法从多个角度（外观，纹理，上下文等）训练“模型创世纪”，从而在所有目标任务上产生更强大的模型，如表3所示，我们将统一方法与单独的方案进行了比较。这种折衷的方法将多个任务合并到一个图像恢复任务中，使Models Genesis能够学习更全面的表示。

3.可扩展-消除特定于代理任务的头
整合到单个图像恢复任务中，我们新颖的自我监督方案在训练期间共享相同的编码器和解码器。如果由于GPU上的内存有限，每个任务都需要自己的解码器，那么我们的框架将无法容纳大量的自我监督任务。通过将所有任务统一为一个图像恢复任务，可以轻松地将任何有利的转换修改到我们的框架中，从而克服了与多任务学习相关的可伸缩性问题[2]，在该问题中，网络负责人要承担特定的代理任务。
4.通用-产生各种应用程序
创世纪模型学习通用图像表示形式，可将其用于各种目标任务。具体来说，可以利用创世纪模型来初始化用于目标分类任务的编码器，并初始化用于分割任务的编码器-解码器，而现有的自我监督方法主要集中在仅提供的编码器模型上。如表2所示，模型的起源可以概括为通用的疾病（例如结节，栓塞，肿瘤），器官（例如肺，肝，脑）和方式（例如CT,X射线，MRI），这使我们与文献中所有以前的作品不同，后者额是通过特定的自我监督任务来学习表示的，因此缺乏普遍性。这样的特定方案包括预测从同一大脑随机采样的两个patch的距离和3D坐标[8]，确定两次扫描是否属于同一个人，预测椎体的水平[3]以及最后由Tajbakhsh进行的系统研究等。 [10]其中针对一组目标任务研究了个性化的自我监督计划。
Experiments and Results
实验协议:我们的Genesis CT和Genesis X射线是通过LIDC-IDRI1中的534 CT扫描和Chest Xray83中的77,074 X射线进行自我监督的预训练。我们决定不使用LIDCIDRI和ChestX-ray8中的所有图像来训练模型创世纪的原因是为了避免代理任务和目标任务之间的测试图像泄漏，以便我们可以可靠地将其余图像也仅用于测试模型创世纪。作为目标模型，尽管仅根据未标记的图像训练了创世纪模型，但不涉及数据集附带的注释。我们在7种医学成像应用程序（包括3D和2D图像分类和分割任务）中对Models Genesis进行了评估（如表1所示）。对于CT和MRI中的3D应用，我们研究了基于2D切片的解决方案和基于3D体积的解决方案的功能；对于X射线和超声中的2D应用，我们将Model Genesis与随机初始化和ImageNet的微调进行了比较。3D U-Net体系结构6用于五个3D应用程序中。具有ResNet-18编码器7的U-Net架构用于七个2D应用程序中。在图像恢复任务中，我们将L1范数距离用作损失函数。目标图像分类和分割任务的性能分别通过至少10次试验分别由AUC（曲线下面积）和IoU（联合上的交点）衡量。我们报告具有均值和标准差的性能指标，并根据独立的两样本t检验进一步呈现统计分析。
从零开始训练的模型Genesis优于3D模型
我们评估了Genesis Chest CT在五个不同3D医学目标任务重的有效性。这些目标任务被选择，以便它们显示到代理任务的语义距离的水平不同，如表2所示，这使我们能够研究
Genesis Chest CT关于域距离的可传递性。表2证明了从Genesis Chest CT精细调整的模型始终优于从头开始训练的模型。我们的统计分析表明，在所研究的所有目标任务中，性能提升都是显著的。具体来说，对于目标任务和代理任务在同一领域中的NCC和NCS，与从头开始训练相比，Genesis Chest CT的初始化分别使AUC和IoU得分提高了4和3分。对于ECC,在影响器官的疾病和数据集本身中，目标任务和代理任务都是不同的。Genesis Chest CT在从头开始训练方面取得了显着改善，AUC增加了8点。尽管LCS和BMS的代理任务域距离最宽，但Genesis Chest CT仍继续为LCS和BMS带来可观的IoU增益。据我们所知，我们是第一个研究医学成像中跨域自我监督学习的人。鉴于Genesis Chest CT仅在Check CT上进行了预训练，因此值得注意的是，我们的模型可以推广到不同的疾病，器官，数据集甚至模式。

创世纪模型始终是所有2D方法的佼佼者
处理医学图像成像中有限数据的一种常用技术是将3D数据重新格式化为2D图像表示，然后对预训练ImageNet模型进行微调。这种方法将训练实例增加量一个数量级，但是却影响到了3D上下文。比较Genesis Chest CT与该二维实际标准的比较很有趣。为此，我们从ImageNet预训练模型7中采用训练后的2D模型来完成NCC，NCS和ECC的任务。通过从体积数据集中提取轴向切片来获得2D表示，。表4比较的2D和3D模型的结果。

请注意，3D模型的结果与表2中报告的结果相同。正如我们的统计分析所证明的那样，从Genesis Chest CT训练的3D模型明显优于从ImageNet训练的2D模型，从而实现了更高的平均性能和更低的标准偏差（请参见表4和附录4 H）节。但是，相同的结论不适用于从头开始训练的模型，3D标记模型在三个目标任务中只有两个要胜过2D标记模型，并且表现出不希望的更大的标准偏差。我们将3D标记模型的混合结果归因于目标任务中的大量模型参数和有限的样本量，这一起阻碍了3D上下文的充分利用。实际上，3D标记模型的不良性能突出了Genesis Chest CT的有效性，从而释放了3D模型用于医学成像的功能。
模型创世纪（2D）具有与监督的预训练模型相同的性能。
为了将我们的自我监督方法与ImageNet [1]的监督预训练方法进行比较，我们特意将模型Genesis降级为2D版本：Genesis Chest CT 2D和Genesis Chest X射线（2D）（请参阅附录4中的Genesis 2D可视化） F-G节）。
图2中的统计分析表明，降级的Models Genesis 2D在模态内的性能与ImageNet的最新细调功能相当，在很大程度上优于随机初始化，这是一项重大成就，因为我们的产品注释成本为零。同时，降级的Models Genesis 2D在跨域迁移学习中相当强大，尽管当域距离较大时它们往往表现不佳，这表明在医学成像中应尽可能优先选择同域迁移学习。对于3D应用程序，我们还检查了NiftyNet5的财务有效性，NiftyNet5并非专为迁移学习而设计，而是唯一可用的受监督的预训练3D模型。与从头训练相比，针对NCS，LCS和BMS任务微调的NiftyNet支持者分别减少了3.37、0.18和0.03点（在附录4第I节中详细介绍），这表明对带注释的有限数据的严格监管不能保证良好的可传递性。像ImageNet。相反，“模型创世纪”受益于大规模的未标记数据集和专用的代理任务，这对于学习通用视觉表示至关重要。
Conclusion and Future Work
我们的一个重要贡献是名为创世纪模型的通用源模型的集合，这些源模型是使用我们新颖的统一自我监督方法直接从未标记的3D图像数据构建而成的，用于通过迁移学习生成功能强大的特定于应用程序的目标模型。虽然我们的经验结果很强，在大多数应用中都超过了最先进的性能，但未来的重要工作是将我们的模型创世纪扩展到面向模式的模型，例如创世纪MRI和创世纪超声波以及器官面向对象的模型，例如Genesis Brain和Genesis Heart。实际上，我们预见到Models Genesis可以作为3D医学成像应用中转移学习的主要来源，尤其是在注释数据有限的情况下。为了造福研究界，我们将Models Genesis的开发开放为科学，向公众发布了我们的代码和模型，并邀请世界各地的研究人员对此做出贡献。我们希望我们的集体努力将导致模型创世纪的圣杯，这种跨越疾病，器官和形态的效应。

辅助材料模型创世纪：用于3D医学图像分析的通用自学模型

Abstract
本文档提供了题为“模型起源：用于3D医学图像分析的通用自学模型”的论文的补充材料。补充材料的结构如下：在Sec. A,我们首先简要介绍“模型起源”。在Secs. B—E ，详细描述了四个单独转换的详细实现和说明。Secs. B—E ，在预训练的Genesis CT和Genesis X射线上包含定性的可视化图像，用于相同域和跨域图像的恢复。 Secs. H—I介绍了ImageNet，NiftyNet和我们的模型创世纪在各种目标任务中的迁移学习结果。

A Models Genesis

如图3所示，我们提出的自我监督学习包括两个部分：图像转换（图4所示）和图像恢复，其中采用编码器-解码器体系结构的Models Genesis通过还原原始patchX进行训练，从变换后的patch〜X中获取信息，旨在学习疾病，器官和模态之间转移和推广的通用视觉表示，从而产生高性能的目标模型。通过这项工作，我们得出以下结论：
1.模型在所有五个涉及分割和分类的目标3D应用程序中，Genesis模型都显着优于从头开始的学习。更重要的是，简单地在3D中从头开始学习模型可能不一定比从2D中从ImageNet迁移学习获得更好的性能，但是Models Genesis始终领先于任何2D方法，包括从ImageNet [11]微调和对2D进行微调。 Models Genesis，确认3D解剖信息的重要性以及我们的Models Genesis对3D医学成像的意义。
2.尽管Models Genesis具有出色的性能，但仍非常需要用于医学图像分析的大型，高度注释的数据集，如用于计算机视觉的ImageNet [4]。在计算机视觉方面，在撰写本文时，没有任何一种自我监督的学习方法优于ImageNet [10,3,12]预先训练的微调模型。我们开发Models Genesis的目标之一是帮助创建如此大的，带有强烈注释的数据集以进行医学图像分析，因为基于少量专家注释，从Models Genesis进行精细调整的模型将能够帮助快速生成初始毛坯。未标记图像的批注供专家审阅，从而减少批注的产生并加速创建大型的，带有强烈批注的医学ImageNet。总而言之，“模型创世纪”并非旨在取代医学影像分析这样的大型，带批注的数据集，例如用于计算机视觉的ImageNet，而是帮助创建了一个数据集。
3.尽可能总是首选同域迁移学习。在性能方面，Samedomain迁移学习是首选选择；因此，在未来的工作中，我们将继续训练面向模式的模型，包括Genesis CT，Genesis MRI，Genesis X射线和Genesis Ultrasound，以及面向器官的模型，包括Genesis Brain，Genesis Lung，Genesis Heart和Genesis Liver。
4.跨域迁移学习是圣杯。要从PACS系统中检索大量未标记的图像，需要IRB的批准，这通常是一个漫长的过程。检索到的图像必须被取消识别；以适合深度学习的方式组织模糊的图像既繁琐又费力。因此，许多目标域可能无法轻易获得大量未标记的数据集。我们在表2和图2中的结果证明，模型创世纪在跨域迁移学习中具有很大的潜力。特别地，基于失真的方法利用相对强度值（在所有形式下）来学习各种器官的形状和外观。因此，作为我们未来的工作，我们将专注于在跨域转移学习中很好地概括的方法。我们使“模型创世纪”的开发成为开放科学，邀请世界各地的研究人员加入。所有经过预先训练的Model Genesis将在https://github.com/MrGiovanni/ModelsGenesis上公开。

B Non-linear Intensity Transformation Visualization

我们提出了一种基于非线性平移的新颖的自我监督训练方案，该模型可以学习恢复使用一组非线性函数转换后的输入图像的强度值。基本原理是CT扫描中的绝对强度值（即Hounsfield单位）或其他成像方式中的相对强度值传达了有关基础结构和器官的重要信息[2,5]。因此，该训练方案使模型能够学习图像中存在的解剖结构的外观。为了保持可察觉的解剖结构的外观，我们使非线性强度变换函数保持单调，允许为不同值的像素分配新的不同值。为了实现这个想法，我们使用B´ezier曲线[14]，这是一个平滑且单调的变换函数，由两个端点（P0和P3）和两个控制点（P1和P2）生成，定义为：

其中t是沿线的长度的分数。在图5中，我们说明了基于不同变换函数的原始patch（最左侧的列）以及2D CT和X射线的变换patch。相应的转换函数显示在第一行。为了将变换函数应用于CT图像，我们首先将HU值裁剪为[-1000,1000]的范围，然后针对每个CT图像切片将其归一化为[0,1]。相反，将X射线图像直接归一化为[0,1]，而没有强度限幅。

C Local Pixel Shuﬄing Visualization

我们建议使用局部像素调整来丰富patch的局部变化，而不会显着损害patch的整体结构，这鼓励模型学习对象的形状和边界以及对象的不同部分的相对布局。具体来说，对于每个输入patch，我们从patch中随机选择1,000个窗口，然后依次关闭每个窗口内的像素。在数学上，让我们考虑一个大小为m x n的小窗口W。本地关闭在每个窗口上起作用，可以表示为

其中〜W是变换后的窗口，P和P1分别表示大小为m x m和n x n的置换度量。 W与P的预乘会置换窗口W的行，而W与P1的后乘会导致窗口W的列的置换。在实践中，我们保留窗口尺寸小于网络的接收范围，因此网络可以通过“重置”原始像素位置来学习更强大的视觉表示。为便于理解，我们研究了各种窗口大小的局部调整转换，并与原始patch一起进行了说明。窗口大小可以控制失真程度。如图6所示，局部锁定在一定程度上保持了对象的可感知性，它将通过恢复原始patch而在学习不变视觉表示中受益于深度神经网络。与去噪[16]和内涂[15,9]不同，我们的局部切换变换无意用噪声替换像素值，因此保留了与原始patch相同的全局分布。

D Out-painting Visualization

我们将外涂设计为一种用于自我监督学习的新训练方案，它使网络可以通过推断来学习医学图像中器官的整体几何形状和空间布局。为了实现它，我们生成了任意数量（d’10）的具有各种大小和纵横比的窗口，并将它们彼此叠加，从而形成了一个形状复杂的单个窗口。将合并的窗口应用于patch时，我们将窗口内部的patch区域暴露在外，并用随机数掩盖其周围。我们已在图7中逐步说明了此过程。

E In-painting Visualization

F Genesis Chest CT

G Genesis Chest X-ray

H Models Genesis vs. Models ImageNet

我们的模型创世纪与模型ImageNet（即在ImageNet上预先训练的模型）的比较总结在图15中的三个图和两个表格中。图15只是简单地从头训练3D模型并不一定胜过2D模型（请参阅NCC），但是，对Genesis Chest CT进行的3D模型的微调显着优于（p<0.05）基于切片的2D模型，包括对Models ImageNet进行的微调。如图所示，Genesis Genesis在目标任务上享有更高的稳定性。此外，将我们的统一框架与单独的培训计划进行比较表明，前者在所有目标任务上都更加强大，可以产生最佳结果或与最佳模型可比的性能（p<0.05）。我们的模型创世纪的这种优越性可归因于整合了多个自我监督的训练方案，这使模型能够学习更强大的图像表示。因此，微调的“模型创世纪”导致了功能强大且稳定的特定于应用程序的目标模型，从而确认了“模型创世纪”在3D医学成像中的重要性。

I The NiftyNet Transfer Learning Capability

图16中的表比较了经过预训练的NiftyNet与从头开始在三个目标任务上的训练的微调：（1）CT图像中的肺结节分割（NCS），（2）CT图像中的肝分割（LCS）和（3）使用骰子系数（均值）作为评估指标的MRI图像中的脑肿瘤分割（BMS），表明微调NiftyNet的3D监督预训练权重比随机初始化无益（p±0.05）。图16底部提供的验证数据集上的学习曲线进一步证实了这一点。但是，Genesis Genesis在随机初始化方面显着提高了性能（请参见主表2），并且在三个相同的模型上的性能始终优于NiftyNet模型。目标任务。请注意，预先训练的NiftyNet模型是在强大的监督下进行训练的，而Models Genesis是使用提议的自我监督范式来学习表示的。与NiftyNet模型动物园的预训练权重相比，由于我们的方法能够从中学习表征，因此我们提出的自我监督方法的预训练权重在疾病，器官和成像方式方面被发现更加健壮。大规模的无注释数据集。