2023年第10期(NeuroImage)：DomainATM：多中心医学图像数据标准化工具箱

1. 标题：DomainATM: Domain adaptation toolbox for medical data analysis.

2. 期刊：NeuroImage

3. IF/JCR/分区：7.4/Q1/中科院一区

4. DOI：10.1016/j.neuroimage.2023.119863

1、导读

2、背景动机

3、研究目的

4、工具箱介绍

5、测试试验

6、局限不足

1 导读

域适应（DA）是基于机器学习的现代医学数据分析的一种重要技术，其目的是减少不同医学数据集之间的分布差异。本文基于Matlab编程语言和现阶段流行的一系列DA算法设计了一个易于使用的医学数据域适应分析工具箱（DomainATM）。该工具箱能够促进用于医学数据分析的不同适应方法的快速特征级和图像级适配、可视化和性能评估。同时，工具箱支持使用者添加自己设计的域适应算法，具有很好的可拓展性。DomainATM的概述、代码和使用说明均开源。

代码：https://mingxia.web.unc.edu/domainatm/

2 背景动机

2.1 域偏移

得益于人工智能技术的进步，医学数据分析如今也在蓬勃发展。经典的机器学习算法通常假定训练集（源域）和测试集（目标域）在统计上遵循独立同分布。然而在现实中，这种假设通常因为众所周知的“域偏移”而几乎难以满足。在医学影像中，域偏移或数据偏差因成像扫描参数不一致或多中心等原因而广泛存在。这种现象将会严重降低模型的实际使用性能，阻碍高效模型的开发。

2.2 域适应

为了缓解这个问题，域适应(1)的研究受到广大医学数据研究人员的高度关注(2)。域适应的问题是如何降低源域和目标域分布的不一致性，从而增强在下游任务（如分割分类等）的性能。

图1：“域偏移”现象的概览图。

2.3 目前域适应的研究

目前已有大量的医学数据域适应的研究，但大多数研究都是针对特定情景和目的的独立应用。研究人员需要多次重复使用某种域适应算法或进行一些方法上的拼接组合。目前缺乏一个广泛比较不同域适应方法的统一平台，这将有助于避免为特定的医学数据分析重复进行人工实现。

在医学数据分析中，一个很重要的问题是如何快速便捷地使用域适应算法。由于医学数据的隐私等特性，真实情景下的数据较难获得和使用。因此，人工合成数据能很好地模拟“域偏移”的现象，从而提高算法开发的效率。

另外，现在的域适应算法较为复杂，对已有的算法进行训练和调试的时间消耗大十分不便，尤其对于那些没有很高的项目技术的研究人员。因此，快速便捷的域适应方法和实时可视化的性能检查有利于医学数据分析。

3 研究目的

基于以上背景，本文作者开发了一个基于Matlab的工具箱——DomainATM，以实现以下功能：

◆为医学数据分析模拟、评估和开发不同域适应算法的平台，辅助研究人员快速高效地利用主流的域适应算法。

◆根据用户的设定，快速生成合成数据从而对真实数据进行模仿。

◆包含特征级别和图像级别两大类域适应算法。

◆用户可以便捷地在工具箱中添加自己的域适应算法。

4 工具箱介绍

4.1 总览

图2：DomainATM工作流程图解。DomainATM由三个主要部分组成：1)数据模块加载或创建数据集；2)算法模块进行特征级或图像级的域适应并保存结果；3)评估模块根据具体的指标对适应性能进行评估。

该工具箱由三个模块组成：

1.数据模块负责加载和生成数据集。

◆直接加载现有的医疗数据集（.mat数据文件）。

◆创建具有用户定义的统计属性的合成数据集，用于模拟域偏移。

◆数据集的格式为M×N矩阵，其中M表示样本数，N表示特征维度。

2.算法模块包含不同域适应方法的实现。

◆所有这些域适应算法都具有统一的输入/输出参数格式。

◆默认情况下，DomainATM中包含了几种在医疗数据分析中广泛使用的有代表性的方法。这些方法可分为特征级自适应方法和图像级自适应方法。

◆工具箱中包含的大多数算法可以实时运行，在几秒钟内输出结果。

◆用户可以轻松地将自己的自定义算法添加到具有相同输入/输出格式的工具箱中。

3.评估模块评估不同适配方法的性能。

◆对于特征级自适应方法，我们采用了两个评价指标（域级分类精度和分布距离）。

◆对于图像级自适应方法，我们使用了三个评价指标（相关系数（CC）、峰值信噪比（PSNR）和均方误差（MSE））。

◆可视化功能能可视化数据分布以便更好地研究和理解不同的域适应算法。

4.2 工作流

4.2.1 创建/下载数据

◆对于特征级域适应，工具箱接受标准的Matlab的（.mat）文件格式的数据。每一行代表一个观察对象或样本，而每一列代表一个特征。

用户可以创建合成数据集。在分配了样本数、平均值和协方差矩阵后，工具箱可以自动生成服从正态分布的合成数据集。

加载真实/合成数据后，它们的分布将自动显示在工具箱中。真实数据集和创建的数据集都存储在工具箱的“Data”子文件夹中。

◆对于图像级域适应，工具箱当前接受3D数据（.nii）格式。所有的数据都将在Matlab中转换为内置数据。加载数据后，将自动显示一个中间切片（在轴向视图中）。请注意“创建数据集”模块目前只生成用于特征级域适应的数据。

4.2.2 选择域适应算法

1.加载数据后，接下来的步骤是选择、配置和运行域适应算法。大多数域适应算法都需要设置几个超参数。用户可以根据具体任务进行调整。否则，将使用这些方法的默认设置。

2.配置完成后，用户即可运行算法。工具箱提供的所有内置方法都简单、易于使用，并且可以在5秒内实时运行（在配备Intel i-7 CPU、16 GB内存的PC上）。

3.运行算法后，结果将自动保存在工具箱的“evaluation”子文件夹中。

◆对于特征级，将保存原始源/目标数据和适应后的源/目标数据（以.mat数据格式）。

◆对于图像级，适应的源图像（目标图像用作参考图像且不会被更改）将被保存（以.nii格式）。

◆所有文件都使用相应的方法命名，并带有时间戳。

4.2.3 评估域适应性能

在运行自适应方法并得到结果后，可以对这些方法进行性能评估。

◆对于特征级自适应，我们使用分布差异和域级分类准确率作为两个度量来评估自适应性能。

◆对于图像级自适应，我们采用相关系数、峰值信噪比和均方误差来评价自适应效果。

4.2.4 可视化域适应结果

除了定量评估外，结果可视化对于定性分析也很有用。DomainATM提供可视化功能，帮助用户更好地了解医疗数据的域适应。

◆对于特征级自适应，可以可视化自适应前后的特征分布（在2D空间中）。高维特征将通过t-SNE映射到2D特征空间(3)。

◆对于图像级自适应，可以使用工具箱查看调整后的源图像、原始源图像和目标图像。

4.2.5 拓展：添加自定义的域适应算法

在医学数据分析的某些任务中，用户可能需要开发自己的领域适配方法。DomainATM支持针对特定任务使用的自定义算法。用户编写一个Matlab脚本来实现他们的算法。可以像其他内置方法一样，通过图形用户界面简单地运行和分析它们的方法。

◆自定义函数的输入/输出格式必须与其他内置适配方法一致。

◆当添加新算法时，自定义脚本应放入工具箱中的“algorithms feat”（特征级）或“algorithms img”（图像级）子文件夹中。

4.3 域适应算法

以下进行对内置算法的简单介绍，详细信息参看DomainATM在线使用手册。

4.3.1 特征级别的域适应算法

1.基准：没有使用特征级域适应。源数据和目标数据都保存在原始分布（在特征空间中）中。

2.子空间对齐（SA）：源和目标医疗数据由特征向量的子空间表示。源数据通过变换矩阵投影到目标域。不需要源域的类别标签。关键超参数是共享子空间的维度。

3.相关对准（COALL）：通过对齐源和目标分布的二阶统计量（例如，协方差等）来最小化域偏移/差异。此方法不需要类别标签信息和超参数。

4.迁移成分分析（TCA）：通过最小化最大平均偏差（MMD）距离在再生核Hilbert空间中搜索源域和目标域共享的子空间。不需要来源类别标签。关键的超参数是核类型和子空间维度。

5.最优传输（OT）：源域中的样本被投影到目标域中，同时保持其条件分布。通过最小化两个分布之间的Wasserstein距离来简化投影。不使用源域的类别标签。关键的超参数是正则化系数。

6.联合分布自适应（JDA）：采用最大平均偏差（MMD）来度量区域分布差异，并将其整合到主成分分析（PCA）中来构建对域移动具有鲁棒性的表示。该算法需要源类别标签。关键超参数包括核类型、子空间维度和正则化参数。

7.迁移联合匹配（TJM）：结合了特征匹配和实例重加权策略来减少域漂移。将源数据的最大平均偏差最小化和L2，L1范数稀疏性惩罚结合到主成分分析中，构造域不变特征。源域的类别标签是必填项。关键超参数包括核类型、子空间维度和正则化参数。

8.测地线流核（GfK）：源数据和目标数据被嵌入到Grassmann流形中，并且它们之间的测地线流被用来模拟区域移动。区域自适应是通过将数据投影到测地线流上的几个区域不变子空间来进行的。来源类别标签可以使用，也可以不使用。关键的超参数是子空间维度。

9.散射成分分析（SCA）：原始特征首先被投影到再生核Hilbert空间。然后通过优化公式进行域自适应，包括最大化类可分离性、最大化数据可分离性和最小化域失配。在适配过程中使用源域的类别标签。关键参数是变换后的空间的尺寸。

10.信息理论学习（ITL）：通过联合最大化领域相似度和最小化目标样本的期望分类误差来学习最优特征空间。来源类别标签是必填项。关键的超参数包括子空间维度和正则化参数。

4.3.2 图像级别的域适应算法

1.基准：对于由不同扫描仪/站点获取的两幅医学图像，该方法不利于域自适应。取而代之的是，根据某些评估度量直接比较成对原始图像的同质性/异质性。

2.直方图匹配（HM）：这种方法对源图像进行变换，使其直方图与目标图像的直方图匹配。经过自适应处理后，源图像和目标图像的灰度分布更加接近。

3.基于频谱交换的图像级协调（SSIMH）：首先将源图像和目标图像变换到频域(例如，通过离散余弦变换)。然后，将源图像的部分低频区域替换为目标图像的相应低频区域。最后，将修正后的频域中的源图像反转回空域，得到调整后的图像。该方法的关键超参数是阈值，它定义了源图像和目标图像之间交换的低频区域。在工具箱中，默认值设置为3。

图像级域自适应方法在两种不同的设置中工作得很好：

1.一对一图像协调：在给定源图像和目标/参考图像的情况下，可以选择特定的算法来使源图像适应目标图像空间。

2.批量图像协调：在给定多幅源图像和一幅目标图像的情况下，通过批量协调将所有源图像调整到目标图像空间。

5 测试实验

5.1 特征级别数据的域适应实验

5.1.1 评估标准

对于特征级自适应方法，我们采用了评估自适应过程前后分布变化的度量。使用以下方法/指标来评估适应性能：

1.分布差异。采用最大平均偏差(MMD)(4)来衡量领域自适应前后源域和目标域之间的数据分布差异。

2.域分类。假设分别从源域和目标域采样相同数量的样本。这些样本被分配了域标签，即源样本被标记为“1”，而目标样本被分配了标签“0”。将域分类器应用于所有样本，以区分哪些样本来自源域，哪些样本来自目标域。分类结果被用来评估区域偏移。高的域分类精度表明源样本和目标样本可以很容易地区分，这意味着域漂移很大。相反，如果自适应处理后领域分类精度下降，则表明领域自适应算法是有效的，因为它使两个领域变得更接近，变得更难区分。

5.1.2 在合成数据上的域适应实验

作者通过高斯分布生成两个区域。每个领域有两类，分别为30个正样本和30个负样本。

◆对于源域S，正负样本均值分别为[0，0]和[0，1]，其协方差矩阵分别为[0.2，0；0，0.2]和[0.1，0；0，0.1]。

◆对于目标域T，正负样本均值分别为[1，-0.5]和[1，0.2]，其协方差矩阵分别为[0.2，0；0，0.2]和[0.1，0；0，0.1]。

图4：本图显示了原始数据和不同方法调整后的数据的分布情况。从可视化结果来看，不同的领域调整方法可以在一定程度上减少源样本和目标样本的分布差异。

图5：本图显示了域自适应后源域和目标域的数据分布差异(根据最大平均差异)。基线方法的结果显示了源域和目标域的原始分布，没有进行任何适配处理。可以观察到，域适应可以减少原始源域和目标域之间的分布差异。

图6：使用九种特征级自适应方法，在合成数据集上使用九种特征级自适应方法，在域自适应前后，合成数据在领域级分类精度方面的分布差异。

表1：在合成数据上，基于支持向量机（SVM）和随机森林（RF）的域分类结果。

可以看出，即使使用不同的分类器，域自适应后的领域分类精度也会下降。这意味着源数据和目标数据变得更难区分，即域自适应使它们的分布比原始空间更相似。

5.1.3 在阿尔兹海默症数据集（ADNI）上和自闭症数据集上的域适应实验

作者在阿尔茨海默病神经成像数据集(5)和自闭症数据集(6)上进行了实验，得到了相同的实验结论，以ADNI数据为例进行介绍（另一个数据集内容请参看原文）。该数据集包括用于阿尔茨海默病分析的T1WI-MRI数据。我们分别使用ADNI的两个子集，即ADNI-1（100名受试者的1.5T的T1WI-MRI）和ADNI-2（100名受试者的3.0T的T1WI-MRI）作为源域和目标域，使用DomainATM测试领域自适应算法。ADNI-1包括50名阿尔茨海默病（AD）患者（阳性样本）和50名正常对照组（NC）（阴性样本）。ADNI-2包括50名AD受试者和50名NC受试者。所有的核磁共振成像都通过一个标准的管道进行处理，包括头骨剥离、强度校正、配准和重新采样。在解剖自动标记（AAL）图集中的90个区域上定义的感兴趣区域特征被用来表示每个对象。90维特征表示每个大脑区域的灰质体积。结果如下所示，可得出和上述相同的结论。

图7：在ADNI数据集上的分布图。

图8：ADNI两个子集的MMD实验结果图。

图9：ADNI两个自己上的数据分布差异。

表2：在ADNI数据上域分类的结果。

5.1.4 特征级域适应实验总结

在上述实验中，作者使用两个量化指标，即MMD和域分类准确率，来评估不同域适配方法在DomainATM中的性能。MMD是一个直接评估指标，因为它是根据源域和目标域(数据集)的统计特性直接计算的。一般来说，如果方法A实现的MMD比方法B小，那么A被认为是更好的。领域分类准确率是一个间接指标，因为它依赖于特定的领域分类器。但它也能反映自适应性能，因为混淆分类器是困难的。如果方法A实现的领域分类精度比方法B小，则A被认为是更好的。基于实验结果，我们有以下经验发现：

◆与其他方法相比，COALL、TCA和SCA算法的域自适应性能相对较差。它们得到的MMD值和领域分类准确率明显高于其他两种方法。

◆在这些自适应方法中，OT算法获得了整体最好的性能。在所有这三个实验中，它通常产生最小的MMD值和域分类精度。

◆在ADNI数据集上，TJM、JDA、GfK和ITL具有类似的性能。它们具有相似的领域分类精度和较低的MMD。在ABERE数据集上，算法ITL的性能要比其他算法差。

◆大多数算法在显著降低MMD值方面是有效的。相比之下，域分类的准确率更难降低。这意味着将域分类器与某些域自适应方法混淆是具有挑战性的。因此，域分类精度是评估自适应算法稳健性的严格度量。

5.2 图像级别数据的域适应实验

5.2.1 评估指标

对于图像级的自适应方法，采用自适应前后图像相似性/相异度的度量方法。具体地说，采用以下三个指标来评估图像级自适应性能：

◆相关系数（CC）

◆峰值信噪比（PSNR）

◆均方误差（MSE）

5.2.2 实验设计

来自ABCD数据集(7)的具有T1WI-MRI的五个受试者的数据被用于性能评估。采用多家MRI厂商的扫描结果进行分析。这些模型被用来测试图像层域自适应方法在处理不同扫描仪引起的域漂移方面的性能。所有这些3D磁共振成像都是Nifti文件格式的原始数据。

在图像级自适应之前，不进行任何预处理，如头骨剥离、配准或分割。在自适应过程中，每个图像的强度被归一化到[0，1]的范围。对于这些包含多个切片的体积图像，在每个切片上促进自适应，然后将性能计算为图像（体积）内所有切片的平均度量值。

5.2.3 实验结果

对五种模体结构MRI数据进行了图像级域自适应，三种指标的自适应结果如表五所示。结果表明：

◆图像级域自适应方法通常可以获得较高的相关系数（CC）和峰值信噪比（PSNR）以及较小的均方误差（MSE）。

◆在某些情况下，直方图匹配（HM）在峰值信噪比和均方误差方面表现不是很好。

◆图像级自适应方法能够有效地减少不同扫描仪引起的图像间的分布漂移。

表5：三种图像层域适配方法对来自ABCD数据集的三种不同扫描仪采集的五个旅行幻影受试者的T1加权磁共振成像的结果。

5.2.4 可视化检查

为了进一步研究图像层域自适应的有效性，对适应不同扫描仪的磁共振成像进行了视觉检查。

◆根据扫描仪的不同，将磁共振分为三组。

◆使一个扫描仪获取的磁共振成像与其他扫描仪扫描的磁共振成像样式相适应。

◆使用DomainATM中的SSIMH方法来执行图像级自适应。

从结果来看，有以下两个观察结果：

◆不同的扫描仪对磁共振成像有很大的影响，这可能会导致域的移动。

◆图像水平域自适应方法能有效地使源图像与目标图像相协调，并减少不同扫描器引起的域漂移。

图13：通过基于频谱交换的图像级别协调(SSIMH)方法对不同扫描仪获取的T1加权(T1-w)磁共振成像进行图像级别域自适应。通过SSIMH进行图像级自适应，可以部分地减少由于使用不同扫描仪而引起的域漂移。

6 局限不足

◆该工具箱目前仅包括一些基于传统机器学习的域适应算法。

◆未来需要加入基于深度学习的相关算法，如：GANs和CNNs等。

◆该工具箱目前的评估指标仅能评估域差异，尚不能在具体任务中分析性能。

◆未来将具体任务的评估指标加入，使其更具有实用性，如：域适应前后的分割得分。

◆该工具箱目前操作可选择性较为简单。

◆未来将加入更多图像化界面和选项，使得使用者可以对每一种域适应方法的超参数进行调节。

▎脚注列表

[1] 域适应介绍：迁移学习：域自适应理论简介Domain Adaptation Theory - 知乎

[2] H. Guan and M. Liu, “Domain adaptation for medical image analysis: A survey,” IEEE Transactions on Biomedical Engineering , vol. 69, no. 3, pp. 1173–1185, 2022.

[3] L. Van der Maaten and G. Hinton, “Visualizing data using t-SNE,” Journal of Machine Learning Research , vol. 9, no. 11, 2008.

[4] 关于MMD的详细解析：统计知识（一）MMD Maximum Mean Discrepancy 最大均值差异 - 知乎

[5] C. R. Jack Jr, M. A. Bernstein, N. C. Fox et al. , “The Alzheimer’s Disease Neuroimaging Initiative (ADNI): MRI methods,” Journal of Magnetic Resonance Imaging , vol. 27, no. 4, pp. 685–691, 2008.

[6] A. Di Martino, C. G. Yan, Q. Li, E. Denio et al. , “The autism brain imaging data exchange: Towards a large-scale evaluation of the intrinsic brain architecture in autism,” Molecular Psychiatry , vol. 19, no. 6, pp. 659–667, 2014.

[7] N. D. Volkow et al. , “The conception of the ABCD study: From substance use to a broad NIH collaboration,” Developmental Cognitive Neuroscience , vol. 32, pp. 4–7, 2018.