用于临床心理学和精神病学的机器学习方法特别着重于从多维数据集学习统计函数,以对个体进行普适性的预测。机器学习方法有可能利用临床和生物学数据来更好地帮助医生做出对精神疾病患者的诊断,预后和治疗相关的决策,本文目的就在于提供一种更便于理解的途径,以了解这种方法在未来实践中的重要性。为此,我们对当前的心理健康研究统计范式的局限性提出了批评,并对临床研究中使用的关键机器学习方法进行了介绍。本文提出从当前的初步结果看,机器学习在临床心理学和精神病学的发展是令人鼓舞的,但仍旧需要推广机器学习方法并进一步证明其有效性。本文还阐述了目前机器学习方法的局限性,以及对未来临床泛化的考虑。本文发表在Annual Review of Clinical Psychology。

介绍:

一个世纪以来尽管临床心理学和精神病学取得了长足的进步,但诊断仍不清楚,预后仍不确定,心理治疗或药物治疗通常只对30%至50%的患者有效。因此,根据个别患者的需求量身定制精神病治疗策略在很大程度上依赖于反复的相互作用,这些相互作用会在几个月甚至几年的时间内产生患者的长期诊断,预后和最佳治疗方案。该临床模型可能最终是有效的,但它不必要地延长了痛苦,浪费了资源,如果患者在疾病早期进行分层治疗,以最大化其持续康复的可能性,那么这些资源就可以以更有针对性的方式使用。这种分层是转化临床心理学和精神病学的核心目标,但过去50年进行的研究并没有实质性地改善现行的商业模式。

尽管有很多原因导致无法取得更大的进步,但在本文中我们从处理问题、研究设计和通过主流统计框架分析数据的方式来考虑这个问题。然后,我们提出了一种不同的机器学习方法来解决改善临床护理的问题,该方法特别侧重于使用计算方法来优化单一被试水平上的泛化性。在本文的后半部分,我们回顾了精选文献,指出其局限性并概述未来的方向。本文的目的是为临床研究人员提供对机器学习方法的理解,并激发其在未来研究中使用和改进这些方法的动机。实现这一目标是促进最佳转化研究的关键一步,并且可能导致计算诊断和预后风险分层辅助在精神病和心理护理的实施。 为什么还没有转化更多的研究?

二十世纪初,在临床心理学和精神病学的新兴领域中,通过引入形式化的方法来量化个体组评估中的方差,误差和不确定性,取得了长足的进步。作为设计实验和评估结果重要性的一种综合方法,结合了包括p值测试,效果大小测量和功效分析在内的各种技术的结合。这种方法最终旨在将个体样本推广到假设的人群。例如,通过从假设的两组人群(例如健康和精神病患者)中随机抽样,可以推断出偶然看到组分布之间存在差异的理论可能性。这种方法可以称为经典推论范式,并且是进行现代心理学和精神病学研究的主要方法。

近年来,由于重复和再现性问题,经典推理方法受到越来越多的关注和审视。对p值测试的解释和重视存在严重问题,导致了所谓的重复危机,临床前研究的重复率估计仅为11%。如此低的重复率的一个原因是p值并没有具体衡量重复或再现性的可能性,并且对于许多问题,0.05的p值实际上意味着再现的可能性约为50%。在神经影像学研究的相同阈值下,经验估计表明,即使经过多重比较的统计学校正,显著结果还是假阳性的可能性高达70%。这些结果表明存在过度拟合现象,其中统计模型仅反映了当前样本的噪声和特征,并导致结果具有统计学意义但不可重现。即使结果是可重现的,统计学上重要的发现通常也没有临床意义。对于足够大的样本,即使在两组之间差异的大小或组内相关性(即效应大小)很小的情况下(例如全基因组关联研究),也可以发现统计意义。当考虑更大的效应值时,将该组水平的结果应用于个体会遇到困难。例如,定义为巨大(Cohen’s d = 2.0)的效应量应当要产生正确的识别——但在具有30%障碍患病率的精神病学富集样本中,只有大约64%的情况下能够正确识别。在非富集样本(例如,1%的患病率)中,即使在50%的情况下,要正确识别一个个体所需要的效应量也处于一个非常高的范围内,以至于不太可能在适当的样本量下发现(即,Cohen’s d ~ 4.0)。因此,对于研究转化而言,效应量通常太低——这一观察结果之前没有得到更广泛的认可,因为通常没有提供有意义和直观的预测准确性的度量。

由于心理健康障碍是一种复杂的病症,涉及到与每个个体相关的环境、行为、认知、情绪和生物系统内部和之间的相互作用,因此效应量也可能被削弱。使用单独处理小组级别的小部分的技术对这些系统进行建模时,因为关键的交互作用和个体差异将被排除在外,所以会显示出类似的受限效应大小。这在神经成像领域尤其如此,尽管有强烈的假设认为精神健康障碍主要是连接中断综合征,但由于单变量技术牺牲了局部的连接来实现定位,导致已知的大脑区域间的相互作用常常被这些技术所忽视。尽管存在成千上万的研究文章,这些局限性还是导致神经影像生物标志物很难被发现。当以群体为基础的概念(例如潜伏性)主导时,它们也适用于转化心理学研究,但是否适用于个人,还存在疑问。

在占主导地位的经典统计框架内,也有可以解决这些问题的办法。“Silver bullet”(任何情况都有效)的致病因素仍然可以通过高度受控,假设驱动的实验研究或使用单变量或多变量技术对大量样本(n> 10,000)进行大规模分析来发现。还有一些旨在促进良好研究实践的其他想法,例如预测概率估计,报告置信区间,进行元分析或在数据库中预先注册探索性结果,然后用于重现结果。但是,这些建议从根本上大部分仍然是适用于团体而不是个人的经典范式的补充,涉及到关于结果通用性的可信度低,未评估研究结果转化临床应用的能力,并且也不是设计用于复杂,多模态和大规模多变量数据。因此,可能需要考虑采用不同的方法来克服这些限制(请参见“研究转化的促进”)。

研究转化的促进

尽管有严重问题限制了研究结果的转化,但统计学思维的主导模式仍影响着精神病学和心理学研究的设计和分析。有必要使用一些便利的方法

■  分析与具有已知相互依赖的高维数据相关的复杂多元关系,尤其是当这些相互依赖关系在生物学上得到证明(例如大脑连接)时;

■  具有明确的概率报告的经验估计和泛化性优化;

■  将应用模型应用到个人而不是群体。

机器学习及其存在的原因

机器学习被广义地定义为一种计算策略,它可以自动确定(即学习)方法和参数以实现对问题的最佳解决方案,而不是由人类事先编程以提供固定解决方案。它被认为是人工智能(AI)的一个子领域,因为该学习过程模拟了人类的一个方面,并且可以用于一些表面上的智能化目的(例如:语音,书写,面部识别,自动驾驶汽车或医疗决策助手)。为了进一步定义这个术语,并为其他重要概念提供具体的例子,我们将从一个在20世纪50年代数字计算取得进展的同时出现,被称为感知器的历史机器开始。

感知机创造者的目标是建造一台机器,它可以开发自己的公式,通过经验来解决问题。具体来说,它被设计用400个光传感器来识别三角形图片,这些光传感器可以检测出代表各种形状(如正方形和三角形)的明暗模式。我们的想法不是自上而下地给机器编程,告诉它正方形或三角形是什么样子,而是通过自下而上的训练过程让机器学会正确标记图案。该过程在实验人员的监督下进行,实验人员将三角形标记为正确的标签,将其他形状标记为错误。在许多试验中,机器将使用内部方程式或函数来修改与每个光传感器关联的统计权重。在训练过程中,某些传感器(即三角形模式的传感器)的响应将被赋予非常高的权值,而其他传感器(即方形模式的传感器)的响应则较低,并且这种加权将确定预测结果。通过显示一组未标记的图像测试内部算法的准确性以评估此学习模型的性能。这样,机器直接从三角形图案的混乱变化中学习,以创建图案基于统计的内部化表示,即机器学习了图案的模糊概念。因此,机器学习的开始集中于从真实数据中学习,对数据进行有限的预先假设,并评估机器在现实环境中的表现。

感知器帮助计算机改变了思考方式,从必须使用已知的公式和规则先验编程的计算器(例如,行星运动的预测)变成可以自行学习模糊规则的事物(例如,模式识别)。这一早期的成功引起了大量的讨论,大部分涉及到对其他没有明确规则的问题的潜在逻辑的富有想象力的概括——主要是在心理学和生命科学领域。然而,由于早期算法的局限性和当时可用的计算能力较低,这一梦想没有实现,泡沫破灭了。随着计算能力的增加,这些限制现在可以逐步得到解决,即使在传统模型和算法没有被优化的情况下,计算机(现在被实例化为数字计算机中的软件)有时也可以从非常复杂的数据中学习。(例如,人脸识别)。

机器学习算法现在已经以互联网搜索和产品推荐,翻译服务,语音识别服务以及自动驾驶汽车的形式进入了我们的日常生活。在医疗保健领域,在涉及图像模式识别的任务中,如检测皮肤癌、肺癌和眼疾,机器学习方法的表现与临床医生一样好,甚至更好。医学成像公司也已经将机器学习算法集成到检测乳腺癌的超声波设备中(例如,三星,RS80A)。这些进步推动了商业机器学习医疗保健解决方案的快速增长,主要肿瘤公司已经在使用该技术(例如,http://nanthealth.com/),一些公司的投资超过2亿美元(iCarbonX; https://www.icarbonx.com/en/),以及精神病学领域出现的新增长(例如,Spring; https://www.springhealth.com/)。新一轮机器学习浪潮的早期成功引发了相当多饱受争议的普遍推测。但显然机器学习技术将被继续使用,因为它们解决许多问题的性能优于经典方法。这篇综述将证明,采用现代机器学习方法的自下而上的方法可以通过改变解决问题的方式,解决多维相关数据以及在单学科水平上做出可概括的预测来极大地促进临床心理学和精神病学的发展。

临床心理学和心理学中重要的机器学习方法

本节概述了针对临床心理和精神病学研究人员的关键机器学习技术。它分为六个部分,从问题和数据类型到高级方法的解释。更详细地说,有一些成熟的、高度重视的全面机器学习方法指南,包括正式的统计术语。

问题和数据类型

机器学习可以最佳解决转化临床心理学和精神病学问题分为四大类:诊断,预后,治疗预测以及潜在生物标志物的检测和监测。在这种情况下,转化机器学习的最终目的是生成对客户,全科医生和专业医院有益的程序,以改善患者的预后,例如,决策支持助手可以使用临床或生物学特征提出诊断,未来预后,最佳治疗方法,并进行生物学特征监测作为治疗成功的客观指标。预测可以采用分类的形式(例如,该患者将从治疗X中受益)或回归框架以提供连续的估计值(例如,该患者将从特定剂量的药物X中受益)。还可以通过机器学习技术来增强预测,以识别个体的子群(例如聚类)或根据人口规范对个体进行索引。尽管不是本文的重点,但机器学习也被用于增强计算机辅助心理治疗。

重要的是,本文讨论的转化机器学习方法明确旨在产生足够有意义,准确且可泛化以集成到临床护理中的模型。可以使用从经典统计方法中得出的各种模型性能的直观指标来评估准确性,例如敏感性,特异性和准确性(表1),进一步的研究提供了一些方法,通过将临床决策理论集成到模型优化中来增强可解释性。例如,净效益分析根据预先定义的临床标准对模型的准确性进行评估,以反映阳性预测的成本收益比(例如,当只有一个人患有疾病时,需要评估十个人)。为了实现准确的预测,任何类型的定量数据都可以用于分析,并且有较少的假设(例如,正态性,方差均一性),部分原因是模型性能的估计是凭经验确定的。机器学习技术也是专门为高维数(即许多变量)数据集的多元分析而设计的,即使在事件与变量的比例有限的情况下。

泛化性和交叉验证

泛化性可以广义地定义为一组数据中生成的统计模型在新的组或个人中准确执行的程度。如图1所示,在回顾性分析和前瞻性分析的层次结构中对其进行评估,对于所有设计,可以通过将模型直接应用于新样本,计算机模拟或两种技术的组合来评估泛化性。在一个样本中建立统计模型,然后应用到另一个样本中,这是所有转化科学的黄金标准,但机器学习方法也包括模拟这一过程的能力(图1)。

表格1 用于解释结果和优化预测的性能指标

在机器学习框架内,可以使用对数据进行重采样的模拟(例如自举)来估计模型泛化性并优化。在这些技术中,交叉验证(CV)尤为突出,因为它可以将学习模型的数据与测试模型中的数据分开,即类似于需要将模型应用于实际的独立个体的情况。 CV的一个简单示例是留一法,从样本中保留测试被试,在其余训练对象中生成模型,然后将该模型应用于保留的测试被试对象。对样本中的所有被试重复此操作,并计算平均准确度作为样本外概括性的估计。然而,尽管它很简单,但由于预测的高度可变性,可能产生偏差的结果以及较长的计算时间,因此不建议采用留一法交叉验证。

另一种方法是k折交叉验证,其中将样本分为称为folds的独立子集(图1a)。然后,在此过程中将整个测试folds省去,在其余的训练数据上学习一个模型,然后对剩下的独立folds进行测试(例如,将10%的受试者留在外面,然后再训练其余部分)。然后k次重复此过程,并在样本外获得更稳定的泛化性估计,因为训练组的可变性更大,保留的测试集中有更多的独立性。一个常见的问题在于使用folds的数量,虽然作者建议使用5或10折交叉验证或统计标准,但它很大程度上取决于样本量,变量数量,使用的机器学习算法以及是否正在使用其他方法(例如,特征选择)。

k-folds设计是灵活的,并且对该技术的适应性能够支持泛化性优化。当前的金标准方案是嵌套(或双重)CV,它在一个上级CV循环中包含另一个CV循环,该循环可用于最终评估模型的泛化性。嵌套CV设计的强大之处在于,在模型最终应用于外部CV2循环的完全独立被试之前,可以学习优化内部嵌套CV1循环中测试被试的泛化性的参数或特征。

在基于多中心联合的研究中(例如PRONIA;https://www.pronia.eu),也可以使用留一设计评估模型在不同情形下的泛化程度(图1c)。在这种设计中保留一个站点并在其余站点上训练模型,并将预测应用于保留的站点。因此,该设计提供了一种站点间泛化性的指标,该指标也可以在嵌套CV设计中进行优化,这是构建专门增强泛化性的模型中的关键步骤。进一步的应用涉及通过选择保留的folds来评估和优化多种形式的泛化性(例如时间,地理,遗传,文化,诊断或实验)。

图1 使用交叉验证(CV)的泛化性评估。

(a)可以使用k-folds CV评估和优化泛化性,它通过将样本分为训练集和测试集组成的folds来模拟模型对新个体的应用。在最简单的方案中,划分了一个测试folds,并在剩余数据中训练了模型。然后将模型应用于遗忘的个体,以最终评估模型性能的敏感性和特异性。所有folds均重复此过程。

(b)一旦建立了具有回顾性,标记数据的模型,就可以将它们预先应用于新个体以进行预测。

(c)可概括性可以在一个层次结构中进行评估,在该层次结构中,将模型应用于个人,环境(例如时间和地理)和人口(例如遗传,文化,诊断或其他)的越来越多样化的选择中。单站点CV(交叉验证)(底部)最常见,涉及在单个位置(例如,单个医院或诊所)使用CV创建和评估模型,从而测量各个“集水区”中不同个体的普遍化程度。汇总的多站点CV涉及组合多个站点的数据以创建和评估模型,并且是对个人和上下文之间的模型可概括性的简单测试。上层的CV是对上下文泛化性的更为严格的测试,涉及在训练和测试过程中明确分离实验站点。在此框架中,将一个站点作为测试站点,在其余站点中训练模型,并在剩余站点中评估模型,从而更有效地评估模型在多大程度上适用于新环境和人口。外部验证是一种用于先前已生成模型(使用CV或其他方式)并将其应用于来自其他研究(例如,不同的个人,背景和经常研究的协议)的新数据的技术。前瞻性验证涉及在临床试验中或在现实环境中将现有模型应用于新个体。

预处理

为了使CV(交叉验证)有效,训练和测试数据的完全分离对于所有分析步骤都至关重要。这适用于在分类或回归之前需要对数据执行的任何预处理统计操作,例如缩放,插补,异常方差消除,特征选择或降维。这些步骤被嵌入到CV pipeline中,其中预处理步骤的参数可以在训练期间基于性能标准(表1)进行优化并应用于测试集。如果在CV之外执行预处理步骤,将导致在训练过程中包含有关测试被试的信息,而这种信息泄漏会破坏对泛化性的评估。信息泄漏的一个常见示例是基于特征在整个样本中的预测能力来选择特征的情况(例如,从两组的全脑比较中选择大脑区域),然后使用这些变量进行CV。

在这种情况下,泛化性的估计是无效的,因为这些功能已经针对样本中的测试对象进行了优化。预处理技术的选择将取决于数据,要使用的模型以及要解决的问题。一些方法遵循常规统计分析步骤,例如,回归协变量(例如,年龄或性别),删除具有最小方差的变量或估算缺失值。对具有大数据集上下文的机器学习预处理的一个重要方向是降维,它涉及将数据从高维空间转换为低维空间,同时仍保持数据中包含的信息(也称为数据压缩)。降维技术包括常见的统计方法,例如主成分分析,其目的是通过数学确定不相关变量集(成分)来解释数据集中的方差。在数据集的维数破坏了模型的泛化性并模糊了对结果的理解时(例如神经成像或遗传学),特征缩减非常重要。其他减少特征数量的技术包括如下所述的基于预定义的统计测试来选择变量的过滤器(例如,与目标变量的相关性)。在机器学习的交叉验证pipeline中进行预处理的优势在于,可以自动确定每个步骤的统计参数,以平衡训练期间实现最大准确性的重要性与模型泛化到测试样本的能力之间的平衡。例如,可以在训练过程中(或等效地,在测试对象的嵌套CV1周期内)学习提高泛化性的最佳数量,而不是固定分析后保留的主要成分的数量。

这有助于通过经验方法确定参数,这些参数通常由经验规则、默认设置或科学领域内的规范指导来确定,它们可以是任意的,通常与特定的问题和分析技术有关(例如,图像的平滑参数,基因组学的p值标准,或主成分的肘部法则)。然而,优化过程存在一些限制,因为训练和测试数据过拟合的可能性随着被测试参数组合的数量(即参数空间)而增加。因此,在此过程中选择CV(交叉验证)方案和样本量至关重要,因此在存在较大参数空间的情况下需要进行更强的泛化性测试,并且必须仔细考虑选择性能最佳的方法。最终,参数空间和优化过程通常是由“Occam’s raxor,奥卡姆剃刀法则”(当存在两个处于竞争地位的理论能得出同样的结论,那么简单的那个更好)来指导的,以使简约性高于复杂性,从而实现最大程度的泛化性(下文所述的所谓的深度学习模型除外)。

机器学习算法

机器学习方法的主要组成部分是用于执行分类,回归,聚类或规范化建模的算法。广义上讲,这些可以分为对病例进行标记的有监督学习(例如,分类为诊断组),旨在将未标记样品聚为相关病例组的无监督学习,以及包含标记和未标记病例的半监督学习。可用的算法通常是在机器学习领域内开发的,但是与预处理算法一样,其他流行的统计方法也普遍适用(例如,k-means)。

在机器学习中使用的算法通常是通过优化超参数来统一的,这些超参数修改了与函数相关的规则。学习的最终目的是利用超参数优化模型以实现预定目标(例如,表1中的准确性和图1中的泛化性)。例如,在使用最小二乘法的经典回归框架中,只有一个解决方案,一条拟合数据的线,固定的参数。但是,进一步的回归机器学习发展已添加了正则化超参数,可以对其进行修改,以确定可优化准确性和泛化性的模型(例如,Ridge,LASSO,Elastic Net)。这些超参数的具体值可以在训练过程中使用CV学习,然后应用于测试数据,同时根据所选的超参数确定和修改函数的核心参数(使用梯度下降法最小化目标函数)。正则化超参数将最小二乘回归转换为一种更灵活的方法,可以对其进行调整以最大程度地拟合函数以适应训练数据并将其推广到新的独立被试。

许多机器学习算法已经被开发出来了,这超出了本文的讨论范围(如随机森林、神经网络和决策树)。然而,在精神病学中最广泛使用的一种算法是支持向量机(SVM)。 SVM是一种多元监督学习,用于在基于边界的统计框架内将被试敏感地分为几类。这项技术相当重要,它起源于早期的多元模式识别算法,该算法旨在自动发现多元数据中的规律性以实现目标(例如,将个体分类或预测结果)。与回归技术一样,统计模式识别技术已针对机器学习环境进行了优化。

SVM方法在图2中进行了说明,其案例以二维空间表示,其目标是确定一个线性边界或超平面,以用于对当前数据集进行最佳分类,并推广到未来(未标记)的数据集。 SVM算法没有使用所有数据来计算超平面的位置,而是仅使用分布最接近的线性边界上的数据-这些数据被称为支持向量。然后使用这些支持向量来定义边距,其目的是最大化边距与超平面之间的距离。可以操纵确定边距大小和错误分类程度的参数,以平衡训练集中正确分类的目标和对测试集的泛化性。例如,可以采用严格符合训练数据的硬边界,不允许任何情况被错误分类,但这个边界可能会很难推广到测试集。或者可以使用软边界,允许错误分类通过减少训练期间的过拟合来增加泛化性(图2)。边界和错误分类的程度能够通过超参数C来控制,其可以在CV过程中进行优化和调整以实现目标(例如,测试集中的最高准确度)。

图2 支持向量机(SVM)进行监督分类的方法的概念表示。

(a)SVM算法的工作原理是在组分布(红色和蓝色)的内部边界上识别向量,以构造一个边距,从而根据超平面最大程度地分隔带有不同标签的向量。超平面确定训练和测试样本中的组成员类别。

(b)可以调整软边界支持向量机的超参数,以平衡训练集的准确性和测试数据的泛化性。在这种情况下,对超参数C的修改将导致两种情况被错误分类下的最优的可泛化决策边界。

(c)非线性核可用于表征复杂的决策边界,例如此图中描述的圆形决策边界。

随着时间的流逝,SVM算法的各个方面都已经得到了发展,例如通过使用由核函数实现的数据转换来表征非线性超平面。对于非线性问题,数据通过核函数被转换或映射到具有附加维度(例如,基于高斯分布扭曲数据的第三维度)的空间。在此空间中,可以使用线性边界来分类,但是当将数据反向投影到其原始尺寸时,就会出现复杂的非线性决策边界(图2)。例如,多项式内核可用于获取原始空间中的弯曲决策边界,或者径向基函数内核可建立一个圆形决策边界。这些内核中定义非线性程度的参数也可以在训练过程中进行调整,以优化测试样本的泛化性。像对回归的适应一样,学习什么是最好的参数来平衡模型的拟合与其普遍性的过程是机器学习的核心组成部分。

特征选择

特征选择是从更大的集合中选择特定变量,以提高准确性和泛化性。机器学习的问题通常是非常高维的(例如,大脑图像,音频或视频文件),并且特征空间(即,每个被试在每个特征上的值的多维表示)通常需要减少以获得由于维度诅咒而导致的可推广预测,其中增加相对于案例的特征数量导致较低的准确性和普遍性。如上所述,在机器学习领域,可以将特征选择作为预处理的一部分进行处理和优化,也可以将其与机器学习算法本身结合起来。

嵌入式特征选择的一个例子是机器学习算法使用正则项将特定特征的相对贡献减少到零(例如LASSO回归),有效地消除其影响并保留最具预测性和非冗余性的特征。另一种方法是使用被称为封装器的计算方法,该方法系统地使用具有不同特征集的单独分析来查找预定义数据大小(例如,所有特征的60%或70%)的最通用的组合。例如,贪心前向封装器从根本上只有两个步骤:

(a)为每个特征运行单独的预测算法(例如SVM),根据预定义的规则(例如准确性)选择最佳特征,然后将其添加到特征池;

(b)将每个剩余特征分别添加到池中,再次运行单独的SVM,并选择最佳组合。然后重复第二步,直到达到实验者设定的标准,以获取简约的多元特征集。这些程序在CV中进行,以减少过拟合并提高泛化性。

进阶方法

机器学习方法能够自动确定超参数,而且还可以使用具有不同参数的多个模型来最大化准确性和泛化性。通过使用CV(交叉验证),最终使用包含不同的最佳超参数设置和特征集的训练数据生成多个模型。在具有内循环CV的嵌套CV设计的情况下,这些潜在不同的模型最终将应用于测试集,以确定给定个体的预测。这个过程被称为集成学习,其依据是对集中趋势的度量可能会更好地评估最普遍的准确性水平。

还有扩展标准方法的解决方案,通过寻找一组共同产生最准确和可推广的模型来考虑预测问题。例如,在后融合的过程中,将不同算法pipeline(例如,线性和非线性SVM)获得的决策分数融合在一起,以平均分数做出最终决定。从概念上讲,这类似于从不同领域(例如,临床,认知,神经影像学和遗传学)的专家专家委员会投票以获得最终的预测结果。

一种概念上相关的技术被称为堆叠泛化,包括训练不同的模型,结合它们在训练数据中的决策得分,然后从这些决策得分中使用另一种学习算法来获得最终的预测。因为这些模型是从其他模型的输出层学习来的,所以也被更广泛地称为元学习。在临床环境中,这类似于让委员会负责人在独立做出最终决定之前先从所有专家成员的建议中学习。与后融合一样,可以将堆叠泛化应用于不同的数据模态或已使用不同算法的模型(例如,线性和非线性模型)。

综合起来,这些融合和堆叠方法相当有效,因为除了跨系统学习之外,它们还允许对每个假定系统(如大脑、基因、认知或情感)内的多元模式进行专门的学习,以获得最佳的准确性和泛化性。元学习是深度学习等领域的重要概念,使机器从不同方式表示的多元数据中学习。在上面的类比中,深度学习过程更像是由针对不同问题的细小组成部分组成(例如,每个大脑区域或临床问题由一名专家解决,然后结合这些专家的建议来制定最终决策)。深度学习尚未在精神病学中广泛使用,因为在存在数千种超参数组合可能的情况下,需要大量数据来有效应对维数和过拟合的问题,即学习过程中需要增加更多细粒度数据。

研究文献选择性回顾

自20世纪早期列线图在脊髓灰质炎治疗中起关键作用以来,多变量公式就被广泛用于诊断、预后和治疗决策。但是由于预测的复杂性,用于结果或治疗决策的多元公式在临床心理或精神病学实践中使用较少。下面的一般性和选择性综述着眼于机器学习如何促进研究转化,以优化诊断,预后和治疗结果的预测,以及检测可用作预测指标的生物标志物。

诊断

早期的机器学习研究主要探讨是否可以使用高维数据,特别是结构和功能性神经成像来概括个体之间的诊断划分。研究主要集中于阿尔茨海默氏病,抑郁症和精神分裂症,但最近逐渐扩展了诊断范围,覆盖率不断提高,已包括焦虑症,厌食症,药物滥用和一些特定的恐惧症。研究也已经扩展到使用非成像方式,例如遗传,代谢组学和蛋白质组学数据。总体而言,现有文献表明,机器学习可用于根据的大脑数据来识别患有精神疾病的个体,准确度高达75%。但是,也有研究对这些文献报道的准确性进行了批判性回顾。

从一种诊断中学到的特征可用于解释临床问题。许多前沿的研究方向集中在诊断不清楚和当前评估复杂、耗时和昂贵的情况下的临床效用(鉴别诊断),例如轻度认知障碍或精神病的危险心理状态。例如,高达75%的双相情感障碍患者被误诊为单相抑郁症,而使用机器学习来学习能够在确定诊断后最好地分离病例的大脑特征,然后使用该特征将完全不同的样本中的病例分开,误诊率仅为31%。或者利用机器学习获得将抑郁症与精神分裂症分开的特征,并在诊断不确定的样本中使用该特征,例如区分首发性精神病和精神病的高危状态。类似的工作已经用来区分不同的痴呆症。这些研究表明,在诊断不确定的情况下,在诊断研究中学习到的神经解剖学特征可以用作临床决策辅助。

诊断机器学习研究通过提供在单被试水平上有效的多变量特征来解决大规模单变量测试和基于描述性组分析问题,并可以用作监测疾病进展或治疗效果的生物标记物。然而,随着样本量的增加,广泛的临床定义所引入的症状和神经解剖异质性限制了预测。因此,正在进行的研究旨在通过使用无监督机器学习,基于认知、遗传、脑功能或脑结构数据的相似特征,自动检测个体的子群体,来解决精神病学群体的异质性。也有依靠参考总体解析异质性的其他方法。虽然结果是混合的,但有迹象表明,这种亚型在识别精神疾病被试和健康对照被试的预测准确性更高。

预后

确定个体的预后结果对于临床心理学和精神病学的管理,心理教育以及提供预防性的心理治疗和药物干预至关重要。当前,最好的客观依据是根据临床症状和体征(例如精神分裂症)假设一个人适合诊断组,然后参考人群平均值(例如,缓解的机会为50%)。随着时间的流逝,这些预测会变得更加准确(例如,如果患者已经经历了多年的慢性病和不懈的病程,那么这很可能还会持续下去),但是在疾病开始时,预后是不准确的。缺乏准确的分层会导致不必要治疗的个体数量激增。因此,进行分层的预后预测将有助于治疗计划的制定,从而确定疾病过程中的关键关口,例如从高危状态过渡到标准发作,复发或缓解以及症状严重程度,日常功能和症状的改变,生活质量等。

机器学习在预测各种疾病的病程方面前景可观。最近的研究报道,至少有27项神经影像学研究预测从轻度认知障碍向阿尔茨海默氏病的过渡,平均预测准确率超过70%使用神经影像学,电生理学和临床指标,对转变为精神病患者的研究也显示出相当高的预测率。Schmaal等人使用机器学习方法,并结合了基于结构和功能的任务态磁共振成像(MRI)数据,以2年内抑郁症的轨迹表征(慢性,改善和快速缓解),同样具有相似的预测率。抑郁症的其他研究也使用自我报告的临床调查表或病例记录来预测疾病进程,以对个人进行进行自杀风险分层。还有根据使用神经影像学数据预测未来药物滥用的模型并结合人口统计,临床,认知,神经影像学和遗传数据的组合对个体进行分层。这些研究强调了将个体分层以优化预后评估的能力。

举个例子,Koutsouleris等人使用从44个心理健康中心收集的189个问卷调查项目,预测了患有首发精神病的个体的功能结果。以偏中心的CV设计(图1)用于pipeline中经验评估模型的局部上下文可译性,包括缩放,填补缺失数据值的插补以及使用封装器(贪心前向搜索)的特征选择过程。该分析的结果表明,可以在4周和12个月的时间段内得到高于70%准确度的预测结果,而正中心的CV设计也不会显着降低此准确性。该特征集也可以减少到性能最高的10个变量,以72%的准确度预测阳性结果。这项研究强调了机器学习方法在测量泛化性和创建简约特征集方面的优势,这些特征集可用于创建新的问卷以测量患者的结果。

其他研究方向包括对精神病以及强迫症预后和症状严重程度的连续变量的预测。使用与上述解决方案类似的pipeline,但使用回归算法(例如,支持向量回归),这些研究发现了一定的预测价值。另一个有前景的方向是使用电子健康记录。最近的一项研究使用专注于降维和随机森林算法的pipeline评估了70,000多人以预测他们在未来1年内的健康状况。结果表明,预测注意力缺陷多动障碍和精神分裂症可以达到大约0.85的曲线下面积(高准确度)。

治疗方法

当前,在定制最佳心理治疗和药物治疗时,没有客观,个性化的方法可供选择。治疗选择通常最初由基于广泛症状分类的建议指导,如抑郁、焦虑或精神病的经验,并随着时间的推移通过反复试验而变得个性化。这一实验医学方法的研究背景是有问题的,研究表明,在抑郁症患者中,最初使用抗抑郁药物治疗后的症状缓解率低至11-30%,而对焦虑等疾病的认知行为治疗的有效率仅为46%。特别是在开始治疗时,需要更好的技术来选择既定的药物和心理治疗技术,以及诸如非侵入性脑刺激等新技术。

自1990年代以来,就开始通过机器学习来辅助治疗决策,早期研究的重点是根据精神病患者和抑郁症患者的临床病例记录做出预测。这些研究广泛地集中于对多种治疗形式提出建议,包括药物疗法,心理疗法或社区疗法,其表现与临床决策相似。但是,精神病学以及医学领域的早期分析的局限性在于,它们仅限于随机临床试验之外的小型单中心样本。此外,由于计算上的限制,他们很少使用如今很常见的生物学数据(例如MRI或遗传学)以提供客观的生物标志物来指导治疗决策。而且高性能精神病学机器学习标准算法(例如SVM)当时仍在开发中。

最近的机器学习研究已使用大型多站点数据库和先进的生物数据源来辅助治疗决策。药理学决策支持助手的研究在抑郁症的情况下特别有用,该研究使用大量样本(n> 1,000)来预测对不同药物(escitalopram, sertraline, venlafaxine, citalopram)的反应。例如,Chekroud等人在citalopram的一项临床试验(Star-D)中对1,949名样本进行了模式识别研究。他们使用由k-folds CV和弹性网回归(ElasticNet)组成的pipeline,从总共164个可报告患者变量中检测到25个临床问卷项目的简约预测模式。这些变量预测临床缓解率为65%,比药物预测疗效的基本效率高出30%以上。通过模型预测完全不同样本中的缓解能力,进一步证明了模型的泛化性,而当模型不推广至其他药物治疗时,其特异性也突显了模型的有效性。值得注意的是,预测的高度概括性以及进一步的研究促进了将模型快速转换为基于Web的应用程序,旨在为初级卫生保健提供者和客户提供决策支持(https://www.springhealth.com)。目前正在医院环境中试用这种机器学习服务,这进一步凸显了研究直接转化的可能性。

尽管临床评估可能会提供有用的决策支持辅助,但融合大脑的结构和功能是互补的方向。该领域的新兴研究发现,脑电图测量可用于预测抑郁症和精神分裂症的治疗反应。最近的一项研究发现,脑电结构可以预测治疗反应,准确度为78%,在侵入性治疗的情况下,生物学评估尤为重要,例如使用电抽搐治疗。基于脑部数据的预测模型也可用于非侵入性干预,其中脑功能MRI可用于预测对焦虑频谱状况的认知行为疗法的反应,其准确性高于75%,即比基础治疗效率高30%至40%。当治疗与生物学测量直接相关时,例如使用脑结构预测对脑刺激的反应时,该领域的未来研究也有望受益。但是,未来使用生物学手段的研究将需要更大的样本量和外部验证才能满足泛化性要求(图1)。

尽管在正确的时间为患者选择正确的治疗方法很重要,但这种选择还应考虑成本效益比,权衡各种治疗方法对症状的潜在影响,不良风险,副作用,侵袭性,可能的治疗免疫排斥以及必要的时间和财务成本。最终,可以独立学习这些可能性并将其纳入临床决策工具中,以平衡治疗决策的各种考虑。该领域前沿正在研究治疗方面的副作用,例如抗精神病药治疗后的代谢综合征和耐药性,但是在这一领域还需要更多的研究。

局限性和未来方向

精神病学机器学习研究已经进行了20多年,由于算法和计算能力的进步,最近的一波研究发生在过去10年中。在这样的历史背景下,人们提出了一个问题,即为什么这些方法并未在临床实践中达到其陈述的转化潜力并得到更广泛的使用。除了与临床实践相关的规范之外,缺乏研究转化的其他原因可能包括诊断和预后标签的有效性,训练数据的代表性,对检测模式的机械理解,对泛化性的鲁棒量化,规范模型的收益/风险比率和实际执行。

诊断和预后标签的有效性

到目前为止,使用的预测目标主要基于临床样本,这些样本是根据基于主观症状和体征的标准在临床上定义的。这些样本包括异常个体,这些个体是根据各种潜在的症状,体征和合并症组合进行诊断的。同样,基于症状或功能结果的预后标签可以有多种不同的解释(例如,对功能的一般评估)。这些标记及其产生的异质性可能会妨碍使用机器学习方法以及最终的临床护理最佳预测模型来发现机制和生物标记物的尝试。未来的机器学习研究可能会采用其他举措来设置更具体的标准,例如症状域(例如,执行功能等认知功能),而不是使用概括性的度量和广泛的分类,或跨越诊断界限的客观生物标记物。使用机器学习发现客观生物标志物对于开发新的靶向治疗(例如药理学或心理治疗)以及为治疗效果或疾病进展提供客观的测量方法有特别意义。

训练数据的代表性

实验研究通常采用一种设计来寻求对人口平均值的单纯估计,例如在没有其他因素(合并症,药物效果或不同的临床评分者)的影响下,找到精神分裂症患者的典型例子。但是,如果目标是创建可推广的预测算法,则样本需要代表在实际生活中应用的个体化病例。部分原因是,神经影像机器学习研究中的样本量更大,通常会由于异质性的增加而导致较低的预测准确性。

如果研究仅在一个地点进行,则可能受到方法(评级量表),材料(特定的扫描仪类型)或参与者(文化同质性)影响。因此,在设计或报告具有转化目标的研究时,因当需要明确考虑泛化性。对于任何具有普遍可概括性的主张,必须跨多个不同站点收集数据或跨不同中心进行测试(请参见图1),并且可以将其作为基于联合体的单个研究的一部分进行(https://www.pronia.eu/;https://campuspress.yale.edu/napls/; http://www.psyscan.eu/),可以合并多个联合体的数据,也可以使用数据共享计划,例如ADNI,ENIGMA或SchizConnect。大型数据共享计划提供的支持对于泛化预测的创建至关重要(https://ec.europa.eu/research/openscience)。

对检测模式的机械理解

当前技术的局限性在于,与基于组的更简单统计和方法(例如列线图)相比,单被试预测模式更加不透明。因此,机器学习模型被认为是黑匣子,因为很难解释模型的工作方式,特别是为什么要对被试进行分类。但值得注意的是,现有方法确实可以在全球范围内实现一定程度的解释(权重),从而可以洞悉模型的工作原理。在被试水平上,最近的方法学发展使我们可以洞察对个体进行特定分类的原因,并且已经在医学环境中进行过概念验证的研究。这些对现有技术的改进和补充将提供导致个体被准确预测的特定变量特征(例如加权的被试脑图或特定临床特征),然后用于增强对个体的机械理解,分类模型,临床护理计划以及与客户及其护理人员的沟通。

泛化性的鲁棒量化

为了使任何泛化性声明都有效,当基于先前对同一样品进行交叉验证的分析结果确定最佳参数范围时,不得无意间对测试数据进行任何人工学习。为了杜绝联合体或数据共享集体中的这种可能性,标签需要由独立实体管理(调解者方法)以提高外部验证结果的透明度。一旦生成了模型,就可以将它们转发到中央数据存储库,并应用于保留的数据。考虑到软件和技术的异构性,还可以使用Docker(https://www.docker.com/)或ViPAR,以使研究与当前机器学习透明度的标准保持一致。还可以构建机器学习模型的存储库(包括分析所需的所有步骤),以允许任何研究人员测试其样本中的泛化性并解释新的问题,例如抑郁症,精神分裂症和双相情感障碍的大脑特征适用于人格障碍患者。

实际执行

实施任何新技术的第一阶段是测试和探索,其总体目标是提供该技术行之有效的理论证明,并探索潜在的研究途径。但是,从转化的角度来看,许多早期研究要么解决了一个在临床上不立即有用的问题(例如,慢性精神分裂症的诊断),要么难以大规模实施(例如,任务态功能MRI设计)。不管技术的泛化性如何,许多方法都不可能在医疗机构中实施,因为它们不可用,需要太多的培训或者最重要的是在商业上不可行。因此,重要的是要考虑转化一种技术的实际可行性,而不是在将来某个(不确定的)时间可能实现的理论可能性。这必然涉及临床医生和临床研究人员的贡献,因此方法学上的进步与类似的先进临床推理相结合,才能提高当前临床途径的有效性。

机器学习方法转化的第二个主要障碍是,对于许多临床医生和临床研究人员而言,这些技术难以理解和实施。这篇评论试图提供对关键技术的理解,并且有一些优秀的教科书可以帮助研究人员掌握统计学知识(James,2015)。另外一个重要的研究方向是创建不需要高级编程技能的软件(例如,PRoNTO;http://www.mlnl.cs.ucl.ac.uk/pronto/)。我们的小组提供了一种专门为帮助临床心理学家和精神科医生回答本评论中介绍的问题而开发的软件包,称为NeuroMiner(https://www.pronia.eu/neurominer/)。使用该工具,研究人员可以采用各种CV方案,实施预处理,选择机器学习算法并通过图形界面来解释模型。该软件已在许多研究中作为内部工具在大型基于联合体的项目中使用,以及与其他实验室的合作研究证明了其有用性(https://www.pronia.eu/)。

未来的临床护理

鉴于最近使用各种数据类型在多个领域进行的机器学习方法的成功,本文试图证明这些方法具有可能导致将研究转化为临床心理学和精神病学方面的高级诊断,预后,治疗选择和生物标志物检测程序。并且随着海量数据集中数据的可用性越来越高以及向计算机医疗保健的持续过渡,在精神病学和心理学领域实施的可能性越来越大。此实现可以采用多种形式,包括使用公开可用的算法,创建基于医院的集成解决方案或使用集成数据库网络(其中包括内部收集的数据)监视多个信息源。以及医疗保健系统之外(例如,来自智能手机和其他传感器的信息)。对于临床医生而言,这意味着可能会获得与增加护理水平的诊断,预后和治疗决策相关的预测。

除了改善患者护理的机会外,还需要考虑严格的程序和道德问题。与引入任何新内容一样医疗技术的实践可能会发生出人意料变化,并且可能会改变某些特定的医学角色(例如放射学),因此,需要从业人员之间进行持续的交流并考虑反对意见。还需要仔细考虑官方机构(例如,食品药品管理局或欧洲药品管理局)的规定,以开发出可广泛使用的测试和方法。尤其是,这涉及咨询和实施生物标志物开发指南,包括学术界,行业,政府和企业之间的相互作用,以建立强大的证据基础进行资格鉴定并通过预定义的监管途径评估风险。

引入预后工具的伦理意义也需要认真考虑。例如,有关一个人是否可能患有另一种精神病的预测可能会影响对其潜力和护理的期望,这可能会促成医源性自我实现的预言,而实现预言的可能性很大。在机器学习算法的例子中类似的问题已经出现,这种算法巩固了社会中已经存在的歧视性偏见。这些问题需要可持续的学习方法,且这些方法需要随着环境的变化重新校准模型,但是它们也需要人密切监视机器的预测和作道德监督。如果将机器学习算法集成到未来的临床护理中,就像它们已经集成到我们的日常生活中一样,那么从道德和伦理的角度来监视和规范该过程将非常重要。为此,与AI相关的组织已经建立了重要的合作伙伴关系(https://www.partnershiponai.org/),但也有必要提供独立的意见,尤其是在存在潜在的商业利益或既得利益的情况下。

结论

机器学习的主题包括解决问题的方法以及一组特定的方法。该方法从根本上旨在从多元数据中学习信息,以通过预测个人而非群体的结果来实现研究转化的务实目标。该方法已开始在临床心理学和精神病学中得到更广泛的应用,并为转化研究以及最终的临床护理提供了有前景的未来方向。与任何新兴技术一样,需要谨慎使用,克服乐观偏见,特别是,始终为了服务人们的最大利益而使用该技术。

总结要点

1. 通过解决临床心理学和精神病学中使用的主要统计方法的局限性,可以改善诊断,预后和治疗决策。

2.  机器学习是一种计算策略,可以自动确定(即学习)方法和参数以实现对问题的最佳解决方案,而不是由人类进行编程以事先提供固定解决方案。

3.  泛化性是机器学习的重要组成部分,需要在不同的个人和背景下进行多个级别的评估,以产生可复制的研究,并最终产生实用的模型。

4.  将统计嵌入在交叉验证的方案中,该方案由数据操作的预处理和统计功能的创建组成。为了提高预测精度和泛化性,自动确定(即学习)用于数据操作的参数。

5. 可以使用新的统计技术(例如SVM)在高维数据中找到多元和非线性函数(即模式)。可以使用多种方法来组合这些模型,以实现最高的预测准确性和泛化性。

6. 现有研究证明了机器学习技术在诊断,预后和治疗决策方面对个人进行分层的成功。更好的生物标志物检测和监测可以帮助做出这些决定。

7. 未来的临床心理学和精神病学可能会将机器学习算法的使用与现有的实验设计结合起来,以加强转化研究并切实地落地为临床工具。

如需原文请添加思影科技微信:siyingyxf或18983979082获取,如对思影课程及服务感兴趣也可加此微信号咨询。觉得对您的研究有帮助,请给个转发支持以及右下角点击一下在看,是对思影科技莫大的支持,感谢!

用于临床心理学和精神病学的机器学习方法相关推荐

  1. 水声被动定位中的机器学习方法研究进展综述

    水声被动定位中的机器学习方法研究进展综述 人工智能技术与咨询 来源:<信号处理>,作者牛海强等 摘 要: 本文对基于机器学习方法的水声被动定位研究进展进行了综述.所涉及的机器学习方法有多层 ...

  2. ConvLSTM:一种用于降水预报的机器学习方法

    ConvLSTM:一种用于降水预报的机器学习方法 论文 Convolutional LSTM Network: A Machine Learning Approach for Precipitatio ...

  3. 基于Python近红外光谱分析与机器学、深度学习方法融合技术

    基于Python近红外光谱分析与机器学.深度学习方法融合实践技术 一,python入门基础 二,Python进阶与提高 三,多元线性回归及其在近红外光谱分析中的应用   四,BP神经网络及其在近红外光 ...

  4. 视网膜电图特征可以检测成人的抑郁状态和治疗反应:一种机器学习方法

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 视网膜电图特征可以检测成人的抑郁状态和治疗反应:一种机器学习方法 摘要 1. 引言 2. 方法和材料 2.1 人口与伦理声明 2.2 ...

  5. 重磅综述:精准精神病学机器学习的现代观点

    1. 全局 在美国和世界各地,心理健康问题是一种流行病,给医疗保健系统和社会带来了巨大的负担.迄今为止,仍然缺乏生物标志物和个体化治疗指南.近年来,机器学习(ML)和人工智能(AI)在分析精神病学的神 ...

  6. 机器学习与神经影像:评估它在精神病学中的应用

    <本文同步发布于"脑之说"微信公众号,欢迎搜索关注~~> 摘要 精神疾病是复杂的,涉及不同的症状学和神经生物学,很少涉及单一的.孤立的大脑结构的破坏.为了更好地描述和理 ...

  7. 精神病性疾患的精准精神病学框架

    1. 摘要 精神病性疾患患者在发病.对治疗的反应和复发方面可以表现出明显的个体间差异,但他们接受的是广泛相似的临床护理.精准精神病学是一种方法,旨在根据不同的临床结果对特定疾病的患者进行分层,并根据他 ...

  8. 人工机器:人工智能中的机器学习方法

    人工智能的定义为基于表观的行为定义,即图灵测试,可以形式化为模式识别.智能从知识论的角度分析,归纳明确知识规则构建知识图谱系统形成专家系统,而通过数据获得归纳规则约束参数为机器学习系统,即基于数据的模 ...

  9. 机器学习实用指南_机器学习方法:实用指南

    机器学习实用指南 by Karlijn Willems 通过Karlijn Willems 机器学习方法:实用指南 (How Machines Learn: A Practical Guide) Yo ...

最新文章

  1. 数组-合并两个有序数组(双指针,从后往前)
  2. linux下同时安装多个tomcat实例
  3. 【深度学习入门到精通系列】对比度受限的自适应直方图均衡化(CLAHE)
  4. java学习笔记:Storm 常用配置
  5. homepage php,HomePage.php
  6. r语言解析html,R语言爬虫入门-rvest教程
  7. Java 10新特性解密
  8. kali 切换root权限_Ubuntu 被曝严重漏洞:切换系统语言 + 输入几行命令,就能获取 root 权限...
  9. mllib协同过滤 java实现_协同过滤(ALS)算法介绍及Spark MLlib调用实例(Scala/Java/Python)...
  10. Java静态方法和实例方法 java中的数组作为形参传入
  11. DevExpress xtraTabbedMdiManager控件双击关闭MDI标签页
  12. 目标检测——各个框架下Tensor和矩阵的维度次序
  13. java Sting类函数
  14. OLT忘记登陆密码如何修改
  15. python飞机大战素材黑马_Python基础day12飞机大战(上)
  16. 360安全卫士默认浏览器设置 360默认浏览器设置 锁定浏览器
  17. 随机地图生成工具 fastMapper
  18. Windows 10不能安装mini版迅雷的解决方法
  19. Linux(二、三、四)简单命令、系统目录结构、文件类型、命令行管理文件学习
  20. 【晓风残月】ASP.NET DEMO 16: 通过GridView布局实现的多行批量更新

热门文章

  1. ux许可服务器关机或未响应,ug11许可证错误解决方法96 nx许可证错误-96 ug打开错误代码96 ug12安装第二次时出现96错误 ug12提示许可证错误96 ug11许可证96...
  2. Neutrino Beta发布
  3. centos7部署k8s Cluster
  4. 鲁大师电动车智能化测评报告第十九期:电自旗舰大乱斗,九号突围成功
  5. QT界面简单的图形移动和鼠标绘图
  6. 判断儒略日(一年中第几天)
  7. 2022-2028全球湿磨机市场现状及未来发展趋势
  8. 使用云祺虚拟机备份软件备份Citrix XenServer 虚拟机
  9. 联想微型计算机主机怎么打开,联想台式机怎么进入bios【详细步骤】
  10. Linux项目:自主web服务器