论文地址

A Multi-Task Learning Formulation for Predicting Disease Progression
Author: Zhou J, Yuan L, Liu J, et al.

摘要

临床判断阿尔茨海默症(AD)的两个指标：Mini Mental State Examination(MMSE)和Alzheimer’s Disease Assessment Scale cognitive subscale(ADAS-Cog)。本文基于岭回归提出了一种多任务学习的算法来通过以上两个标准(criteria)预测疾病进展，同时也可以选出有代表性的特征。本名提出一个多任务学习模型。本文认为，对于AD，每一个时间点的预测算作一个独立任务，通过给岭回归加上时间项约束(temporal group LASSO regularizer)，将独立任务整合为多任务，从而捕获(capture)不同任务中的内在联系(intrinsic relatedness)，前提是认为每个时间点的回归任务近似。时间项约束包括两部分，一个是ℓ2,1\ell_{2, 1}ℓ2,1范数惩罚(penalty)，目的是保证对于所有时间点只挑选一小部分特征。另一个是时间平滑项，目的是为了在连续(successive)的时间中，前后的两个模型的偏差(deviation)程度要小。大量(extensive)实验证明本文提出的模型相较其他的模型更具有优势，同时挑选的特征也同之前他人研究中的结果一致。作者使用的数据集是ADNI。

1. 介绍

目前AD的确诊需要对于脑部进行活检或者解剖，MMSE和ADAS-Cog可以作为评估病人意识状态和诊断潜在AD病人的两个指标。MMSE与潜在(underlying)AD病理学(pathology)特征以及脑功能进一步恶化(progressive deterioration)相关，ADAS-Cog是进行AD药物试验(drug trial)的金标准。作者此时提出两个问题：1）怎样通过意识评分(cognitive score)如MMSE和ADAS-Cog来预测疾病的发展？2）在疾病发展过程中哪些特征是最具有代表性的特征，这些特征的最小集合是什么？这些可以追溯疾病发展的特征包含在脑部MRI成像，脑脊液(CSF)和一些临床诊断评估(baseline clinical assessments)中。
患者的年龄，性别，受教育程度等潜在风险因子与意识评分之间的关系已经被研究过。通过将一些特征(如基于MRI的脑灰质体积、密度，脑血管的形状，海马区)与MMSE关联起来进行研究也已经存在。并且一些研究表明内侧额叶(medial temporal lobe)的密度和大小以及其他风险因素与6个月AD病人的MMSE有关，所以可以使用这些特征来预测未来一段时间的意识水平。Ashford与Schmitt通过使用"time-index"提出时间函数(horologic function)来测定痴呆(dementia)的速度。基于脑萎缩空间模式(spatial patterns of brain atrophy)提出的SPARE-AD的方法也被提出。通过能量函数进行相关研究的也存在。在这些研究中通常都存在“维数灾难(curse of dimensionality)”的问题。所以一些降维的方法也被使用，PCA降维的显著缺点是所有特诊都被聚合，所以降维后的模型不可解释。相关向量回归(relevance vector regression, RVR)方法将特征选择整合到了训练过程中。但是这些方法都只是在单一时间点对于意识评分进行预测，在AD预测中并没有太大用。
我们提出的多任务学习的方法中，每一个任务都只关心单一时间点的预测。多任务学习旨在通过同时学习多重相关任务，提高模型的泛化能力。多任务学习的关键点是发现任务之间的内在联系。对于本文中的疾病，认为一小部分特征具有代表性是合理的。并且，两个连续时间点所对应的意识评分的差距应该小，所以有必要进行时间平滑。所以L2,1范数惩罚用来选一小部分特征，时间平滑项用来减小连续时刻对应的意识评分之间的差距。本文使用ADNI数据集中的三项：MRI影像，CSF和临床诊断评估分数。

2. 多任务回归方程

在纵向(时间向)AD研究中，本文从多个时间点获取患者意识评分。多任务学习中，在不同任务间的时间平滑信息可以被并入模型中作为先验信息(prior knowledge)。假设在多任务回归问题中，有t个时间点，n个训练样本，每个样本有d个特征。一个简单的线性多任务学习模型可以表示如下：
min(W)∣∣XW−Y∣∣F2+θ1∣∣W∣∣F2min_{(W)}||XW-Y||_F^2 + \theta_1||W||_F^2min(W)∣∣XW−Y∣∣F2+θ1∣∣W∣∣F2
其中X的维度为{n × d} × t，Y的维度为{n × 1} × t， W的维度为d × t。第一项用来衡量训练集上的经验损失(empirical error)，第二项用来控制泛化误差。θ1>0\theta_1 > 0θ1>0为正则化参数。∣∣.∣∣F||.||_F∣∣.∣∣F是Frobenius范数。上式通常被被称为岭回归(ridge regression)并且具有解析解：
W=(XTX+θ1I)−1XTYW = (X^TX+\theta_1I)^{-1}X^TYW=(XTX+θ1I)−1XTY
其中I是d × d的单位矩阵。上式的缺点为它将不同时间点认为是相互独立的，所以对于本文所考虑的问题其回归效果并不好(没有考虑时间项约束)。

2.1 时间平滑先验

带有时间平滑项的线性回归模型：
min(W)∣∣XW−Y∣∣F2+θ1∣∣W∣∣F2+θ2∑i=1t−1∣∣wi−wi+1∣∣F2min_{(W)}||XW-Y||_F^2 + \theta_1||W||_F^2+\theta_2\sum_{i=1}^{t-1}||w^i-w^{i+1}||_F^2min(W)∣∣XW−Y∣∣F2+θ1∣∣W∣∣F2+θ2i=1∑t−1∣∣wi−wi+1∣∣F2
θ2≥0\theta_2≥0θ2≥0是用来控制时间平滑的正则化参数。时间平滑项又可以表示为：
∑i=1t−1∣∣wi−wi−1∣∣F2=∣∣WH∣∣F2\sum_{i=1}^{t-1}||w^i-w^{i-1}||_F^2=||WH||_F^2i=1∑t−1∣∣wi−wi−1∣∣F2=∣∣WH∣∣F2
上式中，HHH的维度为t × t-1，定义如下:
Hij={1i=j−1i=j+10otherwiseH_{ij}=\left\{ \begin{array}{rcl} 1 & & {i = j}\\ -1 & & {i = j + 1}\\ 0 & & {otherwise}\\ \end{array} \right. Hij=⎩⎨⎧1−10i=ji=j+1otherwise
所以带有时间平滑项的线性回归模型变为：
min(W)∣∣XW−Y∣∣F2+θ1∣∣W∣∣F2+θ2∣∣WH∣∣F2min_{(W)}||XW-Y||_F^2 + \theta_1||W||_F^2+\theta_2||WH||_F^2min(W)∣∣XW−Y∣∣F2+θ1∣∣W∣∣F2+θ2∣∣WH∣∣F2
上式中也存在解析解，首先上式对于W求偏导并令它等于0：
XTXW−XT+θ1W+θ2WHHT=0,(XTX+θ1Id)W+W(θ2HHT)=XTY,\begin{aligned} X^TXW-X^T+\theta_1W+\theta_2WHH^T&=0,\\ (X^TX+\theta_1I_d)W+W(\theta_2HH^T)&=X^TY, \end{aligned} XTXW−XT+θ1W+θ2WHHT(XTX+θ1Id)W+W(θ2HHT)=0,=XTY,
其中IdI_dId的维度为d × d。因为(XT+θ1Id)(X^T+\theta_1I_d)(XT+θ1Id)和θ2HHT\theta_2HH^Tθ2HHT是对称矩阵，所以它们的特征分解为Q1Λ1Q1TQ_1\Lambda_1Q_1^TQ1Λ1Q1T和Q2Λ2Q2TQ_2\Lambda_2Q_2^TQ2Λ2Q2T，其中Λ1=diag(λ1(1),λ1(2),...,λ1(d))\Lambda_1=diag(\lambda_1^{(1)}, \lambda_1^{(2)}, ..., \lambda_1^{(d)})Λ1=diag(λ1(1),λ1(2),...,λ1(d))和Λ2=diag(λ2(1),λ2(2),...,λ2(d))\Lambda_2=diag(\lambda_2^{(1)}, \lambda_2^{(2)}, ..., \lambda_2^{(d)})Λ2=diag(λ2(1),λ2(2),...,λ2(d))是它们的特征值，并且Q1Q_1Q1和Q2Q_2Q2是正交的。带入以上两个方程，得到：
Q1Λ1Q1TW+WQ2Λ2Q2T=XTY,Λ1Q1TWQ2+Q1TWQ2Λ2=Q1TXTYQ2,\begin{aligned} Q_1\Lambda_1Q_1^TW+WQ_2\Lambda_2Q_2^T&=X^TY,\\ \Lambda_1Q_1^TWQ_2+Q_1^TWQ_2\Lambda_2&=Q_1^TX^TYQ_2, \end{aligned} Q1Λ1Q1TW+WQ2Λ2Q2TΛ1Q1TWQ2+Q1TWQ2Λ2=XTY,=Q1TXTYQ2,
记W^=Q1TWQ2\hat W=Q_1^TWQ_2W^=Q1TWQ2；D=Q1TXTYQ2D=Q_1^TX^TYQ_2D=Q1TXTYQ2。则上式变为Λ1W^+W^Λ2=D\Lambda_1 \hat W+\hat W \Lambda_2=DΛ1W^+W^Λ2=D，所以W^\hat WW^为：
W^ij=Di,jλ1(i)+λ2(j)\hat W_{ij}=\frac {D_{i, j}} {\lambda_1^{(i)}+\lambda_2^{(j)}}W^ij=λ1(i)+λ2(j)Di,j
所以最优权重矩阵为W∗=Q1W^Q2TW^*=Q_1 \hat W Q_2^TW∗=Q1W^Q2T。

2.2 解决数据不完整问题

本文尝试将不完整的数据包含进训练数据集中，不完整训练数据指的是部分患者的意识评分在不同时间点可能不完整，此时，带有时间平滑约束的模型不存在解析解。解决这个问题，首先定义一个矩阵Si,jS_{i,j}Si,j，维度为n × t，iii为样本序号，jjj为时间点，具体形式为：
Si,j={1valueexists0otherwiseS_{i,j}=\left\{ \begin{array}{rcl} 1 && {value\ exists}\\ 0 && {otherwise}\\ \end{array} \right. Si,j={10value existsotherwise
则改进后的公式为：
min(W)∣∣S⊙(XW−Y)∣∣F2+θ1∣∣W∣∣F2+θ2∣∣WH∣∣F2min_{(W)}||S \odot (XW-Y)||_F^2 + \theta_1||W||_F^2+\theta_2||WH||_F^2 min(W)∣∣S⊙(XW−Y)∣∣F2+θ1∣∣W∣∣F2+θ2∣∣WH∣∣F2
其中⊙\odot⊙为矩阵点乘。定义Pr(.)P_r(.)Pr(.)为矩阵行数选择。Pr(A)P_r(A)Pr(A)只包括ri̸=0r_i \not = 0ri̸=0的AiA_iAi，其中AiA_iAi是AAA的第iii行。再令SiS^iSi为SSS的第iii列。则可以得到：
X(i)=PSi(X),y(i)=PSi(Xi)\begin{aligned} X_{(i)}&=P_{S^i}(X),\\ y_{(i)}&=P_{S^i}(X^i) \end{aligned} X(i)y(i)=PSi(X),=PSi(Xi)
将改进后的公式对于wiw^iwi求导并置为0，得到：
Awi−1+Miwi+Awi+1=TiAw^{i-1}+M_iw^i+Aw^{i+1}=T_i Awi−1+Miwi+Awi+1=Ti
其中：
A=−θ2Id,Mi=X(i)TX(i)+θ1Id+2θ2Id,Ti=X(i)Ty(i)\begin{aligned} A &= - \theta_2I_d,\\ M_i &= X_{(i)}^TX_{(i)} + \theta_1I_d + 2 \theta_2I_d,\\ T_i &= X_{(i)}^Ty_{(i)} \end{aligned} AMiTi=−θ2Id,=X(i)TX(i)+θ1Id+2θ2Id,=X(i)Ty(i)

2.3 LASSO时间群正则

ANDI数据集中包含的数据维度太大，会导致维度灾难。传统降维方法不适合，如PCA会导致模型的不可解释性。传统的特征挑选方法也不适合存在缺失数据的多任务回归。本文提出基于ℓ2,1\ell_{2, 1}ℓ2,1范数的惩罚项用于特征选择，目的是希望一小部分具有代表性的特征可以被选择出来。Lasso群正则可以保证所有的回归模型可以共享相同的一部分特征。在之前的公式中加入群正则后，得到：
min(W)∣∣S⊙(XW−Y)∣∣F2+θ1∣∣W∣∣F2+θ2∣∣WH∣∣F2+δ∣∣W∣∣2,1min_{(W)}||S \odot (XW-Y)||_F^2 + \theta_1||W||_F^2+\theta_2||WH||_F^2+\delta||W||_{2,1} min(W)∣∣S⊙(XW−Y)∣∣F2+θ1∣∣W∣∣F2+θ2∣∣WH∣∣F2+δ∣∣W∣∣2,1
此时∣∣W∣∣2,1=∑i=1d∑j=1tWi,j2||W||_{2,1}=\sum_{i=1}^d \sqrt{\sum_{j=1}^tW_{i,j}^2}∣∣W∣∣2,1=∑i=1d∑j=1tWi,j2。注意这边的2范数并不是矩阵范数(L2谱范数)，因为对于∣∣W∣∣2,1||W||_{2,1}∣∣W∣∣2,1是逐行来求，所以这边依旧是向量范数。δ\deltaδ是正则化参数。并且特征先被L2约束，再被L1约束。由于上式同时包含平滑约束和非平滑约束，所以可以用梯度下降进行优化求解。

2.3.1 纵向(时间项)稳定特征选择

首先一个需要解决一个问题，选择一定数量的特征用于模型训练。交叉验证可以用于特征选择，但是通常它会需要超过需求数目的特征。本文使用了稳定性选择的方法(Stability Selection)。实验发现所选出的特征对于θ1\theta_1θ1和θ2\theta_2θ2不敏感，所以主要精力放在可以控制模型稀疏性的参数δ\deltaδ上。
具体做法如下：首先记KKK为特征的序号，Δ\DeltaΔ为正则化参数δ\deltaδ的集合，γ\gammaγ为迭代次数。首先无放回随机挑选占总体样本数目一半的子样本B(j)B_{(j)}B(j)，B(j)={B(j)X,B(j)Y}B_{(j)}=\{B_{(j)}^X, B_{(j)}^Y \}B(j)={B(j)X,B(j)Y}，对于任意给定的δ>0\delta > 0δ>0，记W~(j)\tilde{W}^{(j)}W~(j)为模型在B(j)B_{(j)}B(j)上的最优解。记Uδ(B(j))={k:W~(j)̸=0}U^{\delta}(B_{(j)})=\{k:\tilde{W}^{(j)} \not =0 \}Uδ(B(j))={k:W~(j)̸=0}为W~(j)\tilde{W}^{(j)}W~(j)挑选的特征。重复γ\gammaγ次，对于每一个特征都会得到特征稳定性∏^kδ\hat{\small \prod}_k^\delta∏^kδ。
∏^kδ=∑j=1γI(k∈Uδ(B(j)))γ\hat{\small \prod}_k^\delta=\sum_{j=1}^\gamma \frac {I(k \in U^{\delta}(B_{(j)}))} {\gamma} ∏^kδ=j=1∑γγI(k∈Uδ(B(j)))
其中：
I(c)={1cistrue0otherwiseI(c)=\left\{ \begin{array}{rcl} 1 && {c\quad is\quad true}\\ 0 && {otherwise}\\ \end{array} \right. I(c)={10cistrueotherwise
这里∏^kδ\hat{\small \prod}_k^\delta∏^kδ其实计算的是特征k被选中的分数。对于所有的δ∈Δ\delta \in \Deltaδ∈Δ，重复以上过程。则对于每一特征都会有一个稳定性分数：S(k)=max⁡δ∈Δ(∏^kδ)S(k)=\max_{\delta \in \Delta}(\hat{\small \prod}_k^\delta)S(k)=maxδ∈Δ(∏^kδ)。对于稳定特征集合可以定义为：U^stable={k:S(k)在K中的前η个}\hat U^{stable}=\{k: S(k)在K中的前\eta个\}U^stable={k:S(k)在K中的前η个}，或者可以设定阈值πthr\pi_{thr}πthr，则稳定特征集合可以表示为U^stable={k:S(k)≥πthr}\hat U^{stable}=\{k: S(k) \ge \pi_{thr}\}U^stable={k:S(k)≥πthr}。本文实验证明稳定性分数排前20的特征可以满足本文回归模型的需求。

2.4 本文算法

传统Lasso可能会导致局部最优解。本文提出的算法分为两个阶段。在第一阶段中，使用纵向稳定性特征选择得到U^stable\hat U^{stable}U^stable。在第二阶段中，基于U^stable\hat U^{stable}U^stable使用带有时间平滑正则回归。

3. 实验

实验数据集为ADNI，对比算法为岭回归。由于患者数目并不是很多，所以使用留一法。5折交叉验证用于挑选参数(10−310^{-3}10−3到10310^{3}103，本文模型参数为θ1\theta_1θ1 和 θ2\theta_2θ2)，岭回归参数为θ1\theta_1θ1。P值(correlation significance)和R值(correlation coefficient)作为评价指标。好的模型R值高，P值低。
数据集共计7种，分别为脑脊液特征(CSF，记为C)，MRI影像特征(MRI，记为M)，患者个人信息及之前意识水平特征(META，记为E)以及它们的集合：CE，EM，CM和CEM。MRI特征主要分为5类：平均皮质厚度(cortical thickness average, CTA)，皮质厚度标准差(cortical thickness standard deviation, CTStd)，分割后的皮质体积(volume of cortical parcellation, Vol. Cort.)，分割后的白质体积(volume of white matter parcellation, Vol. WM.)和表面面积(surface area, Surf. A.)，共计313维。

4. 结论

实验结果证明多任务学习效果较好，未来考虑使用非线性模型。

【论文笔记】A Multi-Task Learning Formulation for Predicting Disease Progression相关推荐

【论文阅读笔记】A Multi-Task Learning Formulation for Predicting Disease Progression
Jiayu Zhou, Lei Yuan, Jun Liu, Jieping Ye KDD2011 本文提出一种预测Alzheimer'sDisease (AD)老年痴呆症的cognitive s ...
论文笔记 | 谷歌 Soft Prompt Learning ，Prefix-Tuning的 -＞ soft promt -＞ p tuning v2
论文笔记 | 谷歌 Soft Prompt Learning ptuning -> Prefix-Tuning -> soft promt -> p tuning v2 " ...
Multi task learning多任务学习背景简介
2020-06-16 23:22:33 本篇文章将介绍在机器学习中效果比较好的一种模式,多任务学习(Multi task Learning,MTL).已经有一篇机器之心翻译的很好的博文介绍多任务学习了 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...
论文笔记：CLIP：Learning Transferable Visual Models From Natural Language Supervision详解
paper:https://arxiv.org/abs/2103.00020 代码:GitHub - openai/CLIP: Contrastive Language-Image Pretraini ...
【论文笔记】Semi-Supervised Active Learning with Temporal Output Discrepancy(ICCV 2021)
论文:Semi-Supervised Active Learning with Temporal Output Discrepancy 代码:https://github.com/siyuhuang/ ...
论文笔记：Attention U-Net: Learning Where to Look for the Pancreas
Abstract 我们提出了一种用于医学成像的新型注意门(AG)模型,该模型自动学习聚焦于不同形状和大小的目标结构.用AG训练的模型隐含地学习抑制输入图像中的不相关区域,同时突出显示对特定任务有用的 ...
2021-06-03 【论文笔记】Cross-domain Correspondence Learning for Exemplar-based Image Translation
论文题目:Cross-domain Correspondence Learning for Exemplar-based Image Translation 论文主页:https://panzhang ...
【论文笔记】SpotTune: Transfer Learning through Adaptive Fine-tuning
[CVPR2019]SpotTune: Transfer Learning through Adaptive Fine-tuning 论文链接:SpotTune: Transfer Learning ...

【论文笔记】A Multi-Task Learning Formulation for Predicting Disease Progression

A Multi-Task Learning Formulation for Predicting Disease Progression