DTF: Deep Tensor Factorization for predicting anticancer drug synergy

摘要
1 介绍
2 材料与方法
- 2.1 数据采集和预处理
- 2.2 DTF:深张量因式分解
- - 2.2.1 符号
  - 2.2.2 张量分解算法
  - 2.2.3 CP-WOPT
  - 2.2.4 深度神经网络
  - 2.2.5 特征工程
  - 2.2.6 模型构建
- 2.3 模型与比较评价
- - CP-WOPT基准分类器
  - 逻辑回归(LR)
  - 深度协同
- 2.4 软件参数和全局参数
3 结果
- 3.1 DNN架构
- 3.2 方法的比较
- 3.3 顺序独立
- 3.4 预测协同状态未知的药物对
4 讨论
5 结论

drug synergy)

摘要

联合疗法已被广泛用于治疗癌症。然而，由于可能的药物组合数量庞大，实验筛选协同药物对需要大量的时间和成本。因此，计算方法已成为预测和优选协同药物对的重要方法。
我们提出了一种深度张量因子分解(DTF)模型，该模型将张量因子分解方法与深度神经网络(DNN)相结合，用于预测药物协同。前者从药物协同信息中提取潜在特征，后者构建二元分类器预测药物协同状态。与基于张量的方法相比，DTF模型在预测药物协同方面表现更好。DTF法的精确召回曲线下面积(PR AUC)为0.58，张量法为0.24。我们还将DTF模型与深度协同模型和逻辑回归模型进行了比较，发现DTF模型在分类任务上的表现优于逻辑回归模型，并取得了与深度协同模型相似的性能。应用DTF模型来预测我们的药物细胞系张量中的缺失项，我们为5种癌症类型的10个细胞系识别了新的协同药物组合。一项文献调查显示，这些预测的药物协同作用已经在体内或体外被鉴定出来。因此，DTF模型可能是一种有价值的硅工具，以确定新的协同药物组合。

1 介绍

虽然单药治疗在帮助治疗许多人类疾病方面做出了很大的贡献，但它也有一些明显的缺点，如获得性耐药性或低效率(Borisy et al.， 2003;Leha r等人，2009年)。人类疾病的复杂性通常是由于不同的表型因子和基因组因子之间复杂的相互作用造成的。因此，单一药物通常以单一蛋白或通路为靶点，很难很好地治疗复杂的疾病。为了解决这个难题，出现了联合药物疗法，即同时使用一对或更多的药物来治疗特定的疾病。某些药物对的协同作用可能会显著提高疗效。例如，氯丙嗪和戊丙嗪联合使用，表现出协同作用，在体内抑制肿瘤细胞株生长的效果比单独使用戊丙嗪或氯丙嗪更有效(Lee et al.， 2007)。更重要的是，用于评估药物协同效应的药物通常使用已经被美国食品和药物管理局(FDA)彻底研究并批准用于治疗特定疾病的现有药物(Borisy et al.， 2003)。这将为这些药物组合的安全性临床试验节省大量时间。因此，药物联合治疗已成为一种越来越流行的治疗复杂疾病的选择。然而，如何识别具有药物协同效应的药物对仍然是一个挑战，因为从FDA批准的药物中寻找药物对的空间是巨大的。对所有的药物对进行临床分析太费时，也不现实。因此，对具有强协同效应的药物对的预测计算方法有很大的需求。
目前，预测相关药物对的计算方法很多。这些方法包括传统的机器学习方法和深度学习方法。例如，Sidorov等人(2019)提出了基于随机森林(RF)和极端梯度增强(XGBoost)的药物协同预测模型。将药物的理化性质作为模型的输入。Zhang et al.(2018)开发了一种基于深度学习方法的AuDNNsynergy模型，利用来自癌细胞株的基因表达、拷贝数和基因突变数据预测具有高协同效应的药物对。
然而，这些方法并没有将药物协同数据的结构作为一个多路数据(如数据集可以表示为一个多维数组)。事实上，多路数据反映的是一种多路关系的结构，用多路数组表示是最好的，也就是所谓张量(Acar et al.， 2011)。张量分解方法用于分解由原始数据构造的给定张量，以捕获变量之间的潜在关系，用于发现隐藏的模式或进行分类。然而，传统的分解张量的算法不能处理缺失值的张量，这是预测药物协同效应的一个常见问题。为了解决这一问题，基于新的张量框架进行了一些研究。例如，Chen等人(2018)提出了DrugCom，一个基于张量的模型，它整合了与药物和疾病相关的多个不同的现有数据源。DrugCom同时通过整合现有知识对缺失值张量进行分解，获得药物协同的潜在信息，较其他方法表现出较高的预测性能。Acar等人将最著名的张量分解方法CANDECOMP/PARAP-AC (CP)扩展为一个加权最小二乘问题，使用一阶优化方法处理给定张量中的缺失值。这种新方法被称为CP加权优化(CP- wopt) (Acar et al.， 2011)。这种方法可以通过高阶因子分解来捕获数据的潜在结构。

基于张量的因子分解方法虽然能有效地表示多路数据，但其预测性能仍有很大的改进空间。最近，深度学习方法已经被证明可以预测高协同分数的药物对。本研究试图将基于张量的框架和深度学习方法结合起来预测药物对的协同效应。提出了一种深度张量分解(DTF)模型，该模型主要由张量分解方法和深度神经网络(DNN)组成。我们首先使用CP-WOPT算法对缺失项的张量进行分解，然后将张量分解的结果作为特征用于训练DNN模型，该模型可以预测药物对的协同效应。该策略允许DTF模型捕捉多路数据的结构，借助深度学习方法学习更多的潜在信息，从而提高其整体性能。

2 材料与方法

我们的模型设计如图1所示。协同药物组合预测的DTF模型基于两个子模型：一个是分解缺失值张量的特殊张量分解模型，一个是预测药物协同状态的DNN模型。

2.1 数据采集和预处理

我们主要使用的数据是药物药物协同作用(drug synergy, DDS)数据，来源于O Neil et al.(2016)的研究。我们得到了23 062种药物组合，在39个细胞系的38种药物中测量了相应的Loewe协同评分，这些药物来自6种人类癌症类型(图1A)。我们也把罗意威（Loewe）协同分数称为罗意威加性。

我们使用DDS数据来构造张量。我们有三个变量，药物A，药物B和细胞系，我们建立了一个三阶张量，三个轴分别代表这三个变量。张量的每个实体的值是对应于特定药物对和细胞系的协同得分。为了便于张量分解，我们还记录了张量中缺失值的位置。对于某些特定的细胞系，对同一药物对进行了多次实验。为了构建三维(3D)药物药物细胞系张量，我们对相同药物药物对的这些得分取平均值。还需要注意的是，药物A和药物B的协同得分与药物B和药物A的协同得分相同。因此，对于每一个细胞系来说，药物对协同形成的矩阵是对称的。我们将每个矩阵的对角线设为零，因为当然对相同的药物没有协同效应。

我们还使用DDS数据生成分类标签或协同状态来训练DNN。我们选择阈值为30，Preuer et al.(2018)的研究中使用了这个阈值。也就是说，如果某一药物对的协同评分大于30，则协同状态为1，否则为0。我们将协同状态为1的实体作为阳性样本，协同状态为0的实体作为阴性样本。每个细胞系阳性和阴性样本数量如图2所示。

图1所示。提出的DTF模型的工作流程。(A)数据收集和预处理。收集药物-药物协同(drug-drug synergy, DDS)数据构建张量，将其二值化以创建协同状态，作为训练DNN的标签。(B)构造缺失值张量，并使用CP-WOPT分解。张量分解的结果作为训练DNN的特征。©构造和训练DNN。使用步骤A获得的标签和步骤B生成的特征训练DNN，以预测给定药物对的协同状态

图2所示。所有癌细胞系的样本量

2.2 DTF:深张量因式分解

2.2.1 符号

我们将张量和多路数据的维数定义为order，并将每个维数称为模态。我们用小写字母(a)表示标量，用黑体小写字母(a)表示向量，用黑体大写字母(A)表示矩阵，用黑体欧拉脚本字母(A)表示张量。张量的每个元素都用带有下标的小写字母表示。对于一个三阶张量X，它的项可以表示为x_ijk。

子数组(或子字段)可以通过固定一些给定张量的指标来创建。如果我们固定了除一个索引外的所有索引，纤维（fibers）就被创建了。如果我们固定除两个索引外的所有索引，就会出现切片（slices）(或石板（slabs）)。很容易发现，对于一个三阶张量，每个切片实际上是一个矩阵。

我们用来表示一个多路向量的外积，这是一个张量，张量的每一项都是向量中相应元素的乘积。例如，向量a、b、c的向量外积是一个三维张量X，其中（X）_ijk=a_ib_jc_k。

假设(Say)我们有两个相同大小的张量X和Y，大小为。我们将它们的Hadamard(元素)乘积定义为X*Y

两个相同大小张量的内积与两个向量的内积相似，可以定义为两个向量的元素乘积之和，即

I1×I2×……×IN大小的张量X，我们定义它的范数

回想一下，对于矩阵和向量，||·||可以分别称为frobenius范数和二范数。我们还可以给出加权范数的定义。假设X和W是两个相同大小的张量，然后我们可以定义X的w加权范数为

如果有一组大小为I_n×R的矩阵A⁽ⁿ⁾，n = 1，…，N，符号A⁽¹⁾，A⁽²⁾，……，A⁽ⁿ⁾给出一个I₁×I₂×……×I_N的张量

如果一个N向张量可以被严格分解成N个向量的外积，那么它就是秩为1的张量。我们将张量的秩R定义为第1阶张量的最小个数，这些张量需要得到X作为它们的和。例如，一个R阶三维张量，被写为

我们将矩阵A、B、C称为因子矩阵，因为它们从第1位分量中收集向量，并将它们作为列。众所周知，张量秩的计算问题是np 难题。因此，在实践中，我们不能知道我们研究的张量的确切秩。

2.2.2 张量分解算法

秩分解是最常用的张量分解方法之一，它源于张量秩的定义。秩分解的关键思想是使用秩为1的张量序列的和来近似原始张量。其中最常用的秩分解方法是CANDECOMP和PARAFAC，它们分别在不同的知识领域被独立提出。有趣的是，这两种方法遵循相似的规则，所以我们通常将其命名为CANDECOMP/PARAFAC或canonical polyadic decomposition (CPD) (Rabnser et al.， 2017)。对于特定的三维张量(图1B)，将对CPD算法进行优化

可以将目标误差函数优化为:

关于该算法的更多细节可以在Rabnser等人(2017)中找到。

2.2.3 CP-WOPT

当一个张量有缺失值时，CP分解方法不起作用。Acar等(2011)提出了一种新的CPWOPT方法来解决这一问题。CP-WOPT的关键是引入一个非负张量W。对于缺值X的三维张量，W的每个元素，即X的对应元素，即x_ijk已知，则w_ijk为1，否则为0。那么我们就可以得到(1)的加权版本

我们可以很容易地将其推广到n向张量，并得到N路加权目标函数。设X是一个大小为张量I₁×I₂×……×I_N并假设X的秩为R。然后我们可以用矩阵重写目标函数，如下:

我们的目标是找到矩阵A⁽ⁿ⁾∈R^In×R,n = 1，…，N，使方程(3)最小化。函数梯度的计算可以在Acar等人(2010)中找到。在有了函数和梯度之后，我们可以使用任何基于梯度的优化方法(Nocedal et al.， 1999)来处理这个优化问题。

我们采用一阶优化方法，即Richard等人提出的LBFGS-B算法来解决加权最小二乘问题。该算法是求解具有简单边界的大型非线性优化问题的黄金标准工具。它开发了一个有限记忆的BFGS矩阵来接近目标函数的Hessian。该算法是为了充分利用有限记忆近似(Byrd et al.， 1995)的形式来有效地执行算法而设计的。

如前所述，张量的秩通常是未知的，但Acar等人(2009)表明，当秩被高估时，直接优化方法比交替最小二乘方法有更好的性能。记住这一事实，我们可以在开始时设置相对较大的分量R，然后检查分解的结果。如果结果在我们的容忍范围内，我们降低R并再次检查结果。如果它们仍然足够好，我们倾向于选择一个相对较小的R。

与CP分解相似，CP- wopt的结果是一个秩为1的张量序列。实际上，我们可以收集每个维度的向量并将结果写成因子矩阵的形式。如果要分解的张量X是3阶的，CP-WOPT的结果可以表示为A，B，C.如果我们取这三个矩阵的第r列向量，这三个向量的向量外积就是CP-WOPT分解结果的第r秩一张量。有了这些秩一张量，我们就能重建原来的张量。这些秩一张量的和是X’。对于X’的每一项，X’_ijk可以写成下面的和

式中，a_ir为A的第r列向量的第i个元素;b_kr是B的第r列向量的第k个元素，c_jr是c的第r列向量的第j个元素。对于X的每一个元素，x_ijk，无论已知还是未知，X’的X’_ijk都与之对应。对于已知的条目，x’_ijk和x_ijk应该非常接近，因为这是我们优化的目标。因此，我们可以说，每个x_ijk对应于因子矩阵A、B和C中元素的和。

2.2.4 深度神经网络

我们在DTF模型中使用的神经网络结构是一个有D层的全连接神经网络，其中第d层包含U_d神经元。我们可以把它看成一个D层感知器。我们用r⁽ⁿ⁾_d表示第n个样本到第d层的输入。
作为一个激活函数，然后激活的结果是
特别是对于输入层，

通常，我们使用前向传播来计算下一层的输入。例如，对于第(d+1)层的输入（0≤d≤D），r⁽ⁿ⁾_d+1可以由方程得出

W_d是一个U_d+1×U_d矩阵，b_d是一个偏差。我们优化了DNN的W_d和b_d参数，使损失函数最小化

其中y^’(n)为协同药物对的预测概率，y⁽ⁿ⁾为真正的协同状态。
我们对DTF的DNN考虑了不同的超参数设置。除不同的数据归一化措施外，还考察了不同的层数和层内不同的隐藏单元。此外，我们尝试了不同的学习速度和正规化技术。优化后的超参数的网格搜索如表1所示，下面将给出更多的细节。

我们测试了三种不同的数据标准化措施：(i)标准化所有特征到零均值和单位方差，(ii)应用标准化和双曲切线，(iii)应用标准化，双曲切线和再次标准化。也考虑了没有数据规范化的情况。隐含层使用了relu激活，输出层使用了sigmoid激活。二值交叉熵是要最小化的损失函数。我们测试了两个或三个隐藏层，如表1所示。我们使用了学习率为10³，10⁴，10⁵，5×10³，5×10⁴and 5×10⁶的亚当（Adam）作为优化器。早期停止（stopping）和退出（dropout）被认为是正规化技术。对于dropout，我们考虑了输入层的dropout率为0.1、0.2或不退出，所有隐藏层的dropout率为0.1、0.2、0.3、0.4、0.5或不退出。我们使用网格搜索来确定最佳超参数。

2.2.5 特征工程

DTF模型的关键部分是使用CP-WOPT的输出生成特征，这通常被称为特征工程。
如前所述，在三维张量的情况下，CP-WOPT的分解结果可以用因子矩阵【A,B,C】。每个矩阵收集特定维度的潜在信息。具体来说，A收集药物A潜在信息对应的所有向量，药物B对应的B，细胞系对应的C。对于每个已知的协同得分x_ijk，正如我们在上一小节中所讨论的，有一个与之对应的和(图1B)。

显然，（a_i1……a_iR）是A的第i行向量，可以看作是A药物潜在信息的特征。我们将同样的原理应用于药物B和细胞系。最后我们为一个特定的协同得分x_ijk得到三个特征向量（a_i1……a_iR），（b_k1……b_kR），（c_j1……c_jR）.我们把它们串联起来作为x_ijk的特征。

2.2.6 模型构建

为了建立预测协同药物对的DTF模型，我们需要将CP-WOPT模型和DNN模型连接起来。CP-WOPT与DNN模型的连接是2.2.5节中描述的特征工程。下面将给出DTF模型的整体构造和更多细节。

通过数据采集和预处理，我们从原始DDS数据中提取并构建了带有缺失值三阶张量X。张量的三维分别代表药物A、药物B和细胞系。注意，X中每个元素的值是原始的药物协同评分，而不是二值化生成的0/1标签。X的未知项的值无关紧要，因为在CPWOPT的计算过程中忽略了它们。在我们的模型中，我们简单地将它们设为0，并记录在与X大小相同的位置张量P中缺失值的位置。如果X的对应元素已知，P的特定项为1，否则为0。

设R为分量数，则我们在X上实现CPWOPT(图1B)，这需要三个参数:要分解的张量X、位置张量P和要分解张量的分量数R。如前所述，CP-WOPT的分解结果可以用因子矩阵【A,B,C】表示。每个矩阵收集特定维度的潜在信息。因此，我们有理由假设A收集了药物A潜在信息对应的所有载体，B对应药物B, C对应细胞系。根据2.2.5节中提到的特征工程，我们可以得到每个协同得分 x_ijk的特征，可以用来训练DNN(图1C)。

如果我们CPWOPT的组件的数量（分量数）设置为R，然后药物A,药物B和细胞系，它们的维数都是R，这意味着DNN的输入层和第一层之间的参数是一个大小为U1 × 3R的张量W₀。算法1所示的函数TRAIN训练实现了DNN的训练过程，该过程使用CP-WOPT生成的特征和协同评分二值化得到的标签，即协同状态。{W_d}和{bd}是DNN的参数，定义了整个模型的预测过程。在训练过程中，我们使用经典的前向传播算法计算被训练模型的结果，使用后向传播算法推导DNN参数的梯度。

对DNN模型进行训练后，我们使用训练后的模型来预测药物对的协同状态。对于原始张量X中的每一个未知项，显然也有三个特征向量与之对应。这些特征分别表示药物A、药物B和细胞系特征a^f、b^f、c^f，可以输入到训练好的DNN模型中，预测任意给定药物对的协同状态。该预测过程在函数PREDICT中实现，如算法1所示。采用正向传播算法对预测结果进行计算。

我们模型的整个算法如DTF的伪代码(算法1)所示。程序模型包含了所有的函数来实现药物对协同状态的预测，其中y’是一个向量，用来收集未知条目的所有预测概率。

2.3 模型与比较评价

为了评价深度学习方法即DNN在提取CPWOPT生成的潜在特征方面是否比其他传统模型做得更好，我们将其与CPWOPT基线模型进行了比较，基于CP-WOPT生成的特征，提出了预测药物对协同效应的经典统计模型，并提出了与DTF相同任务的最新模型。

CP-WOPT基准分类器

一般来说，CP-WOPT可以单独作为二进制分类器。回想一下，我们可以利用这些结果来重建原始张量，对于每个未知的协同状态，其对应的和可以视为一个张量分数。由于协同得分越高，说明某一药物对的协同效应越好，因此我们可以将重构张量得到的张量得分越高，说明某一药物对的协同效应越强。因此，对于张量分数的给定阈值，CP-WOPT可以是一个二进制分类器，它可以作为基线模型。

逻辑回归(LR)

采用Logistic回归模型与我们的DTF模型进行比较。logistic回归模型输入的特征与DNN相同，都是从CP-WOPT的输出中生成和提取的特征。

深度协同

由Preuer等人提出的DeepSynergy绝对是一种最先进的模型，可以帮助识别新的协同用药对。DeepSynergy使用化学和基因组信息作为输入信息，这是一种考虑输入数据异质性和锥形层的归一化策略，以模拟药物协同作用(Preuer等，2018)。我们使用了与DeepSynergy相同的输入数据。值得注意的是，DeepSynergy比DTF使用了更多的数据集。我们选择30作为阈值，以便对预测的协同得分进行二值化以保持一致性。我们也使用了Preuer等人提出的架构最好的DNN进行比较。

由于所有待比较的模型都不能区分AB，按A-B或B-A顺序表示，所以我们将样本数量增加了一倍。为了将DTF与其他方法的性能作为基准，我们使用了一种特殊的分层交叉验证方法，在该方法中，药物组合被选择在测试集中忽略(Preuer et al.， 2018)。在这种情况下，在细胞系的测试集中选择的给定药物对也包括在所有其他细胞系的训练集中。注意，由于DTF模型集成在交叉验证过程中，不同的张量被组成，每次特定药物对的特征可能不同。

2.4 软件参数和全局参数

CP-WOPT是在Matlab tensor_tool box 3.1版中实现的，L-BFGC-B的Matlab包装器可以在 https://github.com/stephenbeckr/L-BFGS-B-C 上找到。我们使用Keras版本2.2.4和scikit-learn版本0.21.3来实现DNN模型和其他机器学习模型。

我们构造的张量是3阶的，它有3个轴，代表药物A，药物B和细胞系。药物A和药物B的维数为38，细胞株的维数为39。将需要分解的组件数（分量数）R设置为1000。因此，DNN模型的输入特征的维数为3000。我们选择将药物协同得分二值化的阈值为30。

本研究的数值计算部分是在武汉大学超级计算中心的超级计算系统上完成的。

3 结果

3.1 DNN架构

通过网格搜索确定了DTF模型的DNN结构。网格搜索的结果可以在补充表S1中找到，结果表明第二种归一化策略，标准化和应用双曲切线，性能最好。此外，每个隐藏层中隐藏单元的数量减少一半的锥形层具有更好的性能。一个可能的解释是，锥形层更好的事实，是他们对正则化的影响。通过提取由CP-WOPT生成的输入特征的最重要的潜在信息，较高层中较少的参数推动模型更加通用。更重要的是，有更多的层的锥形层工作很好，即，一个有三个隐藏层。相对较小的学习率(10^-5)和dropout技术也是DTF模型DNN做好的关键。DTF模型的DNN一般为三层隐含的锥形结构，第一层为2048个单位，第二层为1024个单位，第三层为512个单位。该算法采用标准化和应用双曲切线归一化方法，学习率为10^-5，输入层退出率为0.2，隐含层退出率为0.5。

3.2 方法的比较

我们使用CP-WOPT算法对上述分层交叉验证方法生成的张量进行分解。张量分解后，我们得到了药物A、药物B和细胞系的特征以及每个药物对的张量得分。利用CP-WOPT的因子特征建立了DTF、LR和CP-WOPT的分类模型。对于DeepSynergy，我们考虑了相同的测试集，并使用了Preuer等人(2018)中最好的架构建议。

在分类任务中，我们选择了具有代表性的指标：area under the receiver operator characteristics curve (ROC-AUC), area under the precision recall curve (PR-AUC), accuracy (ACC), balanced accuracy (BACC), precision (PREC), sensitivity (or true positive rate, TPR) and Cohen’s Kappa。协同评分二值化的阈值是90%百分位(或30)(Preuer等人，2018)。我们用阈值0.5将预测概率二值化。结果如表2所示。显然，DTF和DeepSynergy在整体性能中居于首位。DTF的ROC AUC、PR AUC、ACC、BACC、PREC、TPR和Kappa分别为0.89、0.58、0.93、0.69、0.69、0.40和0.47。

注:所有值均为五重交叉验证的平均值6个标准差。粗体为最佳性能值，粗体斜体次之。提供的性能指标为ROC曲线下面积(ROC AUC)、精确召回曲线下面积(PR AUC)、准确度(ACC)、平衡精度(BACC)、精度(PREC)、灵敏度(或真阳性率TPR)和Kappa。

图3所示。预测的散点图从两种不同顺序的药物对。x轴表示药物a -药物b-细胞系，y轴表示药物b -药物a-细胞系。两个预测之间的皮尔逊相关系数为0.95

DTF在BACC、TPR和Kappa指标上的表现优于DeepSynergy。DTF和DeepSynergy的准确率相同，均为0.93。在ROC AUC和PR AUC指标上，DTF的表现略低于DeepSynergy。总的来说，我们的模型在我们使用的性能指标中有较低的标准偏差。我们还发现，上述所有绩效指标的DTF和DeepSynergy之间均无统计学差异，t检验的p值分别为0.58、0.51、0.98、0.35、0.19、0.32和0.49。因此，公平地说，基于五重交叉验证的结果，DTF和DeepSynergy都具有竞争力。不用说，CPWOPT基线模型在这里做得最差。logistic回归模型有助于提高CP-WOPT的性能，但与DTF相比，改善的效果远远落后。

综上所述，DNN显著提高了CPWOPT的性能。更重要的是，DNN和CP-WOPT相结合的DTF模型的数据集少得多(输入数据的大小也小得多)，在这个比较条件下取得了与DeepSynergy几乎相同的良好性能。

3.3 顺序独立

在我们的DTF方法中，两种药物在组合中的顺序是重要的，我们认为药物a、药物B和药物B、药物a是两对不同的组合。因此，每个药物组合输入DNN两次进行训练和预测。不同组成药物顺序的药物对预测结果如图3所示。大多数值聚集在原点(0,0)周围，一些值位于[0,1]的中间，一些值聚集在点(1,1)周围。值的分布是合理的，因为预处理后的数据集是高度不平衡的。所有的点都大约在恒等线两边，即使它们不是很接近。对两种不同组成药物顺序的药物对的预测结果Pearson相关系数为0.95，说明DTF可以忽略组成药物在药物对中的顺序。

3.4 预测协同状态未知的药物对

以上结果表明，我们建立的DTF模型能够学习到所构建张量与已知药物对协同状态之间的关系，可以忽略药物组合顺序，这意味着我们可以可靠地应用该模型来预测药物对的协同状态，我们没有实验测量的协同得分。为此，我们首先使用大约90%的已知协同得分的药物对构建张量，然后基于张量的分解特征构建基于DTF的预测模型。剩下的10%用于验证。使用与模型评估相同的截点0.5，DTF模型在验证集上的ROC-AUC和PR-AUC分别为0.90和0.66（结果从哪里来，为什么和表里不同？？？）。DTF模型的ACC为0.93。这些都表明，我们对那些已知协同得分的药物组合的预测是令人信服的。

使用训练过的DTF和DeepSynergy模型，我们预测了4680个药物组合的协同得分，这些药物组合没有测量的协同得分。为了进一步比较DTF和DeepSynergy的预测结果，我们使用Youden s J统计量来确定DTF和DeepSynergy的ROC曲线中用于选择协同对的最佳截断点(补充图S1)。结果DTF(补充表S2)得到126对协同效应，DeepSynergy(补充表S3)得到291对协同效应。结果表明，两种方法都预测的协同效应有45对，分别占DTF和DeepSynergy预测结果的36%(45/126)和15%(45/291)。

4 讨论

DTF方法通过将CP-WOPT与DNN相连接，仅使用单一数据源，但显著提高了CP-WOPT的性能。虽然我们提出的DTF模型与DeepSynergy模型的性能在统计上没有显著差异，但两种方法的预测结果是互补的。当我们从DTF的预测协同概率和DeepSynergy的预测协同得分来仔细观察排名前五的组合时，没有发现共同的组合。DeepSynergy中排在前5位的是紫杉醇与SN-38组合在A375上、紫杉醇与长春瑞滨组合在OV90上、MSTO与A375上、etoposide与长春瑞滨组合在MSTO上。DTF中排名前5位的分别是地塞米松与依托泊苷联合应用于CAOV3、环磷酰胺与依托泊苷联合应用于CAOV3、依托泊苷与dn -38联合应用于CAOV3、卡铂与依托泊苷联合应用于CAOV3、5-FU与依托泊苷联合应用于CAOV3。我们可以看到，DeepSynergy方法主要是识别紫杉醇和长春瑞滨在不同细胞株上的组合，而DTF方法主要是识别不同药物在同一细胞株上的组合(即卵巢癌细胞株CAOV3)。虽然DTF方法得到的前5对与深度协同方法得到的前5对不同，但我们预测的高概率协同对与前人的研究是一致的。这些例子如下。依托泊苷和地塞米松在卵巢癌细胞系CAOV3中的23对协同作用的预测概率最高。依托泊苷是一种DNA拓扑异构酶II抑制剂，已获FDA批准用于治疗睾丸和肺癌(Ezoe, 2012)。口服依托泊苷可作为铂耐药卵巢癌患者的高级治疗选择(Kucukoner et al.， 2012)，也可作为晚期卵巢癌患者的维持化疗，以改善生存结局(Nagano et al.， 2016)。地塞米松是一种用来减轻炎症的类固醇。地塞米松是一种类固醇药物，具有强大的抗炎和免疫抑制剂，并已用于癌症治疗(Sandini et al.， 2018)。最近的一项研究证实了依托泊苷和地塞米松联合治疗噬血细胞淋巴组织细胞增多症的疗效(Bergsten et al.， 2017)。因此，地塞米松与依托泊苷联合使用可能会提高依托泊苷作为单一药物治疗卵巢癌的疗效。此外，Uysal等人(2014)报道，维持节律口服环磷酰胺和依托泊苷治疗延长了肉眼可见残留或复发的晚期卵巢癌患者的无进展生存期，这与我们预测的协同可能性为99.79%一致。此外，据加拿大癌症协会报道，卡铂+依托泊苷组合是治疗生殖细胞卵巢癌最常见的化疗药物组合之一，考虑到预测的协同概率(98.61%)在卵巢癌细胞系上很高，这与我们的预测一致。因此，尽管在已确定的协同药物对与DeepSynergy的重叠有限，我们的DTF预测被先前发表的有关各自药物组合的调查证实。

在这项研究中，不是简单地使用Loewe协同评分0作为阈值，我们使用30来标记药物对为协同配对，正如Preuer等人(2018)的研究中所描述的那样。协同效应得分高于30的药物配对被标记为1(即协同效应药物配对)，而协同效应得分低于30的药物配对被标记为0(即非协同效应药物配对)。在实验环境中，协同效应得分为30分的药物对表明具有高度的协同效应，是有吸引力的临床研究候选药物。因此，预测少量的药物组合具有高度协同作用是合理的。

值得注意的是，该DTF模型存在两个主要缺陷：一是不能对未纳入任何联合用药研究的药物进行联合用药协同效应预测；第二个是它在直接预测原始协同得分方面有局限性。这样做的原因是张量分解主要是作为一个近似问题来处理的。在现实中，CP-WOPT分解算法可以更准确地近似二值(如二值化的协同状态)，而不是连续值(如原始协同得分)，这表明二值化可能有助于掩盖CP-WOPT的原始输出导致的一些偏差。并根据CP-WOPT的输出，进一步提高训练后DNN模型预测协同药物对的性能。在未来，我们有兴趣扩展模型，将更多的信息资源纳入DTF模型，以提高DTF模型的可解释性和可预测性。为了提高整个模型的性能，我们将在DNN的其他结构方面进行更多的研究。

5 结论

提出的DTF模型有两个关键步骤：(1)利用CP-WOPT算法对原始药物协同数据构造的带有缺失条目的张量进行分解，生成药物和细胞株的特征;(ii)利用分解后的特征和观察到的标签(药物对的协同作用状态)对DNN模型进行训练，预测协同作用得分未知的药物对的协同作用。DTF方法通过将CP-WOPT与DNN相连接，仅使用单一数据源，但显著提高了CP-WOPT的性能。此外,DTF模型与最先进的模型(DeepSynergy)实现了几乎相同的预测性能，但用更少的数据来源,表明其潜力作为一个有价值的工具,用于预测和优化协同药物对硅片,从而指导体外和体内发现了理性的联合疗法。

DTF:预测抗癌药物协同作用的深度张量分解相关推荐

【广告技术】下个月会有多少用户看到洗发水广告？最先进的张量分解模型给你最好的答案
01 "下个月会有多少用户看到洗发水广告?" 每个用户访问互联网页面的时候都会看到广告,点击观看视频的时候还会看到贴片广告.对广告平台和广告主来说,提前预估这些广告的观看量,也就是 ...
【广告技术】用张量分解预测广告库存，广告投放更可靠！
[Wiztalk腾讯广告专场]系列分享来袭,第二期由中国科学技术大学计算机学院.特任教授张兰老师为大家深度介绍 <基于大规模数据张量分解的广告库存预估>. "下个月会有多少用户看 ...
基于张量分解和关系约束的多种类型的MicroRNA-疾病预测
今天给大家介绍的文章是"Tensor Decomposition with Relational Constraints for Predicting Multiple Types of M ...
NeurIPS 2020 | 面向张量分解知识图谱补全的对偶诱导正则
简介近年来,张量分解模型凭借模型简洁.计算速度快等优点在知识图谱补全任务上取得了令人瞩目的成就.但是,这些模型较易受到过拟合的影响,在性能上通常落后于其他类型的模型.为解决过拟合问题,包括 L2 正 ...
矩阵低秩张量分解_TKDE 2020 | CTRR：组稀疏约束的紧凑张量环回归
论文标题:Smooth Compact Tensor Ring Regression论文作者:Jiani Liu, Ce Zhu, Yipeng Liu论文链接:https://ieeexplore. ...
论文浅尝 | TuckER：基于张量分解的知识图谱补全
笔记整理:孙泽群,南京大学计算机科学与技术系,博士研究生. 论文链接:https://arxiv.org/abs/1901.09590 背景知识图谱是图结构的数据库,以三元组(es, r, eo ...
深度学习可解释性！深度taylor分解
深度泰勒分解是一种解释神经网络对个体预测的方法.它产生的结果是神经网络所表达的函数在输入变量上的分解.该方法可用作深度学习模型可视化工具,或作为复杂的分析方法的一部分. 众所周知,当前的深度学习分类器 ...
社交网络中基于张量分解的好友推荐
社交网络中基于张量分解的好友推荐摘要引言相关研究问题描述所提好友推荐方法实验验证结论摘要社交网络中快速增长的用户对现有好友推荐系统提出了挑战.本文我们用张量分解模型基于用户的标签行为 ...
java求秩_张量分解浅谈（二 CP NMF 张量秩）
欢迎大家来到这一期的张量分解博客学习,本期博客的主要内容就是标题,难度会加大,本人也有写的错误的地方,烦请大家不吝赐教! 一. CANDECOMP/PARAFAC分解法 CANDECOMP(canon ...

DTF:预测抗癌药物协同作用的深度张量分解