论文翻译：《Phosvardeep：使用序列信息对磷酸变化的深度学习预测》

Title:PhosVarDeep: deep-learning based prediction of phospho-variants using sequence information

期刊：PeerJ

中科院分区：3区

影响因子：3.061

发布时间：2022.3.142.

Web在线服务器：无

GirHub:

GitHub - lisalikegaga/PhosVarDeep: a deep-learning model for phospho-variant prediction using sequence information

1. 摘要

2.背景

3.数据集

4. 方法

4.1 PhosVarDeep的连体构造

4.2 PhosFEN

4.3 CNN module

4.4 Prediction module

4.5 Training

5. 结果

5.1 Determining the PhosFEN model

5.2 Performance evaluation of PhosVarDeep

5.3 Comparison with existing methods

6.DISCUSSION

7. CONCLUSIONS

GitHub - lisalikegaga/PhosVarDeep: a deep-learning model for phospho-variant prediction using sequence information

1. 摘要

人类在DNA测序揭示了许多与复杂疾病相关的单核苷酸变体。研究人员表明，这些变体对蛋白质功能有潜在的影响，其中之一是破坏蛋白质磷酸化。基于常规的机器学习算法，已经开发了几种用于预测磷酸化变异物的计算方法，但是它们的性能仍然留下了相当大的改进空间。近年来，深度学习已通过其有效的序列模式学习能力成功地应用于生物序列分析中，这为改善基于蛋白质序列信息的磷酸化变化预测提供了强大的工具。在研究中，我们提出了Phosvardeep，这是一个新型的统一深度学习框架，用于磷酸化的预测。 Phosvardeep将参考序列和变体序列作为输入，并采用类似暹罗的CNN结构，其中包含两个相同的子网和一个预测模块。在每个子网中，一般的磷酸化序列特征是通过预先训练的序列特征编码网络提取的，然后馈入CNN模块以捕获变体磷酸化序列特征。之后，引入了一个预测模块以整合两个子网的输出并生成磷酸化变量的预测结果。磷酸化变化数据的全面实验结果表明，我们的方法显着改善了磷酸化体变量的预测性能，并与现有的常规机器学习方法进行了有利的比较。

2.背景

如今，人类DNA测序研究揭示了数百万个核苷酸变体，这些变体已被证明与癌症和心血管疾病等复杂疾病显着相关。尽管已经发现了数百万个变体，但它们对产生的RNA或蛋白质产品的确切影响通常仍然未知。这些变体对蛋白质功能的潜在影响之一是破坏翻译后修饰，尤其是蛋白质磷酸化，因为磷酸化是最无关的后变质后修饰和播放的磷酸化和播放。在理解由变化引起的信号通路变化中的重要作用。因此，识别和理解影响磷酸化状态的变体对于细胞生物学，疾病治疗和预防的研究至关重要。在这里，我们遵循先前的研究使用术语“磷酸变化”来指代影响氨基酸的磷酸化状态的变体。本文中使用的磷酸变异的示例包括那些修改S /T /Y残基或相邻残基的变体，即III型，II型和III型III类型和类型III。

实际上，据报道，有许多能够影响蛋白质磷酸化的磷酸变体。例如，PhosphositePlus PTMVAR数据集中包括超过19,000个错义突变，该数据集属于以实验识别的磷酸化位点为中心的15个残留窗口，并可能破坏现有的现有磷酸化位点或引入新的磷酸化位点站点。同时，还开发了几个数据库，以分类变异对潜在磷酸化位点的可疑影响。例如，Ryu等人。（2009年）搜索已知的磷酸化变异物，并预测pep磷phy磷在人类变异中的其他可能的磷酸变化，然后将其纳入磷酸化变量数据库中。随后，通过与人类上的23,978个磷酸化位点匹配的弦，Ren等人。（2010年）检测潜在的磷酸变化，并将其编译到PhossNP数据库中。

与提供数据库的上述方法相反，有几种基于常规机器学习算法来检测和分析磷酸化变量的方法。例如，Wagih，Reimand＆Bader（2015）开发了一种基于贝叶斯统计的方法，称为突变对磷酸化的影响（MIMP），该方法构建了位置权重矩阵和训练高斯混合物模型，以预测变体对磷酸化位点的功能。随后，Patrick等人在以前的磷酸化位点预测的贝叶斯网络模型上建立。（2017年）提出了一种称为Phosphopick-SNP的有效方法，用于量化变体对蛋白质磷酸化状态的预期影响。磷杆菌-SNP方法从围绕含有错义突变的潜在磷酸化位点的一对参考和变异蛋白序列获得了预测评分，然后将它们结合在一起以分析变异对蛋白质磷酸化的影响。这样，Patrick等。（2017）预测已知的磷酸变体对磷酸化的影响，并构建了蛋白质组范围预测的变体效应的背景分布，以检测新的磷酸化体示例。

最近，作为一种不断有前途的机器学习技术，深度学习在许多领域（如图像识别）（Rawat＆Wang，2017）和自然语言理解（Collobert等，2011）取得了显着突破。与传统的机器学习技术相比，深度学习方法具有独特的优势，可以自动发现下游任务所需的复杂表示。其中，卷积神经网络（CNN）（Krizhevsky，Sutskever＆Hinton，2017年）在生物序列分析中已成功进行了其学习序列模式的强大能力。例如，Alipanahi等。（2015年）在Deepbind中使用CNN来预测DNA和RNA结合蛋白的序列特异性。

此外，对于磷酸化位点预测，Wang等人。（2017年）提出了基于具有注意机制的多层CNN体系结构的Musitedeep，以及最近的Luo等。（2019年）使用密集连接的CNN体系结构提出了Deepphos，以学习蛋白质序列的多个表示。这些使用CNN体系结构的深度学习方法比传统的机器学习方法获得了更好的性能。但是，到目前为止，还没有通过深度学习来解决磷酸变化预测问题的方法，开发这种强大的工具可以有效地利用参考和变体序列信息来预测变体对蛋白质磷酸化状态的影响是不平凡的。

在这项工作中，我们提出了Phosvardeep，这是一个新型的统一深度学习框架，用于通过有效提取并结合参考和变体蛋白顺序信息，用于磷酸化变化预测。 Phosvardeep采用了类似暹罗的CNN架构，其中包含两个具有共同权重的子网相同的子网。每个子网都由序列特征编码网络（Phosfen）和多层CNN（CNN模块）组成。首先，我们利用phosfen捕获参考和变体序列的一般磷酸化序列特征，这些序列被送入CNN模块中，以进一步学习共同学习变异感知的磷酸化序列特征。然后，我们采用一个预测模块来结合子网子网中获得的两个特征，以产生预测评分，最能分隔磷酸体变化的正面和负面示例。我们进行了全面的实验来研究phosvardeep的性能，评估结果表明，我们提出的方法显着提高了鉴定磷酸化体变化的预测性能，并且优于现有的预测方法。

3.数据集

这里，为了训练和评估我们的方法，我们收集了PhosSNP中超过2，000个潜在的磷酸变体(Ren等人，2010年)作为阳性集，并采用Patrick等人(2017年)产生的三个阴性集，它们包含蛋白质UniProt指数、氨基酸变异和磷酸化位点的信息。我们采用的PhosSNP中的阳性数据集是基于与参考/变异序列精确匹配的字符串，具有实验鉴定的人类磷酸化位点。因此，参考序列或变体序列中的相同命中被认为是潜在的磷酸变体(Ren等人，2010)。至于负集，如Ralph等人所述，本研究中采用的三个高置信度负集是在磷酸化位点不太可能出现的情况下通过不同的标准产生的(1)在蛋白质的溶剂不可及/埋藏区域；(2)跨膜结构域；(3)在不直接或通过介体与激酶相互作用的蛋白质中(Patrick等人，2017)。接下来，我们通过相应的UniProt指数和氨基酸变异将收集的磷酸变体数据与蛋白质序列进行映射，以便每个磷酸变体对应于一对参考和变体蛋白质序列(Bateman等人，2015)。表1显示了用于磷酸变体预测的阳性组和三个阴性组的大小，涉及不同的磷酸化位点类型，即丝氨酸(S)/苏氨酸(T)或酪氨酸(Y)。给定磷酸变化，我们在其相应的参考和变体序列上拦截了以磷酸化位点为中心的蛋白质片段。然后，每个蛋白质片段都由一热编码策略编码为L×N二维矩阵，其中L代表蛋白质片段的窗口大小，n根据普通氨基酸的总数设置为21（ Min等，2017）。此外，我们对所有收集的数据应用于40％的相似性阈值的CD命中，以通过以前的研究来降低序列冗余。

完成预处理数据后，将正面集与每个负组组合在一起，以形成三个磷酸化变量数据集，对于每个磷酸化变量数据集，我们使用S/T和Y上的磷酸化数据训练两个深度学习模型站点分别。同时，我们使用深度学习方法中通常采用的性能评估策略进行顺序分析（Zhou＆Troyanskaya，2015； Khurana等，2018），也就是说，每个数据集都会随机分为严格的非重叠培训，验证和测试，在我们的研究中，集合和比率设置为6：2：2。这样，我们采用培训数据来调整模型权重，并利用验证数据来防止过度拟合（Zhou＆Troyanskaya，2015年）。采用测试集来评估Phosvardeep的性能并实施Phosvardeep和其他磷酸化的预测方法的比较。

4. 方法

4.1 PhosVarDeep的连体构造

在这项研究中，我们设计了一个类似暹罗的深度学习框架，用于磷变体预测。作为一种经典的度量学习方法，暹罗神经网络首先由Bromley等人(1993)提出，并已成功应用于签名验证、人脸验证(Cao，Ying & Li，2013)和目标跟踪等任务中。为了测量输入对之间的相似性，暹罗神经网络学习将输入模式映射到表示或目标空间的函数，其中相似对将接近，不相似对将远离彼此(Zagoruyko & Komodakis，2015)。通常，连体神经网络包含共享相同配置、权重和参数的两个子网络，这确保了两个相似的输入被转换成相似的特征表示。这里，我们采用暹罗风格的深度学习框架来学习复杂的非线性映射，用于分离磷酸化变体的阳性和阴性样本。图1显示了PhosVarDeep的建议架构，它由两个相同的子网组成，具有共享的权重和一个预测模块。具体地，在每个子网内，PhosFEN和CNN模块提取输入序列的高维特征表示。接下来，引入预测模块来整合两个子网络的输出作为组合特征，以生成磷变体的预测结果。这些网络的细节描述如下。

4.2 PhosFEN

在每个子网络中，PhosFEN提供了一个序列特征编码网络，以从给定磷变体的参考和变体本地序列中提取各自的特征。具体来说，PhosFEN的输入是一热局部序列es ∈ RL×21 (s = s1，s2)，s1和S2分别是参考序列和变异序列。然后用PhosFEN提取磷酸化相关的序列特征如下:

$fs=PhosFE(es;WF)$

其中w f代表phosfen中的所有参数矩阵和偏置项。通过这种方式，特征映射FS从Phosfen导出为一般磷酸化相关的局部特征，并且FS1和FS2对作为以下CNN模块的输入。

在这项工作中，由于磷酸变化的训练数据量比深度学习模型中参数的大小要小得多，因此在训练过程中可能会发生过度拟合。为了解决培训数据不足的问题，我们研究了现有的磷酸化现场深度学习模型的特征学习能力，并通过转移学习（Yosinski等人）在我们的研究中（Luo等，2019）（Luo等，2019）（Yosinski等。，2014年）。 Deepphos是由密集连接的CNN块组成的预训练的深度学习模型，它可以比其他深度学习模型更好地捕获与磷酸化相关的复杂深序列表示。我们将模型的整个层转移到Phosfen，除了其最后三层，包括平坦的层，完全连接的层和我们的研究中的输出层。

4.3 CNN module

从Phosfen提取一般磷酸化序列特征后，它们被馈入CNN模块以生成变异感知的磷酸化序列特征。

如图1所示，每个CNN模块由多个卷积层和最大池层组成，以及一个平坦的层。卷积层通过用一组卷积内核来绕输入来生成特征图。从数学上讲，对于输入磷酸化相关的特征FS（S = S1，S2），让HI，S为输出中的ITH特征映射，卷积层可以描述如下：

其中w k i和bk是指ITH卷积层中的参数矩阵和偏置项，k是卷积核的数量。 α代表可以实现非线性转换的Relu激活函数，m是指卷积层的数量，此处设置为3。这样，可以生成变体感知的磷酸化序列特征，然后通过平坦的层，它们，它们可以生成。被转换为一对一维张量（HS1，HS2）∈RD。此外，为了减轻训练过程中过度拟合的风险，在每个卷积层之后添加一个辍学层以随机丢弃一些神经元（Srivastava等，2014）。 CNN模块的详细信息在表2中列出。

4.4 Prediction module

将一对序列特征HS1和HS2作为输入，预测模块利用由三个完全连接的层组成的多层DNN来集成特征对并计算磷酸化变化的预测分数。详细说明，两个输入特征是串联的，然后馈入多层DNN以捕获抽象组合特征cv∈RU，这里u是指最终完全连接层中的神经元数。接下来，使用SoftMax的输出层作为激活函数用于生成阳性和阴性磷酸变化的预测分数，可以计算如下：

其中wv∈Ru×2表示软磁函数的重量矩阵。表2列出了多层DNN和输出层的详细信息。

4.5 Training

Phosvardeep是统一的深度学习框架，用于磷酸化变化的预测，并经过训练，可以将磷酸变化分为两个类别：阳性磷酸化体和负磷酸化体。因此，为了最大程度地减少训练错误，我们在这里采用二进制跨凝结作为损失函数：

其中n是指训练数据的大小，（S1，S2）J表示J TH输入磷酸化变量的两对参考和变体序列，而YJ则指的是相应的类标记。我们冻结了Phosfen的所有层，并在磷酸化变化的训练数据上联合训练CNN模块和预测模块，其中传统层的权重和偏见和完全连接的层是要估计的参数。此外，作为一种广泛使用的随机梯度下降算法，Adam Optimizer（Kingma＆BA，2015）。在培训过程中采用。同时，我们在这项研究中使用迷你批次培训策略将每次迭代中的少量训练样本随机分为优化器循环。此外，为了解决数据不平衡问题，我们遵循先前的研究（Wang等，2017），以我们的深度学习方法应用自举策略。

5. 结果

5.1 Determining the PhosFEN model

首先，为了提取一般的磷酸化序列特征，我们将磷酸化预测模型转移到我们方法中的phosfen。有几种具有良好磷酸化相关序列特征学习能力的预训练模型。其中，Musitedeep（Wang等人，2017年）和Deepphos（Luo等，2019）都是CNN模型，其性能明显优于以前的方法。为了确定哪种模型为磷酸预测提供了更多有用的信息，我们使用现有的综合磷酸化位点数据集（Luo等人，2019）比较了两个磷酸化位点预测因子，该数据已从Phospho.elm，phosphosityplus，HPRD，DBPTM，DBPTM和SYSPTM收集。这两个模型的ROC曲线和AUC值如图2所示。很明显，与MusitedEep相比，Deepphos在S/T位点和Y位置的性能始终在S/T位点和Y位点上的性能更高。对于S/T位点，Deepphos的AUC值比Musitedeep高3.0％。对于Y站点，与MusitedEep相比，Deepphos获得的AUC值增加了5.7％。以上结果表明，Deepphos在磷酸化数据上具有更好的磷酸化相关特征学习能力。因此，为了准确的磷酸变化预测，我们在phosfen中采用预训练的Deepphos来捕获磷酸化变化数据中的一般磷酸化序列。

5.2 Performance evaluation of PhosVarDeep

在这一部分中，为了评估phosvardeep在提取和整合磷酸变化预测的参考和变体序列信息中的性能，我们通过比较三种不同的模型配置进行了消融研究：（1）phosfen*：在这种情况下，配对的输出，直接将Phosfen组合在一起并馈入完全连接的层以获得预测结果；（2）PM*：在这种情况下，我们采用预测模块来整合Phosfen的输出以预测磷酸化变化；（3）Phosvardeep。：在这种情况下，对于Phosfen的配对输出，我们利用CNN模块进一步学习变异感知的磷酸化序列特征，并采用预测模块来生成合并的特征来最终预测。

我们将所有上述方法应用于三个磷酸变体测试组，表3列出了它们在S/T和Y位点的AUC值。显然，PM*比PhosFEN*产生更高的性能，这表明预测模块有效地有助于磷变体预测的性能。例如，在试验组2中，S/T和Y位点的PM*的AUC值分别为0.930和0.917，比磷草芬*分别提高了1.5%和1.9%。更重要的是，还可以清楚地观察到，PhosVarDeep在所有测试集上都取得了比PM*更好的性能。例如，在试验组3中，由PhosVarDeep在S/T和Y位点获得的AUC值分别达到0.906和0.874，比PM*的相应AUC值高5.8%和6.2%。这些结果表明，CNN模块可以有效地学习变体感知磷酸化序列特征，这对于预测磷酸化变体是有用的。同时，通过集成CNN模块和预测模块，PhosVarDeep始终优于PhosFEN*，AUC值显著提高。例如，在试验组1中，S/T位点的AUC值从0.845 (PhosFEN*)增加到0.946 (PhosVarDeep)，类似地，Y位点的AUC值从0.827增加到0.919。

5.3 Comparison with existing methods

如表6所示，与其他方法相比，Phosvardeep获得了AUC值的最佳性能。以SET2为例，与MIMP和Phosphopick-SNP相比，S/T位点上的AUC值分别提高了12.6％和10.6％。同样，在Y站点上，Phosvardeep实现的AUC值为0.922，比下一最佳方法提高了9.5％。此外，我们为S/T位点上测试集上的所有方法计算SN，ACC，PRE，MCC和F1的值，结果如图3所示。可以观察到Phosvardeep在Phosvardeep上始终如一地表现更好。所有指标都比MIMP和Phosphopick-SNP。例如，在高严格水平的测试SET3上，Phosvardeep获得了0.627，ACC为0.790，MCC为0.612，PRE为0.927，而F1在S/T位点上为0.748，而下一最佳方法的相应值为0.310 ，分别为0.633、0.341、0.863和0.456。除了对三个磷酸变化的测试集进行比较外，我们还采用了Patrick等人编制的实验确认的磷酸化体变量列表。（2017年），在删除培训集中的重叠数据后，有20个示例。表7中显示了Phosvardeep和MIMP预测的分数。预测评分越接近1.0，更改磷酸化状态的可能性就越大。从表7中，我们可以看到，Phosvardeep明显胜过MIMP，可以预测实验确认的磷酸体变化的阳性例子。总而言之，这些结果表明，Phosvardeep是基于序列信息预测磷酸变化的高度竞争和有效方法。

6.DISCUSSION

在这项研究中，我们提出了PhosVarDeep，一个基于序列信息的统一深度学习框架，用于精确的磷变体预测。实验结果表明，通过三个测试集评估，PhosVarDeep获得了比现有的磷变体预测方法更好的性能。除了性能度量之外，我们还通过t-SNE生成了可视化结果，该结果表明PhosVarDeep可以将蛋白质序列转换为具有强判别能力的有意义的表示，用于磷变体预测。我们工作的主要贡献总结如下:(1)我们开发了具有两个相同子网和用于磷酸化变体预测的预测模块的连体状深度神经网络体系结构，这允许我们联合学习每个磷酸化变体的一对参考和变体蛋白质序列的深度特征，(2)我们在每个子网中使用深度神经特征编码网络PhosFEN来通过转移学习捕获与磷酸化相关的序列特征， (3)我们设计了具有两个并行多层CNN的CNN模块，以学习对磷变体预测有用的变体软件磷酸化序列特征，(4)通过将上述架构的输出与预测模块有效地集成，我们的方法在综合实验上实现了对磷变体分类的显著性能。

尽管PhosVarDeep在预测磷酸变体方面表现出了良好的性能，但仍有相当大的进一步改进空间。首先，一些细胞背景信息(例如，蛋白质-蛋白质相互作用)对于预测磷酸变体也是有用的(Patrick等人，2017年)，这可以在我们未来的工作中进一步与序列信息整合。其次，由于深度学习方法仍然是一个缺乏可解释性的黑盒(Ma et al .，2018)，我们的方法在解释有意义的生物过程方面面临着巨大的挑战。在未来的工作中，我们将通过结合一些其他模块，如注意机制，修改框架，使我们的模型更具可解释性和可实现性(Mnih et al .，2014)。第三，识别潜在磷酸变体的无监督方法是解决缺乏适当大的阳性训练集问题的有前途的替代方法，这可以在我们未来的研究中进一步使用。最后，作为一种提取和组合参考和变异序列信息的有效计算方法，PhosVarDeep可以进一步发展和扩展到其他类型的变异预测任务。

7. CONCLUSIONS

在本文中，我们提出了一个名为Phosvardeep的新型统一深度学习框架，以实现准确的磷酸化变化预测。为了有效提取和结合参考和变体序列信息，Phosvardeep用两个相同的子网络来利用类似暹罗的深神经网络体系结构，用于特征提取和一个预测模块，以集成子网的输出。在每个子网中，phosfen均被传递学习来捕获一般的磷酸化序列特征，而CNN模块旨在学习变异感知的磷酸化序列特征，这有助于提高磷酸化变量预测的性能。对三个磷酸变化测试集的实验分析证实了我们提出的方法的有效性，这表明Phosvardeep是一种预测磷酸变化的竞争和有前途的方法，可以为进一步的生物学研究提供线索。