使用深度双向LSTM模型构造社区问答系统

author: 张俊林

关于社区问答系统的问题背景，我们在之前的“利用卷积神经网络构造社区问答系统”一文里已经说明得很清楚，本文就不再赘述，不清楚背景的读者可自行参照上文，我们这些相关的研发工作主要是为了开发畅捷通“会计家园”交流社区的相关功能。为了保持行文完整，简明叙述形式化描述的问题如下：

假设我们已知问答库如下：

其中，Qi是问答社区中的历史问题，Ai是Qi问题的精华答案；

现有社区用户提出的新问题：Qnew

我们需要学习映射函数：

意即对于新问题Qnew，我们希望通过学习系统找到社区中已经出现过的语义相同问题Qi，然后将对应的答案Ai推荐给用户。这样就达到了社区信息复用的目的。这个问题其实对于问答社区比如百度知道、知乎等都是存在的，解决问题的思路也完全可以复用到此类问答社区中。

除了上篇文章讲述的利用CNN来构造ML系统外，我们还尝试了使用RNN及其改进模型LSTM，本文主体内容即为使用深度双向LSTM构造社区问答系统的思路及效果。

|深度双向LSTM模型

图1 深度双向LSTM

深度双向LSTM模型的结构如图1所示。首先强调一下，这个结构也是一个解决对比两个句子相似性的通用RNN解决方案，不仅仅能够使用在问答社区，凡是涉及到对比两个句子或者实体关系的场合完全可以套用这个模型来解决，这点希望读者注意。

首先，因为我们面临的问题是对比两个问题Qi和Qj是否语义相同，那么对于RNN来说存在一个神经网络的输入层如何构造的难题。CNN解决这类问题就比较直观，一般一个输入套上一个CNN来抽取出句子特征，然后再套上MLP神经网络来表达两者之间的关系即可。RNN表达单个输入句子是非常直观的，但是直接表达两个句子之间的关系相对而言就没那么直观。一般可以如图1这么做，就是把两个问题Qi和Qj拼接起来，中间用一个特殊分隔符EOS分割，这里EOS不代表一个句子的结束，而是代表两个句子的分隔符号，这个也请读者注意。如此就构造出了RNN的输入层。

有了输入层，上面就好处理了。首先我们在输入层之上，套上一层双向LSTM层，LSTM是RNN的改进模型，相比RNN，能够更有效地处理句子中单词间的长距离影响；而双向LSTM就是在隐层同时有一个正向LSTM和反向LSTM，正向LSTM捕获了上文的特征信息，而反向LSTM捕获了下文的特征信息，这样相对单向LSTM来说能够捕获更多的特征信息，所以通常情况下双向LSTM表现比单向LSTM或者单向RNN要好。图1中输入层之上的那个BLSTM层就是这个第一层双向LSTM层神经网络。

我们可以把神经网络的深度不断拓展，就是在第一层BLSTM基础上，再叠加一层BLSTM，叠加方法就是把每个输入对应的BLSTM层的输出作为下一层BLSTM神经网络层相应节点的输入，因为两者完全是一一对应的，所以很好叠加这两层神经网络。如果你觉得有必要，完全可以如此不断叠加更深一层的BLSTM来构造多层深度的BLSTM神经网络。

在最后一层BLSTM神经网络之上，可以使用Mean Pooling机制来融合BLSTM各个节点的结果信息。所谓Mean Pooling，具体做法就是把BLSTM各个节点的输出结果求等权平均，首先把BLSTM各个输出内容叠加，这是pooling的含义，然后除以输入节点个数，这是mean的含义，Mean Pooling就是这个意思。

如何从物理意义上来理解Mean Pooling呢？这其实可以理解为在这一层，两个句子中每个单词都对最终分类结果进行投票，因为每个BLSTM的输出可以理解为这个输入单词看到了所有上文和所有下文（包含两个句子）后作出的两者是否语义相同的判断，而通过Mean Pooling层投出自己宝贵的一票。所以RNN场景下的Mean Pooling可以看作一种深度学习里的“民主党”投票机制。

在Mean Pooling之上，我们还可以套上一层SoftMax层，这样就可以实现最终的分类目的。

通过以上方式，我们就通过输入层、多层BLSTM层、Mean Pooling层和输出层构造出一个通用的判断两个句子语义是否相同的深度学习系统。其实这个结构是非常通用的，除了判断两个句子关系，对于单句子分类明显也是可以套用这个结构的。

模型结构已经讲完，后面我们将进入实验部分，因为希望和CNN结果进行效果对比，我们先简单说明下两个同样可以用来解决社区问答问题的CNN结构，这两个结构在之前的“利用卷积神经网络构造社区问答系统”文中都有详细描述，这里不展开讲，只是列出结构图，以方便理解和对比模型。

|两个CNN模型结构

两个CNN模型结构参考图2和图3，图2这种结构是利用CNN判断多个输入句子关系的简单直接的结构，含义是先各自抽取每个句子的特征然后比较两者的关系。而图3这种结构的含义是先把两个句子之间的关系明确表达出来作为输入，然后再套上一个CNN模型来进行分类预测。

图2 CNN模型1

图3 CNN模型2

|实验结果及与两个CNN模型对比

在之前的文章“利用卷积神经网络构造社区问答系统”中我们使用自己构造的实验数据验证了CNN模型2的效果。之后，我们增加了训练数据的数量，以及加大了负例的难度，其实在这个社区问答问题中，负例的难度对于实验效果指标影响是比较大的。所谓难度，是指负例中两个句子间语义相关程度到底有多强，如果负例中两个句子语义相关程度越强，则分类难度越高。

至于模型，我们补充了CNN模型1，在新数据集合下测试了CNN模型2的效果，对于BLSTM来说，则做了双层BLSTM和单层BLSTM的实验，所以可以认为有四个模型参与效果对比。

经过参数调优，这四个模型在这个新的训练集和测试集下，具体实验结果如下：

CNN模型1 分类精度：89.47%

CNN模型2 分类精度：80.08%

双层BLSTM模型分类精度：84.96%

单层BLSTM模型分类精度：89.10%

可以看出，在这个问答社区问题里，CNN模型1和单层BLSTM效果接近，而双层BLSTM模型效果有下降，这也许跟实验数据规模不够大有一定关系，所以复杂模型的优势发挥不出来，而CNN模型2则效果相对差些，这也许说明了CNN模型2没有将两个句子的原始信息输入到模型里，而是直接将其关系作为输入，这种情况下存在信息损失的可能。

致谢：感谢畅捷通智能平台的沈磊、薛会萍、黄通文、桑海岩等同事在模型训练及训练数据的收集整理方面的工作。

扫一扫关注微信号：“布洛卡区” ，深度学习在自然语言处理等智能应用的技术研讨与科普公众号。

使用深度双向LSTM模型构造社区问答系统相关推荐

猿创征文丨深度学习基于双向LSTM模型完成文本分类任务
大家好,我是猿童学,本期猿创征文的第三期,也是最后一期,给大家带来神经网络中的循环神经网络案例,基于双向LSTM模型完成文本分类任务,数据集来自kaggle,对电影评论进行文本分类. 电影评论可以蕴含 ...
深度学习基于双向 LSTM 模型完成文本分类任务
大家好,本期给大家带来神经网络中的循环神经网络案例,基于双向LSTM模型完成文本分类任务,数据集来自kaggle,对电影评论进行文本分类. 电影评论可以蕴含丰富的情感:比如喜欢.讨厌.等等．情感分析( ...
【ML】基于机器学习的房价预测研究（系列7：双向LSTM模型）
写在前面: 首先感谢兄弟们的订阅,让我有创作的动力,在创作过程我会尽最大能力,保证作品的质量,如果有问题,可以私信我,让我们携手共进,共创辉煌. 本次实战的项目是:基于机器学习的房价预测研究(附完整代 ...
Tensorflow 使用Bidirectional()包装器构建双向LSTM模型，预测DNA序列功能
循环神经网络(RNN) 循环神经网络RNN能处理时间序列,过去几年中,应用 RNN 在语音识别,语言建模,翻译,图片描述等问题上已经取得一定成功,并且这个列表还在增长.RNN模型的一个代表是LSTM ...
深度学习LSTM模型对股票分析预测
项目描述: 本程序使用了循环神经网络中的长期短期记忆模型(LSTM)以Apple公司过去60天的股价来预测收盘价 LSTM模型相当于对RNN模型的改良版本 RNN:想把所有的信息都记住,不管是有用的信 ...
LSTM模型、双向LSTM模型以及模型输入输出的理解
循环神经网路(RNN)在工作时一个重要的优点在于,其能够在输入和输出序列之间的映射过程中利用上下文相关信息.然而不幸的是,标准的循环神经网络(RNN)能够存取的上下文信息范围很有限.这个问题就使得隐含 ...
利用卷积神经网络（CNN）构造社区问答系统
/*版权声明:可以任意转载,转载时请标明文章原始出处和作者信息.*/ author: 张俊林问 ...
简单双向LSTM模型实战项目
前言数据来自于kaggle比赛Ventilator Pressure Prediction,数据背景介绍请看官方说明代码来自于当前排名第一的团队Shujun, Kha, Zidmie, Gille ...
基于双向LSTM模型进行电力需求预测（Matlab代码实现）

使用深度双向LSTM模型构造社区问答系统

使用深度双向LSTM模型构造社区问答系统相关推荐

最新文章

热门文章