LSTM模型在问答系统中的应用

2017-06-27 21:03

在问答系统的应用中，用户输入一个问题，系统需要根据问题去寻找最合适的答案。

1：采用句子相似度的方式。根据问题的字面相似度选择相似度最高的问题对应的答案，但是采用这种字面相似度的方式并不能有效的捕获用户意图的能力有限。

2：IBM早期应用在watson系统中的DeepQa算法。该算法通过人工抽取一系列的特征，然后将这些特征输入一个回归模型。该算法普适性较强，并且能有效的解决实际中的问题，但是准确率和召回率一般。

3：深度学习算法。依然是IBM的watson研究人员在2015年发表了一篇用CNN算法解决问答系统中答案选择问题的paper。通过深度学习算法不仅能够避免了人工手动抽取大量的问题特征的麻烦，并且取得了比DeepQa更好的效果。

大量的实验证明，在大数据量的情况下，深度学习算法和传统的自然语言算法相比可以获得更优的结果。并且深度学习算法无需手动抽取特征，因此实现相对简便。

其中CNN算法被大量的研究和使用，CNN算法的优点在于实现简单（卷积）、并且能够捕获数据位置（单字成词情况下，一次窗口的卷积类似于一次切词的操作）的特征信息。

但是对于时序的数据，LSTM算法比CNN算法更加适合。LSTM算法综合考虑的问题时序上的特征，通过3个门函数对数据的状态特征进行计算，这里将针对LSTM在问答系统中的应用进行展开说明。

2016年watson系统研究人员发表了“LSTM-BASED DEEP LEARNING MODELS FOR NON-FACTOID ANSWER SELECTION”，该论文详细的阐述了LSTM算法在问答系统的中的应用，这里将针对文中所描述的算法进行实验。

算法流程图

实验步骤

1：本次实验采用insuranceQA数据，实验之前首先对问题和答案按字切词，然后采用word2vec对问题和答案进行预训练（这里采用按字切词的方式避免的切词的麻烦，并且同样能获得较高的准确率）。

2：由于本次实验采用固定长度的LSTM，因此需要对问题和答案进行截断（过长）或补充（过短）。

3：实验建模Input。本次实验采用问答对的形式进行建模（q，a+，a-），q代表问题，a+代表正向答案，a-代表负向答案。insuranceQA里的训练数据已经包含了问题和正向答案，因此需要对负向答案进行选择，实验时我们采用随机的方式对负向答案进行选择，组合成（q，a+，a-）的形式。

4：将问题和答案进行Embedding（batch_size, sequence_len, embedding_size）表示。

5：对问题和答案采用相同的LSTM模型计算特征（sequence_len, batch_size, rnn_size）。

6：对时序的LSTM特征进行选择，这里采用max-pooling。

7：采用问题和答案最终计算的特征，计算目标函数（cosine_similary）。

目标函数

参数设置

1:、这里优化函数采用论文中使用的SGD（采用adam优化函数时效果不如SGD）。

2、学习速率为0.1。

3:、训练150轮，大概需要1天的时间，从训练日志观察得到，100轮左右基本达到稳定。

4、margin这里采用0.1，其它参数也试过0.05、0.2效果一般。

5、这里训练没有采用dropout和l2约束，之前试过dropout和l2对实验效果没有提升，这里就没有采用了。

6、batch_size这里采用100。

7、rnn_size为300（继续调大没有明显的效果提升，而且导致训练速度减慢）

8、目标函数采用cosine_similary，实验时也试过欧几里德距离，但是效果不佳。

实验效果对比

QA_CNN：0.62左右

QA_LSTM：0.66左右

QA_BILSTM：0.68左右

注：这里分别实验了单向的LSTM和双向的LSTM算法。单向的LSTM算法只能捕获当前词之前词的特征，而双向的LSTM算法则能够同时捕获前后词的特征，实验证明双向的LSTM比单向的LSTM算法效果更佳。

LSTM模型在问答系统中的应用 2017-06-27 21:03 在问答系统的应用中，用户输入一个问题，系统需要根据问题去寻找最合适的答案。 1：采用句子相似度的方式。根据问题的字面相似度选择相似度最相关推荐

2017年第21届中国（郑州）中博建博会会刊（参展商名录）
2017年第21届中国(郑州)中博建博会会刊(参展商名录) 展会名称: 2017第21届中国(郑州)中博建博会所属展馆: 中原国际博览中心开展时间: 2017-03-18 至 03-26 参展商 ...
要求用户输入一个电子邮件。验证电子邮件格式是否正确。电子邮件格式：XX@XX.com 实现方式：该字符串中必须包含@字符串和.字符串。 @不能出现在第一个位置，并且@位置大于.；
要求用户输入一个电子邮件.验证电子邮件格式是否正确. 电子邮件格式:XX@XX.com 实现方式:该字符串中必须包含"@"字符串和"."字符串. "@ ...
Java黑皮书课后题第8章：**8.37（猜测首府）编写一个程序，重复提示用户输入一个州的首府。当接收到用户输入后，程序报告答案是否正确。假设50个州以及它们的首府保存在一个二维数组中，提示用户回答所
**8.37(猜测首府)编写一个程序,重复提示用户输入一个州的首府题目题目描述与运行示例破题代码题目题目描述与运行示例 **8.37(猜测首府)编写一个程序,重复提示用户输入一个州的首府. ...
Java黑皮书课后题第8章：*8.27（列排序）用下面的方法实现一个二维数组中的列排序。返回新数组，且原数组保持不变。编写一个测试程序，提示用户输入一个3*3的double型矩阵，显示一个排好的矩阵
*8.27(列排序)用下面的方法实现一个二维数组中的列排序.返回新数组,且原数组保持不变.编写一个测试程序,提示用户输入一个3*3的double型矩阵,显示一个排好的矩阵题目题目描述与运行示例破 ...
Java黑皮书课后题第8章：*8.26（行排序）用下面的方法实现一个二维数组中的行排序。返回新数组，且原数组保持不变。编写一个测试程序，提示用户输入一个3*3的double型矩阵，显示一个排好的矩阵
*8.26(行排序)用下面的方法实现一个二维数组中的行排序.返回新数组,且原数组保持不变.编写一个测试程序,提示用户输入一个3*3的double型矩阵,显示一个排好的矩阵题目题目描述与运行示例破 ...
Java黑皮书课后题第8章：**8.14（探讨矩阵）编写程序，提示用户输入一个方阵的长度，随机地在矩阵中填入0和1，打印这个矩阵，然后找出整行、整列或者对角线都是1或0的行、列和对角线
**8.14(探讨矩阵)编写程序,提示用户输入一个方阵的长度,随机地在矩阵中填入0和1,打印这个矩阵,然后找出整行.整列或者对角线都是1或0的行.列和对角线题目题目描述与运行示例破题代码题目 ...
Java黑皮书课后题第7章：**7.34（对字符串中的字符排序）使用以下方法头编写一个方法，返回一个排序好的字符串。编写一个测试程序，提示用户输入一个字符串，显示排序好的字符串
**7.34(对字符串中的字符排序)使用以下方法头编写一个方法,返回一个排序好的字符串.编写一个测试程序,提示用户输入一个字符串,显示排序好的字符串题目题目描述破题代码运行实例题目题目描 ...
Java黑皮书课后题第7章：**7.19（是否排好序了？）编写以下方法，如果参数中的list数组已经排好序了则返回true。编写一个测试程序，提示用户输入一个列表，显示该列表是否已经排好序
7.19(是否排好序了?)编写以下方法,如果参数中的list数组已经排好序了则返回true.编写一个测试程序,提示用户输入一个列表,显示该列表是否已经排好序题目题目描述破题代码题目题目描述 ...
Java黑皮书课后题第6章：*6.23（指定字符的出现次数）使用下面的方法头编写一个方法，找到一个字符串中指定字符的出现次数。编写一个测试程序，提示用户输入一个字符串以及一个字符，显示该字符出现次数
6.23(指定字符的出现次数)使用下面的方法头编写一个方法,找到一个字符串中指定字符的出现次数.编写一个测试程序,提示用户输入一个字符串以及一个字符,显示该字符出现次数题目题目描述破题代码运 ...

LSTM模型在问答系统中的应用 2017-06-27 21:03 在问答系统的应用中，用户输入一个问题，系统需要根据问题去寻找最合适的答案。 1：采用句子相似度的方式。根据问题的字面相似度选择相似度最

LSTM模型在问答系统中的应用

LSTM模型在问答系统中的应用 2017-06-27 21:03 在问答系统的应用中，用户输入一个问题，系统需要根据问题去寻找最合适的答案。 1：采用句子相似度的方式。根据问题的字面相似度选择相似度最相关推荐

最新文章

热门文章