LSTM模型在问答系统中的应用
作者系京东算法工程师。
在问答系统的应用中,用户输入一个问题,系统需要根据问题去寻找最合适的答案。
1、采用句子相似度的方式。根据问题的字面相似度选择相似度最高的问题对应的答案,但是采用这种字面相似度的方式并不能有效的捕获用户意图的能力有限。
2、IBM早期应用在watson系统中的DeepQa(http://Building%20Watson:%20An%20Overview%20of%20the%20DeepQA%20Project)算法。该算法通过人工抽取一系列的特征,然后将这些特征输入一个回归模型。该算法普适性较强,并且能有效的解决实际中的问题,但是准确率和召回率一般。
3、深度学习算法。依然是IBM的watson研究人员在2015年发表了一篇用CNN算法解决问答系统中答案选择问题的paper。通过深度学习算法不仅能够避免了人工手动抽取大量的问题特征的麻烦,并且取得了比DeepQa更好的效果。详细的介绍可以点击这里(http://Applying%20Deep%20Learning%20To%20Answer%20Selection:%20A%20Study%20And%20An%20Open%20Task),我们组的同学去年也针对该paper做了详细的实验,具体的描述可以在这里(https://www.tuicool.com/articles/zyUreqM)找到。
大量的实验证明,在大数据量的情况下,深度学习算法和传统的自然语言算法相比可以获得更优的结果。并且深度学习算法无需手动抽取特征,因此实现相对简便。其中CNN算法被大量的研究和使用,CNN算法的优点在于实现简单(卷积)、并且能够捕获数据位置(单字成词情况下,一次窗口的卷积类似于一次切词的操作)的特征信息。但是对于时序的数据,LSTM算法比CNN算法更加适合。LSTM算法综合考虑的问题时序上的特征,通过3个门函数对数据的状态特征进行计算,这里将针对LSTM在问答系统中的应用进行展开说明。
2016年watson系统研究人员发表了“LSTM-BASED DEEP LEARNING MODELS FOR NON-FACTOID ANSWER SELECTION”,该论文详细的阐述了LSTM算法在问答系统的中的应用,这里将针对文中所描述的算法进行实验。
算法流程图
实验步骤
1、本次实验采用insuranceQA数据,你可以在这里获得。实验之前首先对问题和答案按字切词,然后采用word2vec对问题和答案进行预训练(这里采用按字切词的方式避免的切词的麻烦,并且同样能获得较高的准确率)。
2、由于本次实验采用固定长度的LSTM,因此需要对问题和答案进行截断(过长)或补充(过短)。
3、实验建模Input。本次实验采用问答对的形式进行建模(q,a+,a-),q代表问题,a+代表正向答案,a-代表负向答案。insuranceQA里的训练数据已经包含了问题和正向答案,因此需要对负向答案进行选择,实验时我们采用随机的方式对负向答案进行选择,组合成(q,a+,a-)的形式。
4、将问题和答案进行Embedding(batch_size, sequence_len, embedding_size)表示。
5、对问题和答案采用相同的LSTM模型计算特征(sequence_len, batch_size, rnn_size)。
6、对时序的LSTM特征进行选择,这里采用max-pooling。
7、采用问题和答案最终计算的特征,计算目标函数(cosine_similary)。
目标函数
参数设置
1、这里优化函数采用论文中使用的SGD(采用adam优化函数时效果不如SGD)。
2、学习速率为0.1。
3、训练150轮,大概需要1天的时间,从训练日志观察得到,100轮左右基本达到稳定。
4、margin这里采用0.1,其它参数也试过0.05、0.2效果一般。
5、这里训练没有采用dropout和l2约束,之前试过dropout和l2对实验效果没有提升,这里就没有采用了。
6、batch_size这里采用100。
7、rnn_size为300(继续调大没有明显的效果提升,而且导致训练速度减慢)
8、目标函数采用cosine_similary,实验时也试过欧几里德距离,但是效果不佳。
实验效果对比
QA_CNN(https://github.com/person-lee/qa_cnn):0.62左右
QA_LSTM(https://github.com/person-lee/lstm_qa):0.66左右
QA_BILSTM(https://github.com/person-lee/qa_lstm):0.68左右
注:这里分别实验了单向的LSTM和双向的LSTM算法。单向的LSTM算法只能捕获当前词之前词的特征,而双向的LSTM算法则能够同时捕获前后词的特征,实验证明双向的LSTM比单向的LSTM算法效果更佳。
原文链接:http://www.jianshu.com/p/ce0c53761299
BY简书
往期精彩回顾
深度学习视频(一) | 免费放送—深度学习的应用场景和数学基础
点击“阅读原文”直接打开【北京站 | GPU CUDA 进阶课程】报名链接
LSTM模型在问答系统中的应用相关推荐
- LSTM模型在问答系统中的应用 2017-06-27 21:03 在问答系统的应用中,用户输入一个问题,系统需要根据问题去寻找最合适的答案。 1:采用句子相似度的方式。根据问题的字面相似度选择相似度最
LSTM模型在问答系统中的应用 2017-06-27 21:03 在问答系统的应用中,用户输入一个问题,系统需要根据问题去寻找最合适的答案. 1:采用句子相似度的方式.根据问题的字面相似度选择相似度最 ...
- 使用深度双向LSTM模型构造社区问答系统
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 关于社区问答系统的问题背景,我们在之前的"利用卷积神经网络构造社区问答系统"一文里 ...
- 如何判断LSTM模型中的过拟合和欠拟合 By 机器之心2017年10月02日 11:09 判断长短期记忆模型在序列预测问题上是否表现良好可能是一件困难的事。也许你会得到一个不错的模型技术得分,但了解
判断长短期记忆模型在序列预测问题上是否表现良好可能是一件困难的事.也许你会得到一个不错的模型技术得分,但了解模型是较好的拟合,还是欠拟合/过拟合,以及模型在不同的配置条件下能否实现更好的性能是非常重要 ...
- Python中利用LSTM模型进行时间序列预测分析
时间序列模型 时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征.这是一类相对比较复杂的预测建模问题,和回归分析模型的预测不同,时间序列模型是依赖于事件发生的先后顺 ...
- 解决学习tensorflow的LSTM模型中遇到一个版本不兼容问题
tensorflow版本降级1.1.0到1.0.0 降级原因: 在学习LSTM模型预测相关的知识的时候,分别学习了来自github预测余弦函数和黄文坚 唐源写的Tensorflow实战一书第7 ...
- 【直播】陈安东,但扬:CNN模型搭建、训练以及LSTM模型思路详解
CNN模型搭建.训练以及LSTM模型思路详解 目前 Datawhale第24期组队学习 正在如火如荼的进行中.为了大家更好的学习"零基础入门语音识别(食物声音识别)"的课程设计者 ...
- Tree-Structured LSTM模型
Tree-Structured LSTM模型 论文概要 由于能够保持按照时序的序列信息,LSTM(Long Short-Term Memory)网络在序列模型任务上能够有非常好的表现.但是该模型只能输 ...
- LSTM模型与前向反向传播算法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 前 言 在循环神经网络(RNN)模型与前向反向传播算法中,我们总 ...
- 漂亮,LSTM模型结构的可视化
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 最近在学习LSTM应用在时间序列的预测上,但是遇到一个很大的问题就 ...
最新文章
- Udacity机器人软件工程师课程笔记(十五)-运动学-正向运动学和反向运动学(其二)-DH参数等
- f12控制台如何查看consul_如何打印consul的错误信息
- java 多目录 编译jar_javac编译多个包下的、依赖其他jar包的java文件
- 原型——设计思维之建立模型
- 符号扩展和无符号扩展
- 游标中的static参数
- linux++php无法解析,怎么解决linux php无法解析的问题
- Javascript之旅——第九站:吐槽function
- 卷积神经网络 第三周作业 Keras+-+Tutorial+-+Happy+House+v1
- Linux与Windows编译器的区别
- 塑料制品生产的工艺流程
- 青年惨遭毒手变身侏儒_侏儒:禁用/删除密钥环
- JAVA练习题:求水仙花数
- 软件设计师必考精华 - 多媒体、信息安全、法律
- Unity:DOTween来回运行或者缩放等LoopType.Yoyo
- ResNet :( residual 、residual bottleneck)
- 去年年会小品——山寨实话实说
- 《七哥说道》第一章:风雨知秋之进城三人
- php 直播流,ngnix开发(五)将rtmp直播流转换成hls直播流
- Piwik——最好用的开源网站统计系统
热门文章
- mysql5.7bka_mysql5.7的sql优化
- python装饰器哪个好用变女生_Python女神分享教程之Python 装饰器
- 组织JSON数据、JSON转换
- MySQL第41题怎么评分_mysql练习题1-41
- Java自动生成增量补丁自动部署_java-Hibernate正在为表生成自动增量交替ID
- YIi2 對接 支付寶Alipay支付接口
- SSL 1108——【USACO 2.1】海明码(DFS)
- Core Graphics 定制UIVIew 处理图片
- Promise 让异步更优
- Oracle 11g Release 1 (11.1) Oracle 本文索引的四种类型