nmt模型源文本词项序列_「自然语言处理(NLP)」阿里团队--文本匹配模型(含源码)...
来源:AINLPer微信公众号
编辑: ShuYini
校稿: ShuYini
时间: 2019-8-14
引言
两篇文章与大家分享,第一篇作者对通用文本匹配模型进行探索,研究了构建一个快速优良的文本匹配模型所需条件,在此条件下,其模型性能与最先进的模型相当,且参数少速度快(6倍);第二篇主要研究了集成语言输入特征对神经网络模型产生的影响,并且发现输入特性对性能的影响比我们研究的任何体系结构参数都要大。
First Blood
TILE: Simple and Effective Text Matching with Richer Alignment Features.
Contributor : 南京大学&&阿里AI团队
文章摘要
文中提出了一种快速、强悍神经网络方法来用于通用文本的匹配。我们研究了构建一个快速且性能良好的文本匹配模型的足够条件,并建议保持三个用于序列间对齐的关键特性:原始点对齐特性、先前对齐特性和上下文特性,同时简化所有剩余组件。我们在自然语言推理、意图识别和答案选择等任务中,对4个研究良好的基准数据集进行了实验。我们的模型性能与最先进的模型相当,并且使用的参数更少,除此之外,在推理速度方面与类似模型的相比,至少要快6倍。
本文模型算法RE2
下图给出了总体架构的说明,两个文本序列在预测层前对称处理,除预测层中参数外的所有参数在两个序列之间共享。
其中,对齐融合层的输入分为三个部分:原始点态特征(嵌入向量,用空白矩形表示)、先前对齐特征(剩余向量,用对角线矩形表示)和上下文特征(编码向量,用实矩形表示)。右边的架构与左边的架构相同,所以为了简洁起见省略了它。
Augmented Residual Connections(增强剩余链接)
为了给对齐过程提供更丰富的特性,RE2采用了增强版的剩余连接来连接连续块。在增强剩余连接的情况下,对齐和融合层的输入分为三个部分,即原始的点方向特征(嵌入向量)、先前对齐特征(残差向量)和后编码层上下文特征(编码向量)。这三个部分在文本匹配过程中都起到了互补的作用。
AlignmentLayer(对齐层)
对齐层(如上面架构图所示)将来自两个序列的特性作为输入,并计算对齐后的表示形式作为输出。
Fusion Layer(融合层)
融合层比较三个透视图中的局部表示和对齐表示,然后将它们融合在一起。
Prediction Layer(预测层)
预测层以池层中v1和v2两个序列的向量表示作为输入,预测最终目标。
实验结果
主要用到的测试集
SNLI是一个用于自然语言推理的基准数据集。
Scietail是一个由科学问答构成的分类数据集。
Quora Question Pairs2 是一个用于意图识别的数据集,有两个类指示一个问题是否是另一个问题的意图。
WikiQA是基于维基百科的基于检索的问答数据集。
自然语言推理上结果
意图识别结果
答案选择结果
Double Kill
TILE: Extending Neural Question Answering with Linguistic Input Features
Contributor : 比勒费尔德大学(德国)
Code: None
文章摘要
在一般领域数据集中,基于神经网络的问答已经取得了相当大的进展。为了探索有助于问答模型推广潜力的方法,我们重新实现了最先进的体系结构,在开放域数据集上执行参数搜索,并评估了集成语言输入特征(如部分语音标记、句法依赖关系和语义角色)的第一种方法。 实验结果表明,添加这些输入特性对性能的影响比我们研究的任何体系结构参数都要大。这些语言知识层有可能显著提高神经网络QA模型的泛化能力,从而促进跨域模型转移和领域无关的QA模型的开发。
利用语言输入特性扩展QANet
为了评估神经网络QA模型中语言输入特性对齐产生的影响,我们利用QANet(作者重新实现)作为测试平台。当尝试将模型调整到其他领域时,这可能会发生意想不到的结果:虽然获取额外的训练数据代价比较大,但是这些语言输入特性可以通过提供尺度变换、领域无关的信息源来提高性能。我们使用三种不同的语言特性来扩展每个单词的输入:词性标注、依赖关系标记和语义角色。
PoSTags(词性标注),我们假设输入标记的语音部分信息将有助于神经网络通过减少特定问题的答案候选数量,为了提取所有上下文与问题的PoStag,我们使用spaCy library数据集中的粗略PoStag。
Dependency Relation Labels(依赖关系),我们使用spaCy提取问题和上下文的依赖信息。
Semantic Roles(语义角色),语义角色标记(SRL)通过识别事件(谓词)及其参与者(语义角色)来发现句子中浅层的语义结构。 我们对Bert模型做了进一步的修改,其中主要修改的如下:
QANet语言特征的整合,在标准的QANet体系结构中,单词和对应的字符被单独嵌入,然后连接起来,以获得每个输入单词的一个表示向量。在Sennrich和Haddow(2016)之后,我们通过将上面描述的每个语言输入特征映射到它自己的嵌入空间,然后将它们包含到连接中,从而丰富了这个过程。下图显示了QANet的输入嵌入层的更新版本,其中包括语言输入特性。
实验结果
训练参数对实验结果的影响
改变每种类型的输入特征及其组合的嵌入维数的结果
三种语言输入特征相结合的结果
ACED
Attention
更多自然语言处理相关知识,还请关注
nmt模型源文本词项序列_「自然语言处理(NLP)」阿里团队--文本匹配模型(含源码)...相关推荐
- antd 文本域超长问题_「自然语言处理(NLP)」阿里团队--文本匹配模型(含源码)...
来源:AINLPer微信公众号 编辑: ShuYini 校稿: ShuYini 时间: 2019-8-14 引言 两篇文章与大家分享,第一篇作者对通用文本匹配模型进行探索,研究了构建一个快速优 ...
- (含源码)「自然语言处理(NLP)」社区问答评估Bert模型优化
来源: AINLPer 微信公众号(每日更新-) 编辑: ShuYini 校稿: ShuYini 时间: 2020-03-21 引言: 本文分享的内容主要包括社区问答质量评估(基于Bert模型微调). ...
- nmt模型源文本词项序列_TensorFlow NMT的数据处理过程
在tensorflow/nmt项目中,训练数据和推断数据的输入使用了新的Dataset API,应该是tensorflow 1.2之后引入的API,方便数据的操作.如果你还在使用老的Queue和Coo ...
- 图片管理系统源码_「程序员分享」基于SpringBoot开发的天猫商城源码
前言 大家好,我是程序员it分享师,应粉丝的要求,今天给大家带来一个基于Springboot开发的天猫商城的源码! 使用技术 天猫商城系统使用的是Spring,SpringMvc,SpringBoot ...
- 「自然语言处理(NLP)」神经机器翻译(NMT)论文整理(一)
来源: AINLPer 微信公众号(每日更新-) 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-27 引言: 下面是作者整理的关于神经机器翻译(NMT)相关的论文文章,下面这 ...
- WWW 2020 | 信息检索中基于上下文的文本词项权重生成
©PaperWeekly 原创 · 作者|金金 单位|阿里巴巴研究实习生 研究方向|推荐系统 本文由卡耐基梅隆大学发表于 WWW 2020,介绍了基于上下文的文本词项权重生成方法 HDCT.原有的搜索 ...
- 京东的商品搜索功能是如何实现的_「商品架构day8」京东几百亿的商品怎么搜索...
本文来自京东王春明老师的分享,主要介绍京东商品搜索的整体架构. 京东商品搜索简介 京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎,主要功能是为海量京东用户提供精准.快速的购物体验.目前入口主要有P ...
- 背景宽高随文本变化_「只要功夫深 不用关键帧」之文本图层小技巧
「只要功夫深 不用关键帧」将不定期更新一些AE表达式和脚本的奇技淫巧,希望能给大家带来一些启发. 上周有朋友遇到这么个问题: 对一段文字,不管文字长度如何变化,想让背景到文字的边距始终保持不变,在 A ...
- 词向量与词向量拼接_「NLP-词向量」一文详述词向量的由来及本质
词嵌入是所有自然语言处理任务所必须要经历的步骤,非常的重要.词向量在网络上已经有了大量的文章,但是,出于我们专栏的完整性系统性的考虑,笔者还是决定加上这样一个专题. 计划用3-4次,彻底说清楚在自然语 ...
最新文章
- jquery-12 折叠面板如何实现(两种方法)
- Listview获取选中行的值
- Linux KVM与Xen的性能比较
- 关于matlab中的梯度使用
- linux系统学习之vi编辑
- Neo4j实战 (数据库技术丛书)pdf
- ABPZero系列教程之拼多多卖家工具
- 撩妹学会这一招,就没有人能拒绝你!
- 【转】SharePoint 2013 开发——开发并部署webpart
- 提高CIFAR-10分类准确度的方法
- 阿拉伯数字转换成中文大写
- php 模拟表单提交-get-post
- SpringBoot连接Redis服务出现Command timed out
- 家里的所有网线都集中到了弱电箱怎么组网?
- Ubuntu18.04 上 phpvirtualbox 折腾记
- cacti的安装与配置(一)安装
- JavaWeb篇-谷歌验证码的使用
- 她每天吃一个煮熟的苹果,从此打开了通往新世界的大门~
- 一直以来伴随我的一些学习习惯(part1)
- mac 制作ubuntu 启动u盘