利用卷积进行序列到序列学习

论文：https://arxiv.org/pdf/1705.03122.pdf

译文：利用卷积进行序列到序列学习

摘要

序列到序列学习的流行方法是，利用循环神经网络把一个输入序列映射到一个可变长度的输出序列。我们提出一种完全基于卷积神经网络的架构。相比RNN，训练可以完全并行，因此可以更好地利用GPU的算力，另外，优化也更容易，因为输入长度的非线性个数是固定而且独立的（注：这是什么意思？）。我们使用门线性单元来简化梯度传播，而且为每个解码器层各自添加一个注意力模块（注：这要好好理解）。我们的模型，在WMT’14 English-German和WMT’14 English-French翻译任务上，比deep LSTM的准确率高，而且速度也快一个数量级，无论是GPU还是CPU。

介绍

序列到序列学习在很多任务上都取得了成功，例如机器翻译、语音识别和文本总结等等。目前的方法是，利用一系列双向RNN来编码输入序列，然后利用另外一组解码器RNN来生成一个可变长的输出。

结论

转载于:https://www.cnblogs.com/yangwenhuan/p/11426263.html

利用卷积进行序列到序列学习相关推荐

GNN-图卷积模型-2016：PATCHY-SAN【图结构序列化：将图结构转换成了序列结构，然后直接利用卷积神经网络在转化成的序列结构上做卷积】
我们之前曾提到卷积神经网络不能应用在图结构上是因为图是非欧式空间,所以大部分算法都沿着找到适用于图的卷积核这个思路来走. 而 PATCHY-SAN 算法 <Learning Convolutio ...
深度学习实战——利用卷积神经网络对手写数字二值图像分类（附代码）
系列文章目录深度学习实战--利用卷积神经网络对手写数字二值图像分类(附代码) 目录系列文章目录前言一.案例需求二.MATLAB算法实现三.MATLAB源代码参考文献前言本案例利用MA ...
【歌曲识别】CQTNet：利用卷积神经网络学习翻唱歌曲识别的表示方法
翻唱歌曲识别在音乐信息检索(MIR)领域是一项具有挑战性的任务,因为查询曲目和翻唱版本之间存在复杂的音乐差异.以前的工作通常使用手工特征和对齐算法,最近利用神经网络方法取得了进一步的突破. 本文基于翻 ...
机器学习原来这么有趣！第五章：Google 翻译背后的黑科技：神经网络和序列到序列学习
第一章:全世界最简单的机器学习入门指南 https://blog.csdn.net/wskzgz/article/details/89917343 第二章:用机器学习制作超级马里奥的关卡 https: ...
卷积神经网络精确率不增反降_姿态跟踪论文研读--(1)利用卷积神经网络学习人体姿态估计特征...
摘要本文介绍了一种新的结构,就是利用多层卷积神经网络结构和模块化学习技术来习得低维特征和高维弱空间模型,以此来进行人体姿态估计.无约束的人体姿态估计是计算机视觉领域中最困难,最棘手的问题之一,而我们 ...
吴恩达深度学习之五《序列模型》学习笔记
一.循环序列模型 1.1 为什么选择序列模型如图所示是一些序列数据的例子 1.2 数学符号如图所示,我们用表示一个序列的第 t 个元素,t 从 1 开始 NLP中一个单词就是一个元素(又称时间 ...
现代循环神经网络 - 序列到序列学习
文章目录序列到序列学习(seq2seq) 1 - 编码器 2 - 解码器 3 - 损失函数 4 - 训练 5 - 预测 6 - 预测序列的评估 7 - 小结序列到序列学习(seq2seq) 在本节 ...
09.7. 序列到序列学习（seq2seq）
文章目录 9.7. 序列到序列学习(seq2seq) 9.7.1. 编码器 9.7.2. 解码器 9.7.3. 损失函数 9.7.4. 训练 9.7.5. 预测 9.7.6. 预测序列的评估 9.7. ...
序列线性卷积matlab,有限长序列的线性卷积和圆周卷积
原标题:有限长序列的线性卷积和圆周卷积线性卷积卷积是两个时间序列之间一种激励和响应得出结果的关系,是可交换.可结合和可分配的.假定一个线性时不变系统的冲激响应为,输入信号通过该系统的输出信号为对 ...
序列到序列学习（seq2seq，BLEU）
根据"编码器-解码器"架构的设计, 我们可以使用两个循环神经网络来设计一个序列到序列学习的模型. 在实现编码器和解码器时,我们可以使用多层循环神经网络. 我们可以使用遮蔽来过滤不相 ...

利用卷积进行序列到序列学习

利用卷积进行序列到序列学习相关推荐

最新文章

热门文章