10-编码器-解码器架构

2024-05-10 13:48:45

编码器-解码器

机器翻译中，输入和输出的序列都是可变的。处理这种类型的输入输出，采取编码器-解码器的架构。编码器将输入的可变序列转化为定长的序列，再有解码器转变为可变的序列。该架构如下图所示：

seq2seq

使用两个循环神经网络来作为编码器和解码器，应用于seq2seq模型。为了连续生成输出序列的词元，独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。具体结果如下图所示：

其中特定的“<eos>”表示序列结束词元，一旦输出序列生成此词元，模型就会停止预测。特定的“<bos>”表示序列开始词元，它是解码器的输入序列的第一个词元。解码器的初始隐状态是编码器的最终的隐状态，并且编码器最终的隐状态在每一个时间步都作为解码器的输入序列的一部分。

束搜索

束搜索是介于贪心搜索和穷举法之间的方法，贪心搜索是在每时刻都选择当前概率最大的预测值，穷举是将所有可能的序列都进行查看，最后选择一个概率最大的预测值。束搜索只在第一个时间步，选择K个最大的预测值，之后的时间步里同贪心搜索一样选择概率最大的预测序列，最后将得到的预测序列进行比较，选择其中概率最大的。如下图所示：

设束宽位2，输出长度为2，候选输出序列有A、C、AB、CE、ABD、CED。最后，基于这六个序列（例如，丢弃包括“<eos>”和之后的部分），获得最终候选输出序列集合。然后选择其中条件概率乘积最高的序列作为输出序列：

$\frac{1}{L^\alpha} \log P(y_1, \ldots, y_{L}\mid \mathbf{c}) = \frac{1}{L^\alpha} \sum_{t'=1}^L \log P(y_{t'} \mid y_1, \ldots, y_{t'-1}, \mathbf{c}),$

其中L是最终候选序列的长度， α通常设置为0.75。因为一个较长的序列在上式的求和中会有更多的对数项，因此分母中的 $L^\alpha$ 用于惩罚长序列。贪心搜索可以看作是一种束宽为1的特殊类型的束搜索。通过灵活地选择束宽，束搜索可以在正确率和计算代价之间进行权衡。

10-编码器-解码器架构相关推荐

深度学习入门（六十四）循环神经网络——编码器-解码器架构
深度学习入门(六十四)循环神经网络--编码器-解码器架构前言循环神经网络--编码器-解码器架构课件重新考察CNN 重新考察RNN 编码器-解码器架构总结教材 1 编码器 2 解码器 3 合 ...
编码器-解码器架构-读书笔记
文章目录 1. Encoder-Decoder 架构图 2. Encoder_Decoder 代码 3. 小结 1. Encoder-Decoder 架构图目标:通过编码器与解码器架构,我们可以将不 ...
Encoder-Decoder -编码器解码器架构(RNN循环神经网络)
文章目录编码器-解码器架构编码器解码器合并编码器和解码器小结编码器-解码器架构正如我们之前所讨论的,机器翻译是序列转换模型的一个核心问题,其输入和输出都是长度可变的序列. 为了处理这种类 ...
编码器-解码器(seq2seq)
文章目录 1.编码器解码器架构 1.1.概念 1.2.代码 1.2.1.编码器(Encoder) 1.2.2.解码器(Decoder) 1.2.3.合并编码器和解码器 2.seq2seq模型 2.1. ...
使用基于注意力的编码器-解码器实现医学图像描述
来源:DeepHub IMBA 本文约8000字,建议阅读10+分钟本文为你介绍使用计算机视觉和自然语言处理来为X 射线的图像生成文本描述. 什么是图像描述图像描述是生成图像文本描述的过程.它使用 ...
【神经网络】MLP 编码器-解码器注意力机制残差连接
[1] 多层感知机(MLP) 最典型的MLP包括包括三层:输入层.隐层和输出层,MLP神经网络不同层之间是全连接的(全连接的意思就是:上一层的任何一个神经元与下一层的所有神经元都有连接). 由 ...
机器翻译 MXNet（使用含注意力机制的编码器—解码器，即 Encoder编码器-Decoder解码器框架 + Attention注意力机制）
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) Encoder编码器-Decoder解码器框架 + Atten ...
采用编码器-解码器匹配语义分割的图像压缩
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达小白导读论文是学术研究的精华和未来发展的明灯.小白决心每天为大家 ...
RNN编码器-解码器
读 Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation 论文的主 ...
C#练习题答案: scytale的编码器/解码器（古斯巴达密码）【难度：3级】--景越C#经典编程题库,1000道C#基础练习题等你来挑战
scytale的编码器/解码器(古斯巴达密码)[难度:3级]: 答案1: using System; using System.Linq; using System.Text.RegularExpre ...

最新文章

热门文章