传统的Encoder-Decoder

1、在编码的时候，接收输入X=⟨x1,x2,…,xT⟩X=⟨x1,x2,…,xT⟩X=\langle x_1, x_2, \dots, x_T \rangle，生成context vector CCC
2、训练阶段，在解码的时候

2.1、从CCC出发预测ŷ 1y^1\hat{y}_1，再依次用ŷ i−1y^i−1\hat{y}_{i-1}预测ŷ iy^i\hat{y}_i，即使用预测的Ŷ Y^\hat{Y}而不是真实值YYY，这样的做法就是让模型自己去学习。这样容易产生误差累积的问题，导致模型学习收敛比较慢。

2.2、如果每次使用真实值的yi−1yi−1y_{i-1}来作为输入生成预测值ŷ iy^i\hat{y}_i，这样的做法就是teacher forcing，也就是加入教师强制指导，这样的好处就是更快的收敛，但是更偏向于单个正确值预测，而在测试的时候这种教师信息是没有的，因此可能导致模型的泛化能力不够。

3、因此可以设定一个比例，作为两种方式的折中

NMT、enc-dec的一些笔记相关推荐

《Introduction To Modern Cryptography》读书笔记二
<Introduction To Modern Cryptography>读书笔记二本笔记纯粹个人读书习惯与相应见解,内容归纳完全出于个人需要与个人局限,如有修改意见(比如哪儿应该是值得 ...
斯坦福密码学课程-笔记-02-Stream Ciphers流密码
斯坦福密码学课程笔记 02-流密码 Stream Ciphers The One Time Pad Symmetric Ciphers: definition The One Time Pad (Ve ...
PredNet阅读笔记——从视频预测的角度学习视频表征
看到有网站未经允许转载了,无奈加个原文地址:http://blog.csdn.net/zhangsipppcsdn/article/details/69907598 ICLR 2017论文<De ...
文献阅读笔记：Unsupervised Machine Translation Using Monolingual Corpora Only
文章目录 0. 背景 0.1 摘要 1. 介绍 2. 无监督神经机器翻译 2.1 神经机器翻译模型 2.2 模型概述 2.3 降噪自编码 2.4 跨域训练 2.5 对抗训练 3. 训练 3.1 迭代训 ...
【Joy of Cryptography 读书笔记】Chapter 1 一次性密码本（one-time pad）Kerckhoffs原则
Chapter 1 一次性密码本(one-time pad)&Kerckhoffs原则文章目录 Chapter 1 一次性密码本(one-time pad)&Kerckhoffs原则 ...
现代密码学3.7--CCA安全
现代密码学3.7--CCA安全 CCA安全含oracle的实验过程PrivKA,Πcca(n)PrivK^{cca}_{\mathcal{A},\Pi}(n)PrivKA,Πcca(n) CCA安 ...
现代密码学3.4--CPA安全，多次加密
现代密码学3.4--CPA安全,多次加密 CPA安全 oracle 例子含oracle的实验过程 CPA安全定义多次加密的CPA安全 "left-or-right" oracl ...
玩转华为ENSP模拟器系列 | 两个网关之间利用Tunnel接口实现IPSec VdPdNd隧道多链路备份
素材来源:华为防火墙配置指南一边学习一边整理试验笔记,并与大家分享,侵权即删,谢谢支持! 附上汇总贴:玩转华为ENSP模拟器系列 | 合集_COCOgsta的博客-CSDN博客_华为模拟器实验目标 ...
Pytorch学习记录-torchtext和Pytorch的实例（使用神经网络训练Seq2Seq代码）
Pytorch学习记录-torchtext和Pytorch的实例1 0. PyTorch Seq2Seq项目介绍 1. 使用神经网络训练Seq2Seq 1.1 简介,对论文中公式的解读 1.2 数据预 ...

NMT、enc-dec的一些笔记

传统的Encoder-Decoder

NMT、enc-dec的一些笔记相关推荐

最新文章

热门文章