【Beam Search】seq2seq中的beam search算法过程

点击上方，选择星标或置顶，每天给你送干货！

阅读大概需要4分钟

跟随小博主，每天进步一丢丢

机器学习算法与自然语言处理出品

@公众号原创专栏作者忆臻

学校 | 哈工大SCIR在读博士生

在sequence2sequence模型中，beam search的方法只用在测试的情况，因为在训练过程中，每一个decoder的输出是有正确答案的，也就不需要beam search去加大输出的准确率。

假设现在我们用机器翻译作为例子来说明，

我们需要翻译中文“我是中国人”--->英文“I am Chinese”

假设我们的词表大小只有三个单词就是I am Chinese。那么如果我们的beam size为2的话，我们现在来解释,

如下图所示，我们在decoder的过程中，有了beam search方法后，在第一次的输出，我们选取概率最大的"I"和"am"两个单词，而不是只挑选一个概率最大的单词。

然后接下来我们要做的就是，把“I”单词作为下一个decoder的输入算一遍得到y2的输出概率分布，把“am”单词作为下一个decoder的输入算一遍也得到y2的输出概率分布。

比如将“I”单词作为下一个decoder的输入算一遍得到y2的输出概率分布如下：

比如将“am”单词作为下一个decoder的输入算一遍得到y2的输出概率分布如下：

那么此时我们由于我们的beam size为2，也就是我们只能保留概率最大的两个序列，此时我们可以计算所有的序列概率：

“I I” = 0.4*0.3 "I am" = 0.4*0.6 "I Chinese" = 0.4*0.1

"am I" = 0.5*0.3 "am am" = 0.5*0.3 "am Chinese" = 0.5*0.4

我们很容易得出俩个最大概率的序列为 “I am”和“am Chinese”，然后后面会不断重复这个过程，直到遇到结束符为止。

最终输出2个得分最高的序列。

这就是seq2seq中的beam search算法过程，但是可能有些同学有一个疑问，就是但i-1时刻选择的单词不同的时候，下一时刻的输出概率分布为什么会改变？

这是由于解码的过程中，第i时刻的模型的输入，包括了第i-1时刻模型的输出，那么很自然在第i-1时刻模型的输出不同的时候，就会导致下一时刻模型的输出概率分布会不同，因为第

i-1时刻的输出作为参数影响了后一时刻模型的学习。

如下图用了一个slides的法语翻译为英文的例子，可以更容易理解上面的解释。

致谢：

凌志、刘洋、皓宇、萧瑟师兄

参考：谁能解释下seq2seq中的beam search算法过程?

交流学习，进群备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

【Beam Search】seq2seq中的beam search算法过程相关推荐

seq2seq中的beam search算法过程
在seq2seq模型中,我们以自然语言处理技术的集大成者机器翻译为例: 在模型训练好了之后,我们开始测试我们的模型(中文翻译成英文),比如Encoder中输入"我是中国人"( ...
H．264解码器中CAVLC码表查找算法的分析与优化
0 引言近年来,随着信息技术飞速发展和互联网的日益普及,尤其是以视频为信息主要来源的多媒体领域越来越受到人们的关注.H．264是ITU-T的视频编码专家组(VCEG)和ISO/IEC的活动图像 ...
C++ text search文本检索在较长的文本段落中搜索单词的算法(附完整源码)
C++ text search文本检索在较长的文本段落中搜索单词的算法 C++ text search文本检索在较长的文本段落中搜索单词的算法完整源码(定义,实现,main函数测试) C++ text ...
数据结构与算法（python）：广度优先搜索（Breadth First Search，BFS）和深度优先算法（Depth First Search，DFS）
参考自 MOOC数据结构与算法Python版目录一.广度优先搜索 1.1 BFS算法过程 1.2 广度优先搜索算法分析二.深度优先搜索 2.1 骑士周游 2.1.1 问题定义 2.1.2 构建骑 ...
给定key值，在Binary Search Tree中查找最接近该键值的结点集合
http://blog.csdn.net/zhouhao011280s/article/details/8044056 给定key值,在Binary Search Tree中查找最接近该键值的结点集合 ...
C++Saddleback search鞍背搜索的实现算法(附完整源码)
C++Saddleback search鞍背搜索的实现算法 C++Saddleback search鞍背搜索的实现算法完整源码(定义,实现,main函数测试) C++Saddleback search ...
C++Jump Search跳转搜索的实现算法(附完整源码)
C++Jump Search跳转搜索的实现算法 C++Jump Search跳转搜索的实现算法完整源码(定义,实现,main函数测试) C++Jump Search跳转搜索的实现算法完整源码(定义,实 ...
c++Hash Search哈希搜索的实现算法(附完整源码)
C++Hash Search哈希搜索的实现算法 C++Hash Search哈希搜索的实现算法完整源码(定义,实现,main函数测试) C++Hash Search哈希搜索的实现算法完整源码(定义,实 ...
python中search和match的区别_Python中正则表达式match()、search()函数及match()和search()的区别详解...
match()和search()都是python中的正则匹配函数,那这两个函数有何区别呢? match()函数只检测RE是不是在string的开始位置匹配, search()会扫描整个string查找 ...
【整理】Python中的re.search和re.findall之间的区别和联系 + re.finall中带命名的组，不带命名的组，非捕获的组，没有分组四种类型之间的区别
之前自己曾被搞晕过很多次. 后来使用这些函数次数多了之后,终于比较清楚的弄懂了两者之间的区别和关系了. 尤其是一些细节方面的注意事项了. 在看下面的总结和代码之前,请先确保你对如下基本概念已经有所了解 ...

【Beam Search】seq2seq中的beam search算法过程

【Beam Search】seq2seq中的beam search算法过程相关推荐

最新文章

热门文章