在做NLP领域的NMT或者chatbot等方面的工作时，在进行inference（推理）的时候，经常会用到两种搜索方式，即Greedy Search和Beam Search。

1. Greedy Search

贪心搜索最为简单，直接选择每个输出的最大概率，直到出现终结符或最大句子长度。

2. Beam Search。

Beam Search可以认为是维特比算法的贪心形式，在维特比所有中由于利用动态规划导致当字典较大时效率低，而集束搜索使用beam size参数来限制在每一步保留下来的可能性词的数量。集束搜索是在测试阶段为了获得更好准确性而采取的一种策略，在训练阶段无需使用。

针对上例，得到如下计算（beam size=2）

Greedy Search VS Beam Search 贪心搜索 vs 集束搜索相关推荐

Greedy search与beam search
最近在看End-to-end Relation Extraction using LSTMs on Sequences and Tree Structures这篇文章时,看到此文在Entity det ...
Exhaustive search 和 Beam search 详解（图文并茂）
1.Exhaustive search decoding Exhaustive search :也称为穷举法我们理想的翻译序列 y 能够使如下条件概率最大 Exhaustive search 方法是 ...
贪心搜索（greedy search）、集束搜索（beam search）、随机采样（random sample）
当我们训练完成一个自然语言生成模型后,需要使用这个模型生成新的语言(句子),如何生成这些句子,使用如下的方法:贪心搜索,集束搜索,随机搜索. 贪心搜索(greedy search)/采样(Sampli ...
【NLP】选择目标序列：贪心搜索和Beam search
构建seq2seq模型,并训练完成后,我们只要将源句子输入进训练好的模型,执行一次前向传播就能得到目标句子,但是值得注意的是: seq2seq模型的decoder部分实际上相当于一个语言模型,相比于R ...
人工智能之集束搜索Beam Search Algorithm
集束搜索是属于人工智能基础知识中的知情搜索,知情搜索是基于启发法的一种搜索方法,由爬山法-->最陡爬坡法-->最佳优先搜索法-->集束搜索,逐步优化算法通过爬山简单来说下这几种 ...
Beam Search 及5种优化方法
文章目录 Beam Search 及优化 1. Review Beam Search 2. Beam Search Refinement 2.1 Hypothesis filtering 2.2 No ...
十分钟读懂Beam Search(1/2)
最近研究了一下用基于BERT的encoder-decoder结构做文本生成任务,碰巧管老师昨天的文章也介绍了以生成任务见长的GPT模型,于是决定用两篇文章大家介绍一下在文本生成任务中常用的解码策略Be ...
【自然语言处理】【文本生成】Transformers中使用约束Beam Search指导文本生成
Transformers中使用约束Beam Search指导文本生成原文地址:https://huggingface.co/blog/constrained-beam-search 相关博客 [自然 ...
NLP自然语言处理集束搜索(beam search)和贪心搜索(greedy search)
https://blog.csdn.net/qq_16234613/article/details/83012046 https://blog.csdn.net/weixin_38937984/art ...

Greedy Search VS Beam Search 贪心搜索 vs 集束搜索

1. Greedy Search

2. Beam Search。

Greedy Search VS Beam Search 贪心搜索 vs 集束搜索相关推荐

最新文章

热门文章