Perplexity困惑度解释

引用wiki上的话

“A model of an unknown probability distribution p, may be proposed based on a training sample that was drawn from p. Given a proposed probability model q, one may evaluate q by asking how well it predicts a separate test sample x1, x2, ..., xN also drawn from p. The perplexity of the model q is defined as

where b is customarily 2. Better models q of the unknown distribution p will tend to assign higher probabilities q(xi) to the test events. Thus, they have lower perplexity: they are less surprised by the test sample.”

p为未知的概率分布，q为训练得到的概率模型，一般来说，训练的概率模型越好，q(x)会趋向于给的更高，困惑度就会越低，对测试集的泛化能力越好。

“The exponent may also be regarded as a cross-entropy,

P = 2^H(p,q)

where p denotes the empirical distribution of the test sample (i.e., p(x)=n/N} if x appeared n times in the test sample of size N).”

困惑度也可以认为是交叉熵的指数形式，两者都是用于度量两个概率分布间的差异性信息，p为测试集的经验分布，q为训练出的概率模型，两个模型越接近，交叉熵越小，困惑度也越小。

Perplexity困惑度解释相关推荐

Perplexity(困惑度)
转载请注明出处,谢谢. #什么是Perplexity(困惑度)? 在信息论中,perplexity(困惑度)用来度量一个概率分布或概率模型预测样本的好坏程度.它也可以用来比较两个概率分布或概率模型.( ...
【LM】(八)语言模型评价指标——困惑度Perplexity原理及代码
0.语言模型语言模型(Language Model,LM),基于统计的语言模型,给出一句话的前k个词,预测第k+1个词,即求第k+1个词出现的概率p(xk+1|x1,x2,...,xk).在深度网络 ...
困惑度 (perplexity)
困惑度 (perplexity) 在自然语言处理中,对于一个语言模型,一般用困惑度来衡量它的好坏,困惑度越低,说明语言模型面对一句话感到困惑的程度越低,语言模型就越好. 对于LDA模型,最常用的两个评 ...
机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)
一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy,BLEU 的分数取值范围是 0-1,分数越接近1,说明翻译的质量越高.BLEU 主要是基于 ...
perplexity 衡量指标_通俗解释困惑度 (Perplexity)-评价语言模型的好坏
一.语言模型本文尽量通俗解释一下困惑度的概念.既然题目中写了是用来评价语言模型的好坏,那么首先来看一下语言模型:忆臻:深入浅出讲解语言模型zhuanlan.zhihu.com 简单地说,语言模型就 ...
perplexity 衡量指标_困惑度(perplexity)的基本概念及多种模型下的计算（N-gram, 主题模型, 神经网络）...
让人困惑的困惑度发现网络上流传的关于困惑度(perplexity)大多数都是利用了N-gram或者主题模型的例子来阐述的.但是现在这个年代来学习这个指标的人多半都是想研究神经网络的,而两者对困惑度 ...
困惑度 perplexity
在自然语言处理中,困惑度是用来衡量语言模型优劣的一个方法.它的值是对交叉熵损失函数做指数运算后得到的结果. 交叉熵损失函数单个训练样本的损失: loss=−1n∑i=1nyilogyi^=−logy ...
语言模型评价指标 bpc(bits-per-character)和困惑度ppl(perplexity)
首先简单介绍下语言模型的标准评价指标: 1. 混淆度 (Perplexity) 用来衡量一个语言模型在未见过的的字符串S上的表现.对于一个长度为N的字符串S,语言模型给出概率P(S),对应的混淆度 ( ...
NLP基础知识点：困惑度（Perplexity）
本篇内容翻译自Speech and Language Processing. Daniel Jurafsky & James H. Martin. 链接:https://web.stanfor ...

Perplexity困惑度解释

Perplexity困惑度解释相关推荐

最新文章

热门文章