NLP学习笔记14-语言模型(下)

一序

本文属于贪心NLP 学习笔记系列。今天开始，明显的数学概念多了起来。

二 unigram

不考虑单词之间的顺序，依赖于马尔科夫假设。

假设w1,w2,...wn是相互独立的：一个事件的发生与否，不会影响另外一个事件的发生。

而P(w1)、P(w2).....P(wn)的计算方法如下：统计语料库中某个单词出现的次数，再除以语料库的总词数。

缺点：单词相互独立，所以语义上不通顺的跟通顺的概率一样，不能很好的区分。

三 bigram(基于1st order markov assumption)

考虑单词之间（前面的单词）的顺序

而P(w1)、P(w2/w1).....P(wn/wn-1)的计算方法如下：统计语料库里面某个单词后目标单词的概率

四 N-gram

一般情况下，不会考虑N太多，bigram是最多使用的。

只要出现语料库没有的单词，就会出现概率为0的case。

五语言模型的评估

但是，这种方法一方面难以操作，另一方面可能非常耗时，可能跑一个evaluation需要大量时间，费时难操作。有没有不经过上面的情况，直接评估语言模型呢？

可以给定一个句子，让语言模型类似填坑的方式预测单词，以此来评估语言模型。

Perplexity 困惑度

困惑度是交叉熵的指数形式，网上会搜到很多观念与困惑度的学术型回答，主要推导公式。

老师先给了通俗解释：给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的模型就是在测试集上的概率越高越好

这个在文本处理尤其是无监督学习很常用。

这里x= average log likelihood,都是术语，老师没有解释。还不太没明白。Perplexity= $2^{-x}$ , X 越大，Perplexity越小。

计算规则：现根据训练好的模型，去查询likelhood,再计算log,求平均得出x,代入公式Perplexity= $2^{-x}$ ，计算

六 n-gram 语言模型中的平滑技术

我们知道自然语言处理中的一大痛点就是出现未登录词(OOV)的问题，即测试集中出现了训练集中未出现过的词，导致语言模型计算出的概率为零。

优化方法：smoothing 平滑

我们之前的概率计算，可以认为是最大似然估计（maximum likelihood estimation, MLE）。

样本太多，无法得出分布的参数值，可以采样小样本后，利用极大似然估计获取假设中分布的参数值。

这个也还没理解，老师说以后再展开讲。

就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！

网上的例子：

假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？

70%，怎么推导的还不知偶。就是直觉了

这里的v是词典库的大小(不是所有单词出现多少次)，分子加1可以理解，为了让那些出现频次为0的