推到n-gram语言模型

平滑处理稀疏性

生成语言

推到n-gram语言模型

我们的目标是获得任意 m 个单词序列的概率:

$P\left ( w_{_{1}},w_{_{2}},...,w_{_{m}} \right )$

第一步：应用链式法则将联合概率转换为条件概率

$P\left ( w_{_{1}},w_{_{2}},...,w_{_{m}} \right ) = P\left ( w{_{1}}\right )P\left ( w{_{2}}\right|w{_{1}} ) P\left ( w{_{3}}\right|w{_{1}},w{_{2}} ) ...P\left ( w{_{m}}\right|w{_{1}},w{_{2}},..., w{_{m-1}} )$

通过上面的转换，我们发现仍然很难去处理。因此我们做出简化的假设，也就是马尔可夫假设

$P\left ( w_{_{i}}|w_{_{1}},...,w_{_{i-1}} \right ) \approx P\left ( w_{_{i}}|w_{_{i-n+1}},...,w_{_{i-1}} \right )$

这个转换也就是，第i个单词不用依赖于前面所有词，而是依赖于前面n个词。这也就是我们今天所说的n-gram模型。

接下来，我们需要思考如何来计算这些概率？根据我们语料库中的计数进行估计

$P\left ( w_{_{i}}|w_{_{i-n+1}},...,w_{_{i-1}} \right ) = \frac{C\left ( w_{_{i-n+1}},...,w_{_{i}}\right )}{C\left ( w_{_{i-n+1}},...,w_{_{i-1}}\right )}$

上面公式中的C指的就是出现次数。分子是从i-n+1到i这些词同时在语料库中出现的次数；分母是从i-n+1到i-1这些词同时出现在语料库中的次数。

然后，需要引入一个用于表示序列开始和结束的特殊标签：
使用<s> 表示句子开始；</s> 表示句子结束。

n-gram当然也存在一些问题，从公式出发，如果某一项的词并不在语料库中，会导致该项的概率为0并且，整体概率为0，该如何处理？

$P\left ( w{_{1}},w{_{2}},...,w{_{m}}\right ) = P\left ( w{_{1}}|<s>\right )P\left ( w{_{2}}|w{_{1}}\right )...$

比如w2在语料库中未出现，因此C(w2) =0 所以该项的概率为0，整体概率也为0，但是我们需要去用概率值和其他的可能的句子比较，如果多个句子都是等于0，就无法比较。

此时需要用到平滑，也就是接下来的部分。

平滑处理稀疏性

有很多种平滑处理的方法，此处主要对四种进行列举分析：

拉普拉斯平滑,也叫加1平滑
加k平滑
absolute discounting
Kneser-Ney

拉普拉斯平滑

简单的想法：假设我们看到的每个 n-gram 都多一次。下面公式中|V|是词表大小

$P\left ( w_{_{i}}|w_{_{i-n+1}},...,w_{_{i-1}} \right ) = \frac{C\left ( w_{_{i-n+1}},...,w_{_{i}}\right )+1}{C\left ( w_{_{i-n+1}},...,w_{_{i-1}}\right )+|V|}$

加k平滑（Lidstone Smoothing）

与上面类似，发现添加1个往往太多，因此添加一个分数 k

$P\left ( w_{_{i}}|w_{_{i-n+1}},...,w_{_{i-1}} \right ) = \frac{C\left ( w_{_{i-n+1}},...,w_{_{i}}\right )+k}{C\left ( w_{_{i-n+1}},...,w_{_{i-1}}\right )+k|V|}$

但是这个k得人为指定，比如0.1等

absolute discounting

和上面的算法类似，不过是通过从观察到的 n-gram 计数中“借用”一个固定的概率质量
并将其重新分配到看不见的 n-gram。也就是给有概率的n-gram打折，折扣加到概率为0的n-gram上。

这里面提到一个概念叫back-off，回退，也就是说如果在高阶模型中没有该n-gram出现，可以尝试换到低阶模型，举例来说就是，3-gram回退到2-gram。这是一个简单整体理解

Kneser-Ney

基于低阶 n-gram 的通用性重新分配概率质量。也就是，持续性概率，continuation probability。

这里的通用性指的是：

高通用性:和很多其他单词一起出现。比如 glasses
低通用性：几乎不和其他单词一起出现，比如 francisco

$P_{_{kn}}\left ( w_{_{i}}|w_{_{i-1}}\right ) = \left\{\begin{matrix} \frac{C \left (w_{i-1}, w_{i}\right )-D}{C \left (w_{i-1}\right )} & if C \left (w_{i-1}, w_{i}\right )>0 \\ \beta(w_{i-1})P_{cont}(w_{i}) & otherwise \end{matrix}\right.$

这里的β表示已为上下文 wi-1 打折的概率质量的数量；

$P_{cont}(w_{i}) = \frac{|\left \{w_{i-1}: C(w_{i-1},w_{i})>0 \right \}|}{\sum w_{i} |\left \{w_{i-1}: C(w_{i-1},w_{i})>0 \right \}| }$

直观地，Pcont 的分子部分计算的是与 wi 共同出现的唯一 wi-1 的数量。

Interpolation 插补法

这里引入插补法，是组合不同阶n-gram模型的更好方法。

插补法结合刚刚的KN算法

$P_{_{ikn}}\left ( w_{_{i}}|w_{_{i-1}}\right ) = \frac{C \left (w_{i-1}, w_{i}\right )-D}{C \left (w_{i-1}\right )} +\gamma (w_{i-1})P_{cont}(w_{i})$

这里γ指的是归一化常数，使得概率和为1

生成语言

给定一个初始词，根据语言模型产生的概率分布绘制下一个词。

这个其实比较好理解，给出<s>句子开始然后，假设使用bi-gram然后不断预测下一个词，直到预测到</s>

挑选下一个词有大概3种方法：

argmax：每回合取概率最高的词
贪心搜索
Beam搜索解码之后会讲：
每回合跟踪前 N 个概率最高的单词
选择产生最佳句子概率的单词序列
从分布中随机抽取

本次关于n-gram的模型讲解大概就是这样，这个算法还是比较实用的，辛苦大家观看，老规矩，有问题欢迎评论，探讨。

第二篇：n-gram 语言模型相关推荐

Django框架之第二篇
Django框架之第二篇一.知识点回顾 1.MTV模型 model:模型,和数据库相关的 template:模板,存放html文件,模板语法(目的是将变量如何巧妙的嵌入到HTML页面中). view ...
java设计模式中不属于创建型模式_23种设计模式第二篇：java工厂模式定义：工厂模式是 Java 中最常用的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式...
23种设计模式第二篇:java工厂模式定义: 工厂模式是 Java 中最常用的设计模式之一.这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式. 工厂模式主要是为创建对象提供过渡接口, ...
深入理解javascript函数系列第二篇——函数参数
前面的话 javascript函数的参数与大多数其他语言的函数的参数有所不同.函数不介意传递进来多少个参数,也不在乎传进来的参数是什么数据类型,甚至可以不传参数.本文是深入理解javascript函数 ...
Spotify敏捷模式详解三部曲第二篇：研发过程
本文转自:Scrum 中文网引言在本系列文章的第一篇,我们介绍了Spotify的敏捷研发团队,以及它独特的组织架构.Spotify的研发团队采用的是一种非常独特的组织架构,如下图所示: 整个研发组 ...
SAP PP COR2下达工单系统报错说-系统状态APNG是激活的- 分析第二篇
SAP PP COR2下达工单系统报错说-系统状态APNG是激活的- 分析第二篇笔者所在的项目上启用了ECM(Engineer Change Management)功能,重要数据的修改都要事先创建一 ...
学习动态性能表第二篇--v$sesstat
学习动态性能表第二篇--v$sesstat 按照OracleOnlineBook中的描述,v$sesstat存储session从login到logout的详细资源使用统计. 类似于v$syssta ...
初学Python——文件操作第二篇
前言:为什么需要第二篇文件操作?因为第一篇的知识根本不足以支撑基本的需求.下面来一一分析. 一.Python文件操作的特点首先来类比一下,作为高级编程语言的始祖,C语言如何对文件进行操作? 字符(串 ...
ASP.NET自定义控件组件开发第一章第二篇接着待续
ASP.NET自定义控件组件开发第一章第二篇接着待续 ASP.NET自定义控件组件开发第一章第二篇接着待续很感谢大家给我的第一篇ASP.NET控件开发的支持!在写这些之前,我也看了一些例 ...
Redis入门第二篇【存储数据结构之string类型】
tags: Redis title: Redis入门第二篇[存储数据结构之string类型] Redis存储的数据结构 Redis支持的数据结构有好几种: It supports data struc ...

第二篇：n-gram 语言模型

推到n-gram语言模型

平滑处理稀疏性

拉普拉斯平滑

加k平滑（Lidstone Smoothing）

absolute discounting

Kneser-Ney

Interpolation 插补法

生成语言

第二篇：n-gram 语言模型相关推荐

最新文章

热门文章