文章目录

1 最简单的平滑技术—Laplace法则
2 Good-Turing估计
3 绝对折扣(absolute discounting)
4 线性折扣(linear discounting)
5 Witten-Bell平滑算法
6 扣留估计(Held-out Estimation)
7 交叉校验(Cross Validation)
8 线性插值（linear interpolation ）
9 Katz回退(back-off)算法

1 最简单的平滑技术—Laplace法则

（我并不清楚上面的【Laplace法则的一般形式】与【Lidstone法则】咋来的）

2 Good-Turing估计

基本思想：对于任何一个发生r次的事件（n元语法），都假设它发生r*次：

n_r：训练语料中发生r次的事件的数目。

事实上，并不是对所有计数r都使用上式计算。

3 绝对折扣(absolute discounting)

上面的图中，V=40（总共有40个词），N=50（训练实例的个数为50，016+110+26+35+42+51=50）

4 线性折扣(linear discounting)

（我不太懂第三列似然估计是咋算的）

5 Witten-Bell平滑算法

基本思想：训练语料中未出现 → 第一次出现 → 用事物在训练语料中第一次出现的概率来替代未出现事物的概率（因为未出现的事物是新事物）

例子：

（上面我不太懂右面的分母为什么是N+T）

6 扣留估计(Held-out Estimation)

基本思想：使用一部分数据建立最初的模型，然后使用另一部分留存数据来精炼这个模型。

形式化描述：

上表中，最后一列，即r*列为：

7 交叉校验(Cross Validation)

基本思想：训练数据的每一部分既作最初的训练数据，也作为留存数据。

【删除估计（deleted estimation）】

对两部分数据分别进行训练和平滑,然后根据n_r^a相对于n_r^b的比率进行加权平均。样本数量越大，在其上统计出来的数据越可靠。

【删除插值(deleted interpolation)】

（使用线性插值的手段，把不同阶的n元语法结合起来）

假定要在一批训练语料上构建二元语法模型，其中：

C(send the)=0
C(send thou)=0

四种方法：Lap、GT、abs、WB： p(the|send)=p(thou|send)，因为没有其他信息的时候，send the 和 send thou均出现了0次。

但是，直觉上应该有，这是常识： p(the|send)>p(thou|send)

因为pML(the)>pML(thou)。

当没有足够的语料估计高阶模型的概率时，低阶模型往往可以提供有用的信息。

下面是【删除插值的一般形式】：

给定P( w…)的值，可以采用EM算法（用到的时候再去查）来训练λ的值。

一般使用一些历史等价类来设置λ。

【删除插值的递归形式】

8 线性插值（linear interpolation ）

线性插值模型的一般化形式：

（我不太确定上面的p_i(w|h)是用上面提到的P_interp吗？）

9 Katz回退(back-off)算法

二元语法模型的Katz回退算法：从非零计数中减去的计数量，根据低一阶的分布，分配给计数为零的bigram（2-gram）

（我不太懂上面的p波浪号是什么含义？？？）

（上图最后一列中的0.9咋来的？？？）

【Katz回退一般形式】

【三元语法模型的Katz回退算法】

【删除插值 vs. Katz回退】

相同之处：两者都使用低阶分布的信息来确定计数为0的n-gram的概率。

不同之处：1、删除插值：高阶计数和低阶计数可能同时起作用；2、Katz回退：只有高阶计数为0时才启用低阶计数。

END

4 NLP之数据平滑技术相关推荐

自然语言处理基础（4）--数据平滑技术
n元语法模型中,在统计结果中出现了零概率事件反映语言的规律性,即这种现象本来就不该出现,但更多的时候是由于语言模型的训练文本T的规模以及其分布存在着一定的局限性和片面性.这就是所谓的"数据稀 ...
NLP的数据增强技术总结
文章目录一.简单的数据增强技术 EDA (Easy Data Augmentation) 即Normal Augmentation Method 1.`同义词替换`(Synonym Replacem ...
NLP中的数据增强技术综述
NLP数据增强技术 1. 词汇替换 Lexical Substitution 基于词典的替换 Thesaurus-based substitution 基于词向量的替换 Word-Embeddings ...
集合啦，NLP数据增强技术！超全资源汇总
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达白交发自凹非寺量子位报道 | 公众号 QbitAI 数据增强技术已经是CV领 ...
稀疏问题的解决——数据平滑 - yiyi_xuechen
稀疏问题的解决--数据平滑 - yiyi_xuechen 时间 2014-02-23 12:26:00 博客园-所有随笔区原文 http://www.cnblogs.com/yiyi-xueche ...
matlab离群值处理,数据平滑和离群值检测
移动窗口方法移动窗口方法是分批处理数据的方式,通常是为了从统计角度表示数据中的相邻点.移动平均值是一种常见的数据平滑技术,它沿着数据滑动窗口,同时计算每个窗口内点的均值.这可以帮助消除从一个数据点到 ...
gan 总结数据增强_[NLP]聊一聊，预处理和数据增强技术
在基于margin-loss的句子相似度这个项目中,为了验证想法,找不到开放数据集,因此自己从新浪爱问爬取了数据.自己爬的数据和学界开放的数据对比,数据显得非常脏.这里有三个含义:第一:数据不规范,比 ...
[NLP] 实例讲解 N-gram语言模型中 Good-Turning 平滑技术
1.背景最近在阅读论文的时候接触到了古德-图灵估计法,感觉比较模糊不清,进一步查阅了一些资料,希望有一个自己的直观理解. -本论文采用的是古德-图灵估计法,其基本思想是对于任意出现r次的n元语法对, ...
NLP文本数据增强热门技术
NLP文本数据增强热门技术背景 word替换同义词替换词向量替换掩码语言模型(Masked Language Model,MLM) 基于tfidf的词替换反向翻译文本表面转换随机噪声注 ...

4 NLP之数据平滑技术