拉普拉斯平滑Laplace Smoothing

文章目录

什么是拉普拉斯平滑
拉普拉斯平滑公式
为什么要引入
举例

什么是拉普拉斯平滑

在计数中加上一个平滑项1（也可以是一个给定的K值）

拉普拉斯平滑公式

Wi：第i个单词
P(Wi)：第i个单词出现的概率
C(Wi)：第i个单词在文本中出现的次数
C(Wi-1 Wi)：Wi和Wi-1在文本中同时出现的次数
V：特征值的个数
∑wC(w)：所有数据集的个数

为什么要引入

在n-gram中计算词出现的概率时，有时会因为数据量不够而导致某些特征值没有出现，由于它们为0会对概率计算造成很大的影响，因此使得每一个计数中加上K，使得所有词对应的概率都大于0。

举例

根据天气，风力，心情来判断是否适合出门

天气的特征值有「太阳、下雨、阴天」

风力的特征值有「大、小」

心情的特征值有「好、坏」

是否出门的特征值有「是、否」

天气	风力	心情	是否出门
太阳	大	好	否
下雨	小	好	是
太阳	小	好	是
阴天	大	坏	否
太阳	大	坏	否
下雨	大	好	是

P(出门｜太阳 and 小 and 好)

=(P(太阳 and 小 and 好｜出门)*P(出门))/P(太阳 and 小 and 好)

=P(太阳｜出门)* P(小｜出门)* P(好｜出门)* P(出门)/P(太阳)* P(小)* P(好)

C(Wi)	结果
C(太阳)	3
C(阴天)	1
C(下雨)	2
C(大)	4
C(小)	2
C(好)	4
C(坏)	2

使用拉普拉斯平滑之后的概率

P(太阳｜出门)=2/6

P(小｜出门)=3/5

P(好｜出门)=4/5

P(出门)=4/8

详细理解，请参考知乎
理解朴素贝叶斯分类的拉普拉斯平滑

拉普拉斯平滑Laplace Smoothing相关推荐

平滑处理--拉普拉斯（Laplace Smoothing）
拉普拉斯平滑(Laplace Smoothing)又被称为加 1 平滑,是比较常用的平滑方法.平滑方法的存在时为了解决零概率问题. 背景:为什么要做平滑处理? 零概率问题,就是在计算实例的概率 ...
[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
Laplace Smoothing
拉普拉斯平滑(Laplace Smoothing) 拉普拉斯平滑(Laplace Smoothing)又称为加 1 平滑,是比较常用的平滑方法.平滑方法的存在时为了解决零概率问题. 一.为什么要做平滑 ...
朴素贝叶斯拉普拉斯平滑（Laplace Smoothing）
转自:https://blog.csdn.net/qq_25073545/article/details/78621019 拉普拉斯平滑(Laplace Smoothing)又被称为加 1 平滑,是比 ...
Laplace(拉普拉斯)平滑
平滑技术平滑技术是为了解决训练集的数据稀松问题. 零概率问题,就是在计算实例的概率时,如果某个量x,在观察样本库(训练集)中没有出现过,会导致整个实例的概率结果是0.在文本分类的问题中,当一个词语没 ...
神奇的拉普拉斯平滑（Laplacian Smoothing）及其在正则化上的应用~
之前的博客介绍过自己对于正则化的理解,经过这段时间的进一步接触,尤其是看了一些关于这一方面的paper,做了一些简短的实验,发现正则化真是一个很给力的建模方法.近期,看到了Laplacian Smoo ...
机器学习（十九）——拉普拉斯光顺（Laplace smoothing）
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf 我们已经描述过的朴素贝叶斯算法能够很好地解决许多问题,但是有一个简单的改变使得它更好地工作,特别 ...
关于机器学习中的朴素贝叶斯以及拉普拉斯平滑
看过我博文的同学可能知道机器学习之中,存在着判别学习以及生成学习,其主要区别我在另一篇文章中有详细描述,今天我们要讨论的是,在高斯判别分析之中,特征向量x是连续的,实数域上的向量,那么如果这个特征向量 ...
斯坦福CS229机器学习笔记-Lecture5 - 生成学习算法+高斯判别GDA+朴素贝叶斯+拉普拉斯平滑
作者:teeyohuang 邮箱:teeyohuang@163.com 本文系原创,供交流学习使用,转载请注明出处,谢谢声明:此系列博文根据斯坦福CS229课程,吴恩达主讲所写,为本人自学笔记,写 ...
斯坦福第五章：拉普拉斯平滑处理
链接:http://blog.csdn.net/daijiguo/article/details/52222683 拉普拉斯平滑拉普拉斯平滑(Laplace Smoothing)又被称为加 1 平滑 ...