【机器学习】拉普拉斯平滑

一、提出原因（背景）
二、思想及举例

一、提出原因（背景）

在某些场景，如文本分析中，计算某词的概率，可能会因为训练集中从没出现过这个词，而认为该词概率为0，并将影响后续计算。
为解决零概率问题，法国数学家、物理学家拉普拉斯提出了拉普拉斯平滑。

二、思想及举例

拉普拉斯平滑，又叫加一平滑，它对分子划分的计数加1，分母加类别数。

例如，已知一维变量分布的采样结果，变量为A，A的取值有三种情况：a1，a2，a3，现有样本集{ a1, a2, a1, a2, a3, a1, a1, a2}，采用拉普拉斯平滑计算三种取值的概率。
P(A=a1) = (4+1)/(8+3) = 5/11
P(A=a2) = (3+1)/(8+3) = 4/11
P(A=a3) = (1+1)/(8+3) = 2/11

又如，计算单个词语 ωi 的概率，当不进行平滑时，是通过用总词数 N 标准化该词的出现次数 ci 进行计算的：

当进行拉普拉斯平滑时，对词的计数加1，由于词典大小为 V ，每个词的次数都增加了1，因此还需要为分母加 V：

方法十分简单，但有效避免了零概率的出现，在文本分析中经常使用，增强了算法的健壮性。

【机器学习】拉普拉斯平滑相关推荐

关于机器学习中的朴素贝叶斯以及拉普拉斯平滑
看过我博文的同学可能知道机器学习之中,存在着判别学习以及生成学习,其主要区别我在另一篇文章中有详细描述,今天我们要讨论的是,在高斯判别分析之中,特征向量x是连续的,实数域上的向量,那么如果这个特征向量 ...
机器学习之朴素贝叶斯三、拉普拉斯平滑技术、优化改进情感分析
文章目录一.前文问题 1. 先看下改进前我们的代码计算部分 2. `问题分析`: 二.针对问题进行解决 1. 什么是`拉普拉斯平滑`技术 2. 拉普拉斯优化-下溢上溢问题 3. 改进地方分析: 4. ...
机器学习：贝叶斯分类器，朴素贝叶斯，拉普拉斯平滑
数学基础: 数学基础是贝叶斯决策论Bayesian DecisionTheory,和传统统计学概率定义不同. 频率学派认为频率是是自然属性,客观存在的. 贝叶斯学派,从观察这出发,事物的客观随机性只是 ...
机器学习之朴素贝叶斯（一）：朴素贝叶斯的介绍、概率基础（拉普拉斯平滑）、sklearn朴素贝叶斯实现API、朴素贝叶斯分类的优缺点、文本的特征工程
朴素贝叶斯文章目录朴素贝叶斯一.介绍 1.1 文本分类的应用词云的例子垃圾邮件分类文章类别的概率二.概率基础 2.1 概率例题 2.2 联合概率和条件概率 2.3 朴素贝叶斯-贝叶斯公式 ...
斯坦福CS229机器学习笔记-Lecture5 - 生成学习算法+高斯判别GDA+朴素贝叶斯+拉普拉斯平滑
作者:teeyohuang 邮箱:teeyohuang@163.com 本文系原创,供交流学习使用,转载请注明出处,谢谢声明:此系列博文根据斯坦福CS229课程,吴恩达主讲所写,为本人自学笔记,写 ...
逻辑回归和拉普拉斯平滑作业
任务执行您认为必要的预处理使用分层抽样将数据集划分为训练和验证数据集检查训练和验证数据集的类分布安装.加载和阅读"naivebayes"包使用以下命令构建基本的朴素贝叶斯 ...
贝叶斯网络、拉普拉斯平滑
本总结是是个人为防止遗忘而作,不得转载和商用. 说明:前置知识是朴素贝叶斯,这个我以总结,地址是: http://blog.csdn.net/xueyingxue001/article/details ...
[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
朴素贝叶斯算法和拉普拉斯平滑详细介绍及其原理详解
相关文章 K近邻算法和KD树详细介绍及其原理详解朴素贝叶斯算法和拉普拉斯平滑详细介绍及其原理详解决策树算法和CART决策树算法详细介绍及其原理详解线性回归算法和逻辑斯谛回归算法详细介绍及其原理详 ...
明天太阳一定会升起吗？兼谈拉普拉斯平滑
皮埃尔-西蒙,拉普拉斯侯爵(1749-1827),法国著名的天文学家和数学家: 曾经提出一个问题:千百万年以来,每天太阳都会升起.但是,可以就此推断明天太阳一定会升起吗? 1 火鸡问题这个问题似乎有 ...

【机器学习】拉普拉斯平滑

【机器学习】拉普拉斯平滑

一、提出原因（背景）

二、思想及举例

【机器学习】拉普拉斯平滑相关推荐

最新文章

热门文章