朴素贝叶斯中拉普拉斯平滑算法

什么情况下我们会使用拉普拉斯平滑算法？
当我们在使用朴素贝叶斯算法去解决分类问题时，在训练集上进行训练时我们可以发现有可能出现某些特征的概率P为0的情况，无论是在全文检索中某个字出现的概率，还是在垃圾邮件分类中，这种情况明显是不太合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0，拉普拉斯的理论支撑而拉布拉斯平滑处理正是处理这种情况下应运而生的。
拉普拉斯平滑处理思想
而我们可以发现如果当训练样本集很大的时候，我们讲每个样本值加1，这样造成的估计概率变化并不大，完全在我们可以接受的范围内，而拉普拉斯平滑处理的思想就是将样本值加1，来对数据集进行平滑处理。
使用拉普拉斯平滑处理
p（Fi|C）=(Ni+alpha)/(N+alpha*m)
alpha是指定的系数一般是1，m是训练文档中统计出来的特征词的个数。

API：sklearn.naive_bayes.MultinomiaLNB(alpha=1.0)默认平滑系数1.0

拉普拉斯平滑处理的思考
假设在文本分类中，有3个类，C1、C2、C3，在指定的训练样本中，某个词语K1，在各个类中观测计数分别为0，990，10，K1的概率为0，0.99，0.01，对这三个量使用拉普拉斯平滑的计算方法如下：
1/1003 = 0.001，991/1003=0.988，11/1003=0.011
在实际的使用中也经常使用加 lambda（1≥lambda≥0）来代替简单加1。如果对N个计数都加上lambda，这时分母也要记得加上N*lambda。

引用朴素贝叶斯拉普拉斯平滑（Laplace Smoothing）

朴素贝叶斯中拉普拉斯平滑算法相关推荐

关于机器学习中的朴素贝叶斯以及拉普拉斯平滑
看过我博文的同学可能知道机器学习之中,存在着判别学习以及生成学习,其主要区别我在另一篇文章中有详细描述,今天我们要讨论的是,在高斯判别分析之中,特征向量x是连续的,实数域上的向量,那么如果这个特征向量 ...
机器学习：贝叶斯分类器，朴素贝叶斯，拉普拉斯平滑
数学基础: 数学基础是贝叶斯决策论Bayesian DecisionTheory,和传统统计学概率定义不同. 频率学派认为频率是是自然属性,客观存在的. 贝叶斯学派,从观察这出发,事物的客观随机性只是 ...
【机器学习算法笔记系列】朴素贝叶斯（NB）算法详解和实战
朴素贝叶斯(NB)算法概述朴素贝叶斯(Naïve Bayes, NB)算法,是一种基于贝叶斯定理与特征条件独立假设的分类方法.朴素:特征条件独立:贝叶斯:基于贝叶斯定理.属于监督学习的生成模型,实现 ...
python推荐系统算法朴素贝叶斯_机器学习经典算法之朴素贝叶斯分类
很多人都听说过贝叶斯原理,在哪听说过?基本上是在学概率统计的时候知道的.有些人可能会说,我记不住这些概率论的公式,没关系,我尽量用通俗易懂的语言进行讲解. 贝叶斯原理是英国数学家托马斯·贝叶斯提出的. ...
基于朴素贝叶斯的文本分类算法
基于朴素贝叶斯的文本分类算法摘要:常用的文本分类方法有支持向量机.K-近邻算法和朴素贝叶斯.其中朴素贝叶斯具有容易实现,运行速度快的特点,被广泛使用.本文详细介绍了朴素贝叶斯的基本原理,讨论多项式模 ...
朴素贝叶斯中朴素是什么含义？
朴素贝叶斯中的"朴素"二字突出了这个算法的简易性.朴素贝叶斯的简易性表现该算法基于一个很朴素的假设:所有的变量都是相互独立的,假设各特征之间相互独立,各特征属性是条件独立的. 就这 ...
朴素贝叶斯文本分类java_基于朴素贝叶斯的文本分类算法
基于朴素贝叶斯的文本分类算法摘要:常用的文本分类方法有支持向量机.K-近邻算法和朴素贝叶斯.其中朴素贝叶斯具有容易实现,运行速度快的特点,被广泛使用.本文详细介绍了朴素贝叶斯的基本原理,讨论多项式模 ...
朴素贝叶斯基于朴素贝叶斯的文本分类算法
朴素贝叶斯以及基于朴素贝叶斯的文本分类算法参考文章: https://www.cnblogs.com/jorbin/articles/1915888.html
c语言程序朴素贝叶斯分类器,生成式学习算法（四）之----朴素贝叶斯分类器
朴素贝叶斯分类器(算法)与朴素贝叶斯假设在高斯判别分析模型(GDA)中,特征向量$ x$ 是连续实值向量.现在我们来讨论分量$ x_j$ 取离散值的贝叶斯朴素贝叶斯模型. 在文本分类问题中,有一个问 ...
【深度】从朴素贝叶斯到维特比算法：详解隐马尔科夫模型
详解隐马尔科夫模型作者:David S. Batista 选自:机器之心本文首先简要介绍朴素贝叶斯,再将其扩展到隐马尔科夫模型.我们不仅会讨论隐马尔科夫模型的基本原理,同时还从朴素贝叶斯的角度讨论 ...

朴素贝叶斯中拉普拉斯平滑算法

朴素贝叶斯中拉普拉斯平滑算法相关推荐

最新文章

热门文章