【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法(公式、原理)
本文收录于《深入浅出讲解自然语言处理》专栏,此专栏聚焦于自然语言处理领域的各大经典算法,将持续更新,欢迎大家订阅!
个人主页:有梦想的程序星空
个人介绍:小编是人工智能领域硕士,全栈工程师,深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域,有较丰富的软件系统、人工智能算法服务的研究和开发经验。
如果文章对你有帮助,欢迎
关注
、
点赞
、
收藏
、
订阅。
朴素贝叶斯(Naive Bayes)是一种简单经典的分类算法,它的经典应用案例为人所熟知:文本分类(如垃圾邮件过滤)。
1、贝叶斯定理
先验概率:即基于统计的概率,是基于以往历史经验和分析得到的结果,不需要依赖当前发生的条件。
后验概率:则是从条件概率而来,由因推果,是基于当下发生了事件之后计算的概率,依赖于当前发生的条件。
条件概率:记事件A发生的概率为P(A),事件B发生的概率为P(B),则在B事件发生的前提下,A事件发生的概率即为条件概率,记为P(A|B)。
贝叶斯公式:贝叶斯公式便是基于条件概率,通过P(B|A)来求P(A|B),如下:
将A看成“规律”,B看成“现象”,那么贝叶斯公式看成:
全概率公式:表示若事件构成一个完备事件组且都有正概率,则对任意一个事件B都有公式成立:
将全概率公式带入贝叶斯公式中,得到:
2、朴素贝叶斯算法的原理
特征条件假设:假设每个特征之间没有联系,给定训练数据集,其中每个样本都包括
维特征,即
,类标记集合含有
种类别,即
。
对于给定的新样本,判断其属于哪个标记的类别,根据贝叶斯定理,可以得到
属于
类别的概率
:
后验概率最大的类别记为预测类别,即:。
朴素贝叶斯算法对条件概率分布作出了独立性的假设,通俗地讲就是说假设各个维度的特征互相独立,在这个假设的前提上,条件概率可以转化为:
代入上面贝叶斯公式中,得到:
于是,朴素贝叶斯分类器可表示为:
因为对所有的,上式中的分母的值都是一样的,所以可以忽略分母部分,朴素贝叶斯分类器最终表示为:
适用范围:
- 朴素贝叶斯只适用于特征之间是条件独立的情况下,否则分类效果不好,这里的朴素指的就是条件独立。
- 朴素贝叶斯主要被广泛地使用在文档分类中。
朴素贝叶斯常用的三个模型有:
- 高斯模型:处理特征是连续型变量的情况。
- 多项式模型:最常见,要求特征是离散数据。
- 伯努利模型:要求特征是离散的,且为布尔类型,即true和false,或者1和0。
4、拉普拉斯平滑
为了解决零概率的问题,法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率,所以加法平滑也叫做拉普拉斯平滑。假定训练样本很大时,每个分量的计数加1造成的估计概率变化可以忽略不计,但可以方便有效的避免零概率问题。
是一个多项乘法公式,其中有一项数值为0,则整个公式就为0显然不合理,避免每一项为零的做法就是在分子、分母上各加一个数值。
表示分类
的样本数,
为样本总数,
是分类总数。
表示分类
属性
的样本数,
表示分类
的样本数,
表示
属性的可能的取值数。
在实际的使用中也经常使用加来代替简单加1。 如果对
个计数都加上
,这时分母也要记得加上
。
4、朴素贝叶斯算法的优缺点
优点:
1、朴素贝叶斯模型有稳定的分类效率。
2、对小规模的数据表现很好,能处理多分类任务,适合增量式训练,尤其是数据量超出内存时,可以一批批的去增量训练。
3、对缺失数据不太敏感,算法也比较简单,常用于文本分类。
缺点:
1、需要知道先验概率,且先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
2、对输入数据的表达形式很敏感(离散、连续,值极大极小之类的)。
5、python代码实现
库方法:sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
其中,alpha:拉普拉斯平滑系数
实验内容:sklearn20类新闻分类,20个新闻组数据集包含20个主题的18000个新闻组帖子。
实验方法:首先,加载20类新闻数据,并进行分割。然后,生成文章特征词,接着,使用朴素贝叶斯分类器进行预估。
代码实现:
# coding:utf-8from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNBdef naviebayes():news = fetch_20newsgroups()# 进行数据分割x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)# 对数据集进行特征抽取tf = TfidfVectorizer()# 以训练集当中词的列表进行每篇文章重要性统计['a','b','c','d']x_train = tf.fit_transform(x_train)print(tf.get_feature_names())x_test = tf.transform(x_test)# 进行朴素贝叶斯算法的预测mlt = MultinomialNB(alpha=1.0)print(x_train.toarray())mlt.fit(x_train, y_train)y_predict = mlt.predict(x_test)print("预测的文章类别为:", y_predict)# 得出准确率print("准确率为:", mlt.score(x_test, y_test))if __name__ == '__main__':naviebayes()
关注微信公众号【有梦想的程序星空】,了解软件系统和人工智能算法领域的前沿知识,让我们一起学习、一起进步吧!
【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法(公式、原理)相关推荐
- 【机器学习】贝叶斯分类(通过通俗的例子轻松理解朴素贝叶斯与半朴素贝叶斯)
贝叶斯分类 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法.这篇文章我尽可能用直白的话语总结一下我们 ...
- 贝叶斯理论与朴素贝叶斯分类理论(Naive Bayesian Model,NBM)
贝叶斯理论与朴素贝叶斯分类理论(Naive Bayesian Model,NBM) 贝叶斯统计理论是英国数学家托马斯´贝叶斯于18世纪中叶提出并逐步完善的一种数学理论.基于贝叶斯统计理论的贝叶斯决策是 ...
- 朴素贝叶斯 半朴素贝叶斯_使用朴素贝叶斯和N-Gram的Twitter情绪分析
朴素贝叶斯 半朴素贝叶斯 In this article, we'll show you how to classify a tweet into either positive or negativ ...
- 什么是贝叶斯定理?朴素贝叶斯有多“朴素”?终于有人讲明白了
导读:如果有一天,我们知道的统计规律和现实生活发生了冲突,又或者前人的经验不符合亲身经历,那么该怎么办?面对经验与现实的矛盾,我们需要一种应对方案. 作者:徐晟 来源:大数据DT(ID:hzdashu ...
- 三种常用的朴素贝叶斯实现算法——高斯朴素贝叶斯、伯努利朴素贝叶斯、多项式朴素贝叶斯
朴素贝叶斯 在机器学习中,朴素贝叶斯分类器是一系列以假设特征之间强(朴素)独立下运用贝叶斯定理为基础的简单概率分类器. 朴素贝叶斯算法Naive Bayes定义中有两个关键定义:特征之间强假设独立和贝 ...
- 机器学习之贝叶斯(贝叶斯定理、贝叶斯网络、朴素贝叶斯)
一.概率知识点复习 (1)条件概率 就是事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为P(A|B),读作"在B条件下A的概率". (2)联合概率 可以简单的理解为事 ...
- 朴素贝叶斯算法的原理:
朴素贝叶斯算法的原理: 1. 朴素贝叶斯法是典型的生成学习方法. 生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y|X).具体来说,利用训练数据学习P(XY)和P(Y)的估计 ...
- 贝叶斯理论,朴素贝叶斯算法
贝叶斯原理是英国数学家托马斯·贝叶斯提出的.贝叶斯是个很神奇的人,他的经历类似梵高.生前没有得到重视,死后,他写的一篇关于归纳推理的论文被朋友翻了出来,并发表了.这一发表不要紧,结果这篇论文的思想直接 ...
- 机器学习十大经典算法:深入浅出聊贝叶斯决策(贝叶斯公式,最小风险贝叶斯,最小错误贝叶斯)
前言 常听人说,在学习一个东西时,如果能够深入浅出的讲给别人听,才算是真的懂了.最近正好在学模式识别,于是就用它来练笔了.贝叶斯决策(Bayes Decision) 是十大经典机器学习算法之一, ...
最新文章
- Nagios 安装文档
- 使用jclouds在S3上分段上传
- Flask WTForm表单的使用
- vue 树形控件可编辑_vue.js element-ui组件改iview 第一期 tree树形控件
- java控制进程_⑨进程控制
- 如何 珍惜自己和珍重别人。珍惜一切
- vue导出excel并修改样式
- 端口扫描实验和Dos攻击实验
- Internet Tv Radio Player v5.2
- 【无标题】win7系统怎么配置adb环境变量
- 计算机硬盘被制成动态硬盘,win10系统基本磁盘转换成动态磁盘的处理办法
- Linux基本知识总结、常用命令教程、shell脚本开发、编辑器及调试器的使用教程
- 【运营小卖部】如何玩转社群?社群运营教程
- android 调出键盘表情_Android 显示输入法中的emoji表情以及String字符
- 使用 canvas 画矩形,实现橡皮擦功能
- python 拼音地名对应关系,使用Python的http.server实现一个简易的Web Api对外提供HanLP拼音转换服务...
- 开放、自由、参与 ------记“武汉大学开源技术俱乐部成立仪式暨Sun技术讲坛”...
- Rocket核心流程源码分析
- QQ浏览器怎么同步通讯录?QQ浏览器同步通讯录的方法
- 手机重启后android要输入pin,手机这个密码必须设,否则危险!99%的人不知道!...