一、全概率公式

1.引例

p（活着） = 0.5 * 0.8 + 0.5 * 0.3
花活着这一事件可以分为两种情况，一种是如果邻居记得浇水的情况下，花活着，另一种是如果邻居忘记浇水的
情况下，花活着。

2.全概率公式

二、贝叶斯公式

1.引例

p（邻居记得浇花 | 花活着） = （p（花活着|邻居记得浇花）* p（邻居记得浇水））/ （p（花活着|邻居记得浇花）*p（邻居记得浇水）+ p（花活着|邻居忘记浇花）*p（邻居忘记浇水）） = （0.8 * 0.5） / （0.8 * 0.5 + 0.3 * 0.5）

2.贝叶斯公式

三、朴素贝叶斯

1.概念

贝叶斯算法基于贝叶斯定理，有严谨的数学理论支撑，当假设各个样本相互独立的情况下时，构造出的贝叶斯算法就叫做朴素贝叶斯算法。

2.算法流程

（1）设数据集为D，其中每一个元组有n个属性，其中一个元组为X = {x1，x2，…，xn}
（2）假设一共有m类{C1，C2，…，Cm}，给定元组X，计算X属于哪一类的概率最大，即P（Ci | X）最大时，X属于概率最大的Ci类。
根据贝叶斯公式，P（Ci | X） = (P（X | Ci）* P(Ci)) / P（X）,其中P（X）可以由全概率公式得到。
（3）对于每一类Ci，P（X）都相同，只需使得分子最大，P（X | Ci）* P(Ci)最大，其中P（Ci）= |Ci| / |D|（即是类别Ci的元组数比上数据集总的元组数）。
（4）对于P（X | Ci）,假设各个属性之间相互独立，
所以P（X | Ci）= P(X1 | Ci) * P(X2 | Ci) …P(Xn | Ci)

如果属性是离散属性，则其中P（X1 | Ci）= Ci中的第一个属性等于X1的元组个数比上D中Ci的元组个数。
如果属性是连续属性，则

3.拉普拉斯校准

如果计算得到了某个P（Xj | Ci）= 0，会使得整个P（X | Ci）等于0，所以当数据样本过小时，如果某个属性的P（Xj | Ci）等于0，会抵消掉其他属性的影响，为了避免这种情况的发生，采用拉普拉斯平滑。
其中:

其中K代表种类个数，Sj代表第j个特征的取值个数，一般取1。

四、一个示例

所以对于X1，X2都适合户外运动。

数据分类算法-朴素贝叶斯相关推荐

Machine Learning | (5) Scikit-learn的分类器算法-朴素贝叶斯
Machine Learning | 机器学习简介 Machine Learning | (1) Scikit-learn与特征工程 Machine Learning | (2) sklearn数据集 ...
a*算法的优缺点_轻松理解机器学习算法-朴素贝叶斯
1.预备知识贝叶斯定理(Bayes' theorem)是概率论中的一个定理,它跟随机变量的条件概率以及边缘概率分布有关.通常事件A在事件B发生的条件下的概率,与事件B在事件A发生的条件下的概率是不一 ...
贝叶斯算法c语言,01 贝叶斯算法 - 朴素贝叶斯
引子: 1.孩子的性别问题已知一对夫妻生了2个孩子,其中一个是女孩,那么另一个也是女孩的概率的多少? 普遍大家会觉得生男生女都一样,所以另一个也是女孩的概率是1/2.而另一部分稍微聪明一点的人认为: ...
【机器学习算法-朴素贝叶斯、支持向量机】
机器学习算法-朴素贝叶斯算法 1.朴素贝叶斯算法 2.支持向量机 2.1SVM基本综述 1.朴素贝叶斯算法朴素贝叶斯是生成模型,需要根据已有的数据求出先验概率. 1.联合概率 2.条件概率 3.相互 ...
python推荐系统算法朴素贝叶斯_机器学习经典算法之朴素贝叶斯分类
很多人都听说过贝叶斯原理,在哪听说过?基本上是在学概率统计的时候知道的.有些人可能会说,我记不住这些概率论的公式,没关系,我尽量用通俗易懂的语言进行讲解. 贝叶斯原理是英国数学家托马斯·贝叶斯提出的. ...
机器学习-分类算法-朴素贝叶斯算法07
概率:概率定义为一件事情发生的可能性如:扔硬币某一面朝上有50%概率 "朴素"贝叶斯:所有特征之间条件独立朴素贝叶斯-文档分类 from sklearn.datasets im ...
python人工智能——机器学习——分类算法-朴素贝叶斯算法对新闻进行分类案例
朴素贝叶斯案例流程 1.加载20类新闻数据,并进行分割 2.生成文章特征词 3.朴素贝叶斯estimator流程进行预估代码 from sklearn.datasets import fetch_2 ...
python人工智能——机器学习——分类算法-朴素贝叶斯算法
1.概率基础 2.朴素贝叶斯介绍概率基础概率定义为一件事情发生的可能性联合概率和条件概率朴素贝叶斯-贝叶斯公式拉普拉斯平滑如果词频列表里面有很多出现次数都为0,则会导致计算结果为0. sk ...
机器学习监督学习之分类算法---朴素贝叶斯代码实践
目录 1. 言论过滤器 1.1 项目描述 1.2 朴素贝叶斯工作原理: 1.2.1 词条向量 1.3 开发流程: 1.4 代码实现 1.4.1 创建样本 1.4.2 构建词汇表,用于建立词集向量 1 ...
机器学习监督学习之分类算法---朴素贝叶斯理论知识
感谢Jack-Cui大佬的知识分享机器学习专栏点击这里目录感谢Jack-Cui大佬的知识分享 0. 概述 1. 朴素贝叶斯理论 1.1 贝叶斯理论 1.1.1 相关计算公式:条件概率公式,贝叶斯 ...

数据分类算法-朴素贝叶斯

文章目录

一、全概率公式

1.引例

2.全概率公式

二、贝叶斯公式

1.引例

2.贝叶斯公式

三、朴素贝叶斯

1.概念

2.算法流程

3.拉普拉斯校准

四、一个示例

数据分类算法-朴素贝叶斯相关推荐

最新文章

热门文章