机器学习 | 朴素贝叶斯法理论知识

贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。朴素贝叶斯法是基于贝叶斯原理与特征条件独立假设的分类方法。即：加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法（Naive Bayes）。

首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。它的思想是：对于给出的待分类项，求解此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

朴素贝叶斯算法

(1) 设元组X=x1,x2,...,xn为一个待分类项，描述n个属性A1,A2,...An对元组的n个测量。

(2) 假定有m个类C1,C2,...,Cm。朴素贝叶斯分类法预测X属于类Ci，当且仅当P(Ci|X)≥P(Cj|X),1≤i,j≤m,i≠j 。

(4) 找出使P(X|Ci)P(Ci)最大的Ci，则X属于类Ci。

根据以上的步骤我们来做一做例题：

给出如表所示的训练样本，目的是判定一个人是否会购买电脑。这个人的属性为X = （年龄 <= 30，收入 = 中等，学生 = 是，信用率 = 一般）。

分类过程：

首先设置类别C1：购买电脑 = “是”，类别C2：购买电脑 = “否”，所以可以求得：

P(C1 )=P(购买电脑=“是”) =9/14=0.643

P(C2 )= P(购买电脑=“否”) =5/14=0.357

然后计算每个类别的P(X | Ci)：

P(年龄=“<30”|购买电脑=“是”)=2/9=0.222

P (年龄=“<30”|购买电脑=“否” )=3/5=0.6

P (收入=“中等”|购买电脑=“是” )=4/9=0.444

P (收入=“中等”|购买电脑=“否” )=2/5=0.4

P (学生=“是”|购买电脑=“是” )=6/9=0.667

P (学生=“是”|购买电脑=“否” )=1/5=0.2

P (信用率=“一般”|购买电脑=“是” )=6/9=0.667

P (信用率=“一般”|购买电脑=“否” )=2/5=0.4

从而可以得到：

P(X|购买电脑=“是”)=0.222×0.444×0.667×0.667=0.044

P(X|购买电脑=“否”)=0.6×0.4×0.2×0.4=0.019

又已知P(Ci)：

P(C1 )=P(购买电脑=“是”) =9/14=0.643

P(C2 )= P(购买电脑=“否”) =5/14=0.357

所以最终得到两个概率：

P(X|购买电脑=“是”)×P(购买电脑=“是”)=0.028

P(X|购买电脑=“否”)×P(购买电脑=“否”)=0.007

故取较大值，X处于类别C1，所以他会购买电脑。

更多的机器学习知识整理和代码时间可以访问以下公众号链接观看

机器学习 | 基本概念（一）http://bbit.vip/service/main.php?version=1&type=article&id=102

机器学习 | 基本概念（二）http://bbit.vip/service/main.php?version=1&type=article&id=103

机器学习 | 感知机理论知识（一）http://bbit.vip/service/main.php?version=1&type=article&id=106

机器学习 | 感知机理论知识（二）http://bbit.vip/service/main.php?version=1&type=article&id=107

机器学习 | 感知机实践 http://bbit.vip/service/main.php?version=1&type=article&id=105

机器学习 | k近邻法理论知识（一）http://bbit.vip/service/main.php?version=1&type=article&id=100

机器学习 | k近邻法理论知识（二）http://bbit.vip/service/main.php?version=1&type=article&id=101

机器学习 | 朴素贝叶斯法知识总结相关推荐

机器学习监督学习之分类算法---朴素贝叶斯理论知识
感谢Jack-Cui大佬的知识分享机器学习专栏点击这里目录感谢Jack-Cui大佬的知识分享 0. 概述 1. 朴素贝叶斯理论 1.1 贝叶斯理论 1.1.1 相关计算公式:条件概率公式,贝叶斯 ...
机器学习之朴素贝叶斯法
转载请注明出处:http://www.cnblogs.com/Peyton-Li/ 朴素贝叶斯法是机器学习模型中一个比较简单的模型,实现简单,比较常用. 是定义在输入空间上的随机向量,是定义在输出空间 ...
机器学习算法总结之朴素贝叶斯法
写在前面贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法.它是基于贝叶斯定理和特征条件独立假设分类方 ...
机器学习-胯下运球之Naive Bayes＜朴素贝叶斯法＞
Naive Bayes 朴素贝叶斯法 It's a way to find the probability of an event using the probability of other eve ...
机器学习-朴素贝叶斯分类器
机器学习-朴素贝叶斯分类器概述定义贝叶斯方法朴素贝叶斯算法算法原理优缺点优点缺点应用文本分类其他概述朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法. 朴素贝叶斯分类 ...
秒懂机器学习---朴素贝叶斯
秒懂机器学习---朴素贝叶斯一.总结一句话总结: 尽管朴素贝叶斯的条件独立性假设存在一定的问题,但是朴素贝叶斯算法仍然能取得比较理想的分类预测结果. 1.朴素贝叶斯分类算法和 KNN分类算法和决 ...
统计学习方法笔记（李航）———第四章（朴素贝叶斯法）
推荐阅读:小白之通俗易懂的贝叶斯定理(Bayes' Theorem) 朴素贝叶斯法是一种多分类算法,它的基础是"朴素贝叶斯假设"(假设实例的各个特征具有条件独立性).根据训练集估计 ...
《统计学习方法》读书笔记——朴素贝叶斯法（公式推导+代码实现）
传送门 <统计学习方法>读书笔记--机器学习常用评价指标 <统计学习方法>读书笔记--感知机(原理+代码实现) <统计学习方法>读书笔记--K近邻法(原理+代码实现 ...
5 机器学习朴素贝叶斯算法高斯模型多项式模型伯努利模型拉普拉普平滑系数 TfidfVectorizer
机器学习 1 朴素贝叶斯算法 1.1 朴素贝叶斯算法介绍朴素贝叶斯算法是一种衡量标签和特征之间概率关系的监督学习算法,是一种专注于分类的算法."朴素"二字表示这个算法基于一个朴素 ...

机器学习 | 朴素贝叶斯法知识总结

机器学习 | 朴素贝叶斯法理论知识

机器学习 | 朴素贝叶斯法知识总结相关推荐

最新文章

热门文章