朴素贝叶斯分类算法简介

先验概率（边缘概率）指根据以往经验和分析得到的概率，比如全概率公式。是"由因求果"问题中的"因"。

后验概率（条件概率）指在得到“结果”的信息后重新修正的概率。是“执果寻因”问题中的"果"。

后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。

贝叶斯公式是关于随机事件A和B的条件概率的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。

朴素贝叶斯分类算法是应用最为广泛的分类算法之一，是以贝叶斯定理为基础，并且假设特征条件之间相互独立的方法。

先通过已给定的训练集，以特征词之间独立作为前提假设，学习从输入到输出的联合概率分布，再基于学习到的模型，输入X求出使得后验概率最大的输出Y

样本数据集D={d1,d2,...,dn}

对应样本数据的特征属性集X={x1,x2,...,xd} （x1...xd相互独立且随机）

类变量Y={y1,y2,...,ym} （即D可以分为ym类别）

Y的先验概率为：

Y的后验概率为：

根据贝叶斯算法可得：

在给定类别 Y 的情况下，进一步表示为：

根据上两式最终可得后验概率为：

由于P(X)大小固定不变，因此在比较后验概率时，只比较上式的分子即可。因此可以得到一个样本数据属于类别 yi 的朴素贝叶斯计算：

朴素贝叶斯分类算法简介相关推荐

朴素贝叶斯分类算法原理
一.朴素贝叶斯分类简介朴素贝叶斯(Naive Bayesian)是基于贝叶斯定理和特征条件独立假设的分类方法,它通过特征计算分类的概率,选取概率大的情况进行分类,因此它是基于概率论的一种机器学习分类 ...
机器学习经典算法——朴素贝叶斯分类算法
目录简介基本概念贝叶斯定理贝叶斯公式的本质内涵代码托马斯·贝叶斯简介朴素贝叶斯分类算法作为机器学习最经典的算法之一,该算法是一种有监督学习算法.其理论基础是"贝叶斯定理&qu ...
第六篇：基于朴素贝叶斯分类算法的邮件过滤系统
前言朴素贝叶斯算法最为广泛而经典的应用毫无疑问是文档分类,更具体的情形是邮件过滤系统. 本文详细地讲解一个基于朴素贝叶斯分类算法的邮件过滤系统的具体实现. 本文侧重于工程实现,至于其中很多算法的细节 ...
数据挖掘：基于朴素贝叶斯分类算法的文本分类实践
前言: 如果你想对一个陌生的文本进行分类处理,例如新闻.游戏或是编程相关类别.那么贝叶斯分类算法应该正是你所要找的了.贝叶斯分类算法是统计学中的一种分类方法,它利用概率论中的贝叶斯公式进行扩展.所以, ...
五、朴素贝叶斯分类算法
1.朴素贝叶斯分类算法的基本内容: 概率基础朴素贝叶斯分类器朴素贝叶斯的核心思想是这样的:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别. 2 ...
分类与监督学习，朴素贝叶斯分类算法
分类与监督学习,朴素贝叶斯分类算法 1.理解分类与监督学习.聚类与无监督学习. (1) 简述分类与聚类的联系与区别. 分类是按照某种标准给对象贴标签,再根据标签来区分归类. 聚类是指事先没有" ...
二维特征分类的基础_带你搞懂朴素贝叶斯分类算法
贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法.这篇文章我尽可能用直白的话语总结一下我们学习会上讲到 ...
数据挖掘 | 判别分析 +朴素贝叶斯分类算法
本节记录一下由贝叶斯定理延伸出来的几种预测性建模的方法,主要为线性判别分析(一次,二次),朴素贝叶斯(稍稍提一下贝叶斯网络) 1. 判别分析判别分析适用于自变量连续,因变量为分类型的情形: 设因变量 ...
机器学习笔记之朴素贝叶斯分类算法
朴素贝叶斯分类算法: 优点:在数据较少的情况下仍然有效,可以处理多分类问题. 缺点:对于输入数据的准备方式较为敏感. 适用数据类型:标称型数据(离散型数据) 算法原理: 对于某一个条件,这个条件下哪个 ...

朴素贝叶斯分类算法简介

朴素贝叶斯分类算法简介相关推荐

最新文章

热门文章