朴素贝叶斯分类器常用的三种条件概率模型：伯努利、多项式、高斯模型

2024-05-14 16:58:42

一、条件概率和贝叶斯定理

条件概率： $P(A|B)=\frac{P(AB)}{P(B)}$
贝叶斯定理： $P(B|A)=\frac{P(A|B)P(B)}{P(A)}$

贝叶斯分类器：若样本x有n个特征，用( $x_{1},x_{2},...,x_{n}$ )表示，

将其分到类 $y_k$ 的可能性为： $P(y_{k}|x_{1},x_{2},...,x_{n}) = P(y_{k})\prod_{i=1}^{n}P(x_{i}|y_{k})$ 。

根据上面的公式可以求x属于各个分类的可能性，取最大可能性的分类。

二、伯努利模型

处理布尔型特征(true和false，或者1和0)，使用伯努利模型。

如果特征值 $x_i$ 为1,那么 $P(x_i|y_k)=P(x_i=1|y_k)$

如果特征值 $x_i$ 为0,那么 $P(x_i|y_k)=1-P(x_i=1|y_k)$

三、多项式模型

处理离散的特征使用多项式模型。多用在文本分类case中。

多项式模型在计算先验概率 $P(y_k)$ 和条件概率 $P(x_i|y_k)$ 时，会做一些平滑处理，其公式为: $P(x_{i}|y_{k})=\frac{N_{y_{k},x_{i}}+\alpha}{N_{y_{k}}+n\alpha}$

$N_{yk}$ 是类别为 $y_k$ 的样本个数，n是特征的维数， $N_{y_k,x_i}$ 是类别为 $y_k$ 的样本中，第i维特征的值是 $x_i$ 的样本个数，α是平滑值。

四、高斯模型

处理连续的特征变量采用高斯模型。

高斯模型假设每个特征都符合高斯分布: $P(x_{i}|y_{k})=\frac{1}{\sqrt{2\pi\sigma_{y_{k},i}^{2}}}exp({-\frac{(x_{i}-\mu_{y_{k},i})^{2}}{2 \sigma_{y_{k},i}^{2}}})$

$\mu_{y_k,i}$ 表示类别为 $y_k$ 的样本中，第i维特征的均值。
$\sigma^2_{y_k,i}$ 表示类别为 $y_k$ 的样本中，第i维特征的方差。

朴素贝叶斯分类器常用的三种条件概率模型：伯努利、多项式、高斯模型相关推荐

贝叶斯算法 — 朴素贝叶斯分类器— 过滤垃圾邮件 — 流失用户 — 用户画像
目录应用 1. 胃疼胃癌 2. 过滤垃圾邮件朴素贝叶斯分类器概念介绍朴素贝叶斯分类器原理贝叶斯分类器的应用公式求得是后验概率,等式右侧为先验概率贝叶斯定理本质:通过先验概率求后验 ...
机器学习番外篇—朴素贝叶斯三种模型（多项式，高斯，伯努利）
朴素贝叶斯三种模型(多项式,高斯,伯努利) 高斯有些特征可能是连续型变量,比如说人的身高,物体的长度,这些特征可以转换成离散型的值,比如如果身高在160cm以下,特征值为1:在160cm和170cm ...
朴素贝叶斯分类器详解及中文文本舆情分析（附代码实践）
参加 2018 AI开发者大会,请点击 ↑↑↑ 作者 | 杨秀璋(笔名:Eastmount),贵州财经大学信息学院老师,硕士毕业于北京理工大学,主要研究方向是Web数据挖掘.知识图谱.Python数据 ...
（数据科学学习手札30）朴素贝叶斯分类器的原理详解Python与R实现
一.简介要介绍朴素贝叶斯(naive bayes)分类器,就不得不先介绍贝叶斯决策论的相关理论: 贝叶斯决策论(bayesian decision theory)是概率框架下实施决策的基本方法.对分 ...
机器学习 —— 基础整理（二）朴素贝叶斯分类器；文本分类的方法杂谈
上一篇博客复习了贝叶斯决策论,以及生成式模型的参数方法.本篇就给出一个具体的例子:朴素贝叶斯分类器应用于文本分类.后面简单谈了一下文本分类的方法. (五)朴素贝叶斯分类器(NaïveBay ...
python数据挖掘课程】二十一.朴素贝叶斯分类器详解及中文文本舆情分析
#2018-04-06 13:52:30 April Friday the 14 week, the 096 day SZ SSMR python数据挖掘课程]二十一.朴素贝叶斯分类器详解及中文文本舆 ...
文本分类（TFIDF/朴素贝叶斯分类器/TextRNN/TextCNN/TextRCNN/FastText/HAN）
目录简介 TFIDF 朴素贝叶斯分类器贝叶斯公式贝叶斯决策论的理解极大似然估计朴素贝叶斯分类器 TextRNN TextCNN TextRCNN FastText HAN Highway N ...
机器学习基础（六）：贝叶斯分类（贝叶斯决策论、朴素/半朴素贝叶斯分类器、贝叶斯网、EM算法）
6.贝叶斯分类 6.1贝叶斯决策论Bayesian decision theory 概率框架下实施决策的基本方法. 对分类任务来说,在所有相关概率都已知的理想情形下,贝叶斯决策论考虑如何基于这些概率和 ...
从朴素贝叶斯分类器到贝叶斯网络（下）
从朴素贝叶斯分类器到贝叶斯网络(下) 2016年01月04日 00:49:20 阅读数:11673 书接上文 :从朴素贝叶斯分类器到贝叶斯网络(上) 三.贝叶斯网络贝叶斯网络(Bayesian Ne ...
朴素贝叶斯分类器简介及C++实现(性别分类)
贝叶斯分类器是一种基于贝叶斯定理的简单概率分类器. 在机器学习中,朴素贝叶斯分类器是一系列以假设特征之间强(朴素)独立下运用贝叶斯定理为基础的简单概率分类器.朴素贝叶斯是文本分类的一种热门(基准)方法 ...

最新文章

热门文章