机器学习实战 - 读书笔记(04) - 朴素贝叶斯

2024-05-03 07:25:41

核心公式 - 贝叶斯准则

\[p(c|x) = \frac{p(x|c)p(c)}{p(x)}\]

p(c|x) 是在x发生的情况下，c发生的概率。
p(x|c) 是在c发生的情况下，x发生的概率。
p(c) 是c发生的概率。
p(x) 是x发生的概率。

规则

如果P(c₁|x) > P(c₂|x)，那么属于类别c₁。
如果P(c₁|x) < P(c₂|x)，那么属于类别c₂。

等价变化

\[p(c1|x) = \frac{p(x|c1)p(c1)}{p(x)}\]
\[p(c2|x) = \frac{p(x|c2)p(c2)}{p(x)}\]
Therefore, comparing p(c1|x) and p(c2|x)
are same as comparing
\(\frac{p(x|c1)p(c1)}{p(x)}\) and \(\frac{p(x|c2)p(c2)}{p(x)}\)
same as comparing
\(p(x|c1)p(c1)\) and \(p(x|c2)p(c2)\)

多个独立特征的变化

p(x|c1)中，x是多个独立特征，即\(x=x_0,x_1...x_n\),
则： \(p(x|c1)=p(x_0,x_1...x_n|c1)\)
\(p(x|c1)=p(x_0|c1)p(x_1|c1)...p(x_n|c1)\)

下溢出问题

为了解决下溢出问题，这是由于太多很小的数相乘造成的,所以程序会下溢出或者得到不正确的答案。
在代数中有ln(a*b) = ln(a)+ln(b)，于是通过求对数可以避免下溢出或者浮点数舍入导致的错误。同时，采用自然对数进行处理不会有任何损失。
Therefore, comparing p(c1|x) and p(c2|x)
same as comparing
\(log(p(x_0|c1)) + log(p(x_1|c1)) + ... + log(p(x_n|c1) + log(p(c1))\) and
\(log(p(x_0|c2)) + log(p(x_1|c2)) + ... + log(p(x_n|c2) + log(p(c2))\)

实际应用

过滤侮辱性留言
过滤垃圾邮件

转载于:https://www.cnblogs.com/steven-yang/p/5592582.html

机器学习实战 - 读书笔记(04) - 朴素贝叶斯相关推荐

机器学习实战读书笔记(3)朴素贝叶斯
贝叶斯定理要理解贝叶斯推断,必须先理解贝叶斯定理.后者实际上就是计算"条件概率"的公式. 所谓"条件概率"(Conditional probability), ...
机器学习实战（三）朴素贝叶斯NB（Naive Bayes）
目录 0. 前言 1. 条件概率 2. 朴素贝叶斯(Naive Bayes) 3. 朴素贝叶斯应用于文本分类 4. 实战案例 4.1. 垃圾邮件分类案例学习完机器学习实战的朴素贝叶斯,简单的做个笔记 ...
机器学习实战（三）朴素贝叶斯（Peter Harrington著）
知识储备: 一.概率论和数理统计第一章概率论的基本概念 1.必须要掌握的名词 (1) 样本空间一般可以认为是整个样本 (2) 样本点其中的一个样本,其中每个样本一般可以理解为特征向量 (3) ...
《机器学习实战》-04 朴素贝叶斯
说明: 作业的所有代码都要基于Python3 学习大纲:https://blog.csdn.net/qq_34243930/article/details/84669684 (所有计划均在学习大纲里) ...
机器学习实战---读书笔记：第11章使用Apriori算法进行关联分析---2---从频繁项集中挖掘关联规则
#!/usr/bin/env python # encoding: utf-8''' <<机器学习实战>> 读书笔记第11章使用Apriori算法进行关联分析---从频繁项 ...
机器学习实战读书笔记--朴素贝叶斯
1.朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法, 最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model, ...
04 朴素贝叶斯法——读书笔记
一.相关概念: 先验概率: 是指事件发生前的预判概念,也可以说是"因"发生的概率,即表示为 P(X). 条件概率: 是指事件发生后求得反向条件概率,也可以说是在"因&qu ...
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现
本文主要描述了朴素贝叶斯分类方法,包括模型导出和学习描述.实例部分总结了<machine learning in action>一书中展示的一个该方法用于句子感情色彩分类的程序.1 方法概 ...
机器学习读书笔记之6 - 贝叶斯系列
概率论只不过是把常识用数学公式表达了出来. --拉普拉斯目录 0. 前言 1. 历史 1.1 一个例子:自然语言的二义性 1.2 贝叶斯公式 2. 拼写纠正 3. 模型比较 ...

最新文章

热门文章