机器学习简介——朴素贝叶斯

朴素贝叶斯

朴素贝叶斯（Naive Bayes，NB）：是一种基于概率理论的分类算法，以贝叶斯理论为理论基础，通过计算样本归属于不同类别的概率来进行分类，是一种经典的分类算法。

贝叶斯理论：基于能获得的最好证据（观察、数据和信息等），来计算型信念度（或者假说、主张、命题）的有效方法。信念度即为对事物的真实性和正确性所具有的信心。

朴素：单纯的、粗糙的，简单粗暴的假设给定目标值是属性之间相互条件独立的

朴素贝叶斯的模型

有m个样本，每个样本有n个特征，输出为k个类别，通过样本学习得到先验概率（对于每个分类来讲有多少条记录），通过样本学习得到条件概率（在某一个分类里，存在样本x的概率是多少），通过上述学习结果，可以计算X、Y的联合概率分布

拉普拉斯平滑

拉普拉斯平滑：分类过程中，有时会碰到零概率问题，即某个带预测样本中的某个属性取值在样本中没有出现过，会导致整个概率的计算结果为0。拉普拉斯平滑通过在分子、分母上加上调整可以很好的解决这类问题。

朴素贝叶斯算法的优缺点

NB优点：

有统计学基础背书，分类效率稳定
支持多分类任务
对缺失数据不敏感
算法简单，模型容易解释
计算量小，支持海量数据
支持增量式计算，可用作在线预测

NB缺点：

需要有先验概率，不同值对结果有影响
分类决策存在错误率
对输入数据表达形式敏感
”朴素“的假设对结果影响大

朴素贝叶斯的概念简介相关推荐

机器学习实战教程（四）：朴素贝叶斯基础篇之言论过滤器
一.前言朴素贝叶斯算法是有监督的学习算法,解决的是分类问题,如客户是否流失.是否值得投资.信用等级评定等多分类问题.该算法的优点在于简单易懂.学习效率高.在某些领域的分类问题中能够与决策树.神经网络 ...
机器学习监督学习之分类算法---朴素贝叶斯理论知识
感谢Jack-Cui大佬的知识分享机器学习专栏点击这里目录感谢Jack-Cui大佬的知识分享 0. 概述 1. 朴素贝叶斯理论 1.1 贝叶斯理论 1.1.1 相关计算公式:条件概率公式,贝叶斯 ...
机器学习读书笔记（四）朴素贝叶斯基础篇之网站账号分类
一.条件概率在学习计算p1和p2概率之前,我们需要了解什么是条件概率,就是指在事件B发生的情况下,事件A发生的概率,用P(A|B)来表示. 根据文氏图,可以很清楚地看到在事件B发生的情况下,事件A发 ...
机器学习实战（三）朴素贝叶斯（Peter Harrington著）
知识储备: 一.概率论和数理统计第一章概率论的基本概念 1.必须要掌握的名词 (1) 样本空间一般可以认为是整个样本 (2) 样本点其中的一个样本,其中每个样本一般可以理解为特征向量 (3) ...
机器学习之朴素贝叶斯学习笔记
朴素贝叶斯一.概述朴素贝叶斯算法是有监督的学习算法,解决的是分类问题,如客户是否流失.是否值得投资.信用等级评定等多分类问题.该算法的优点在于简单易懂.学习效率高.在某些领域的分类问题中能够与决策 ...
学习笔记——Kaggle_Digit Recognizer (朴素贝叶斯 Python实现）
本文是个人学习笔记,该篇主要学习朴素贝叶斯算法概念,并应用sklearn.naive_bayes算法包解决Kaggle入门级Digit Recognizer. 贝叶斯定理朴素贝叶斯 Python 代 ...
机器学习实战之朴素贝叶斯
机器学习实战之朴素贝叶斯一.朴素贝叶斯算法概述 1.贝叶斯决策理论 2.条件概率 3.全概率公式 4.贝叶斯推断 5.朴素贝叶斯推断二.实战三.总结 1.朴素贝叶斯推断的一些优点: 2.朴素贝叶 ...
《机器学习实战》——朴素贝叶斯
一前言朴素贝叶斯算法是有监督的学习算法,解决的是分类问题,如客户是否流失.是否值得投资.信用等级评定等多分类问题.该算法的优点在于简单易懂.学习效率高.在某些领域的分类问题中能够与决策树.神经网络 ...
朴素贝叶斯代码实现python
P(B)称为"先验概率",即在A事件发生之前,对B事件概率的一个判断. P(B|A)称为"后验概率",即在A事件发生之后,对B事件概率的重新评估. P(A|B) ...

朴素贝叶斯的概念简介