朴素贝叶斯算法

贝叶斯定理

贝叶斯定理（Bayes Theorem）也称贝叶斯公式，是关于随机事件的条件概率的定理定理内容：如果随机事件A1 ,A2 ,...,An构成样本空间的一个划分（不重、不漏），且都有正概率，则对任何一个事件B（P(B)>0），有

提示： 贝叶斯定理是“由果溯因”的推断，所以计算的是"后验概率"

举例说明：

据天气预报预测，今日下雨(事件A)的概率为50%——P(A)；

堵车（事件B）的概率是80%——P（B）

如果下雨，堵车的概率是95%——P(B|A)

计算：如果放眼望去，已经堵车了，下雨的概率是多少？

根据贝叶斯定理：P(A|B)=0.5x0.95÷0.8=0.59375

朴素贝叶斯算法原理

重要前提条件： 一定要“朴素”—— 样本的各特征之间相互独立

对于待分类样本，在此待分类样本出现的条件下（也就是样本各个特征已知），计算各个类别出现的概率，哪个最大就认为此样本属于哪个类别。

详细过程

1 设x={a1 ,a2 1 ,...,am}为一个待分类项，而每个a为x的一个特征属性
2 有类别集合C={y1 ,y2 2 ,...,yn}
3 计算P(y1|x)，P(y2|x)，...，P(yn|x)
4 如果P(yk|x)=max{P(y1|x)，P(y2|x)，...，P(yn|x)}，则x∈yk 4

对于第三步的详细计算：

朴素贝叶斯的三种方式

三种朴素贝叶斯的适用条件

伯努利朴素贝叶斯

适用于离散变量，条件是各个特征是服从伯努利分布（0-1分布），每一个特征的取值只能有两种值。在scikit-learn中，使用 sklearn.naive_bayes.BernoulliNB实现伯努利朴素贝叶斯。

高斯朴素贝叶斯

适用于连续变量，条件是各个特征是服从正态分布的。在scikitlearn中，使用 sklearn.naive_bayes.GaussianNB实现高斯朴素贝叶斯。

多项式朴素贝叶斯

适用于离散变量，条件是各个特征是服从多项式分布的，所以每个特征值不能是负数。在scikit-learn中，使用sklearn.naive_bayes.MultinomialNB实现多项式朴素贝叶斯。

补充： 多项式分布来源于统计学中的多项式实验：实验包括n次重复试验，每项试验都有不同的可能结果。在任何给定的试验中，特定结果发生的概率是不变的

实战——肿瘤类别的分类

数据集简介

威斯康星乳腺肿瘤数据集是一个非常经典的用于医疗病情分析的数据集，它包括569个病例的数据样本，每个样本具有30个特征，而样本共分为两类：恶性（Malignant）、良性（Benign）。使用sklearn.datasets.load_breast_cancer加载数据集。

使用高斯朴素贝叶斯分类

由于数据集的各个特征属于连续型变量（半径、表面积、平滑度等），所以使用高斯朴素贝叶斯(GaussianNB)进行分类。

from sklearn.datasets import load_breast_cancercancer = load_breast_cancer()  # 加载威斯康星乳腺肿瘤数据集# 拆分数据集
from sklearn.model_selection import train_test_splitX_train,X_test,y_train,y_test = train_test_split(cancer.data,cancer.target,random_state=666)
from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
gnb.fit(X_train,y_train)  # 训练集上拟合
gnb.score(X_test,y_test)  # 测试集上测试

基于朴素贝叶斯算法对肿瘤类别分类相关推荐

《机器学习实战》基于朴素贝叶斯算法实现垃圾邮件分类
import random import sys import numpy as np import pandas as pd from pandas import Series, DataFrame ...
python：基于朴素贝叶斯算法的垃圾邮件过滤分类
目录一.朴素贝叶斯算法 1.概述 2.推导过程二.实现垃圾邮件过滤分类 1.垃圾邮件问题背景 2.朴素贝叶斯算法实现垃圾邮件分类的步骤 3.python实现参考学习网址:https://blog ...
朴素贝叶斯算法：实现邮件分类
朴素贝叶斯算法:实现邮件分类注:代码和数据已上传:https://download.csdn.net/download/j__max/10705454 一.实验准备 1.实验内容和目的使用5000 ...
朴素贝叶斯算法实现英文文本分类
目录 1. 作者介绍 2. 朴素贝叶斯算法简介及案例 2.1朴素贝叶斯算法简介 2.2文本分类器 2.3对新闻文本进行文本分类 3. Python 代码实现 3.1文本分类器 3.2 新闻文本分类参 ...
基于朴素贝叶斯+Python实现垃圾邮件分类和结果分析
基于朴素贝叶斯+Python实现垃圾邮件分类朴素贝叶斯原理请参考: 贝叶斯推断及其互联网应用(二):过滤垃圾邮件 Python实现源代码主干来自: python实现贝叶斯推断--垃圾邮件分类我 ...
基于朴素贝叶斯算法的脱贫攻坚小数据分类算法
通过对**县**乡**村扶贫工作数据分析,提出一种适用于精准扶贫的小数据分析方法.将机器学习.数据理论中的相关性分析和推理方法进行改进,得出基于朴素贝叶斯的小数据分析方法.本程序依据如下公式设计: 式 ...
Python scikit-learn，分类，朴素贝叶斯算法，文档分类，MultinomialNB，拉普拉斯平滑系数
朴素贝叶斯预测分类的思想就是根据待预测文档的特征(TF-IDF高的词)分别计算属于各个类别的概率,其中概率最大的类别,就是预测的类别.(朴素的意思就是文档的特征(词)之间相互独立) 朴素贝叶斯进行文档 ...
机器学习——朴素贝叶斯算法（垃圾邮件分类）
朴素贝叶斯算法介绍以及垃圾邮件分类实现 1.一些数学知识 2.贝叶斯公式 3.朴素贝叶斯算法 (1)介绍 (2)核心思想 (3)朴素贝叶斯算法 (4)拉普拉斯修正 (5)防溢出策略 (6)一般过程 ( ...
朴素贝叶斯算法之鸢尾花特征分类【机器学习】【伯努利分布,多项式分布,高斯分布】
文章目录一.前言 1.1 本文原理 1.2 本文目的二.实验过程 2.1使用BernoulliNB(伯努利分布)给鸢尾花分类,写出代码,对运行结果截图并对分类结果进行分析: 2.2 使用Multi ...

基于朴素贝叶斯算法对肿瘤类别分类

朴素贝叶斯算法

朴素贝叶斯的三种方式

实战——肿瘤类别的分类

基于朴素贝叶斯算法对肿瘤类别分类相关推荐

最新文章

热门文章