1.朴素贝叶斯的基本原理

2. 贝叶斯算法实现

2.1 数据集的准备与处理

import numpy as np
import pandas as pd
import matplotlib.pyplot as pltfrom sklearn.datasets import load_iris #数据集提供包
from sklearn.model_selection import train_test_split #数据集划分包from collections import Counter
import math# 加载数据，并做预处理
def create_data():iris = load_iris() # 加载数据集df = pd.DataFrame(iris.data, columns=iris.feature_names)df['label'] = iris.targetdf.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']data = np.array(df.iloc[:100, :])print("查看data的数据详情：",data)return data[:,:-1], data[:,-1]#将调用create_data()的返回值data[:,:-1], data[:,-1]，分别传给X,y
#Tips： data[:,:-1]---> 表示取最后一列以外的全部数据（作为训练数据）
#       data[:,-1]----> 表示取最后一列（通常用作标签）
X, y = create_data()# 将所有训练数据X以及所有标签y，按test_size=0.3的比例分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
print("查看第一个测试集的训练数据和标签数据：",X_test[0], y_test[0])

C:\Users\ZARD\anaconda3\envs\PyTorch\python.exe C:/Users/ZARD/PycharmProjects/pythonProject/统计学习算法实现/Naive_Bayes.py
查看data的数据详情： [[5.1 3.5 1.4 0.2 0. ][4.9 3.  1.4 0.2 0. ][4.7 3.2 1.3 0.2 0. ][4.6 3.1 1.5 0.2 0. ][5.  3.6 1.4 0.2 0. ][5.4 3.9 1.7 0.4 0. ][4.6 3.4 1.4 0.3 0. ][5.  3.4 1.5 0.2 0. ][4.4 2.9 1.4 0.2 0. ][4.9 3.1 1.5 0.1 0. ][5.4 3.7 1.5 0.2 0. ][4.8 3.4 1.6 0.2 0. ][4.8 3.  1.4 0.1 0. ][4.3 3.  1.1 0.1 0. ][5.8 4.  1.2 0.2 0. ][5.7 4.4 1.5 0.4 0. ][5.4 3.9 1.3 0.4 0. ][5.1 3.5 1.4 0.3 0. ][5.7 3.8 1.7 0.3 0. ][5.1 3.8 1.5 0.3 0. ][5.4 3.4 1.7 0.2 0. ][5.1 3.7 1.5 0.4 0. ][4.6 3.6 1.  0.2 0. ][5.1 3.3 1.7 0.5 0. ][4.8 3.4 1.9 0.2 0. ][5.  3.  1.6 0.2 0. ][5.  3.4 1.6 0.4 0. ][5.2 3.5 1.5 0.2 0. ][5.2 3.4 1.4 0.2 0. ][4.7 3.2 1.6 0.2 0. ][4.8 3.1 1.6 0.2 0. ][5.4 3.4 1.5 0.4 0. ][5.2 4.1 1.5 0.1 0. ][5.5 4.2 1.4 0.2 0. ][4.9 3.1 1.5 0.2 0. ][5.  3.2 1.2 0.2 0. ][5.5 3.5 1.3 0.2 0. ][4.9 3.6 1.4 0.1 0. ][4.4 3.  1.3 0.2 0. ][5.1 3.4 1.5 0.2 0. ][5.  3.5 1.3 0.3 0. ][4.5 2.3 1.3 0.3 0. ][4.4 3.2 1.3 0.2 0. ][5.  3.5 1.6 0.6 0. ][5.1 3.8 1.9 0.4 0. ][4.8 3.  1.4 0.3 0. ][5.1 3.8 1.6 0.2 0. ][4.6 3.2 1.4 0.2 0. ][5.3 3.7 1.5 0.2 0. ][5.  3.3 1.4 0.2 0. ][7.  3.2 4.7 1.4 1. ][6.4 3.2 4.5 1.5 1. ][6.9 3.1 4.9 1.5 1. ][5.5 2.3 4.  1.3 1. ][6.5 2.8 4.6 1.5 1. ][5.7 2.8 4.5 1.3 1. ][6.3 3.3 4.7 1.6 1. ][4.9 2.4 3.3 1.  1. ][6.6 2.9 4.6 1.3 1. ][5.2 2.7 3.9 1.4 1. ][5.  2.  3.5 1.  1. ][5.9 3.  4.2 1.5 1. ][6.  2.2 4.  1.  1. ][6.1 2.9 4.7 1.4 1. ][5.6 2.9 3.6 1.3 1. ][6.7 3.1 4.4 1.4 1. ][5.6 3.  4.5 1.5 1. ][5.8 2.7 4.1 1.  1. ][6.2 2.2 4.5 1.5 1. ][5.6 2.5 3.9 1.1 1. ][5.9 3.2 4.8 1.8 1. ][6.1 2.8 4.  1.3 1. ][6.3 2.5 4.9 1.5 1. ][6.1 2.8 4.7 1.2 1. ][6.4 2.9 4.3 1.3 1. ][6.6 3.  4.4 1.4 1. ][6.8 2.8 4.8 1.4 1. ][6.7 3.  5.  1.7 1. ][6.  2.9 4.5 1.5 1. ][5.7 2.6 3.5 1.  1. ][5.5 2.4 3.8 1.1 1. ][5.5 2.4 3.7 1.  1. ][5.8 2.7 3.9 1.2 1. ][6.  2.7 5.1 1.6 1. ][5.4 3.  4.5 1.5 1. ][6.  3.4 4.5 1.6 1. ][6.7 3.1 4.7 1.5 1. ][6.3 2.3 4.4 1.3 1. ][5.6 3.  4.1 1.3 1. ][5.5 2.5 4.  1.3 1. ][5.5 2.6 4.4 1.2 1. ][6.1 3.  4.6 1.4 1. ][5.8 2.6 4.  1.2 1. ][5.  2.3 3.3 1.  1. ][5.6 2.7 4.2 1.3 1. ][5.7 3.  4.2 1.2 1. ][5.7 2.9 4.2 1.3 1. ][6.2 2.9 4.3 1.3 1. ][5.1 2.5 3.  1.1 1. ][5.7 2.8 4.1 1.3 1. ]]
查看第一个测试集的训练数据和标签数据： [4.8 3.1 1.6 0.2] 0.0Process finished with exit code 0

Tips： data[:,:-1]---> 表示取最后一列以外的全部数据（作为训练数据）
data[:,-1]----> 表示取最后一列（通常用作标签）

将加载数据，并做预处理步骤打包成函数，也是不错的一个思想诺！

2.2 GaussianNB 高斯朴素贝叶斯

参考：https://machinelearningmastery.com/naive-bayes-classifier-scratch-python/

import numpy as np
import pandas as pd
import matplotlib.pyplot as pltfrom sklearn.datasets import load_iris #数据集提供包
from sklearn.model_selection import train_test_split #数据集划分包from collections import Counter
import math# 加载数据，并做预处理
def create_data():iris = load_iris() # 加载数据集df = pd.DataFrame(iris.data, columns=iris.feature_names)df['label'] = iris.targetdf.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']data = np.array(df.iloc[:100, :])print("查看data的数据详情：",data)return data[:,:-1], data[:,-1]#将调用create_data()的返回值data[:,:-1], data[:,-1]，分别传给X,y
#Tips： data[:,:-1]---> 表示取最后一列以外的全部数据（作为训练数据）
#       data[:,-1]----> 表示取最后一列（通常用作标签）
X, y = create_data()# 将所有训练数据X以及所有标签y，按test_size=0.3的比例分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
print("查看第一个测试集的训练数据和标签数据：",X_test[0], y_test[0])class NaiveBayes:def __init__(self):self.model = None# 数学期望@staticmethod #静态方法：不实例化类的情况下可以直接访问该方法def mean(X):return sum(X) / float(len(X))# 标准差（方差）def stdev(self, X):avg = self.mean(X)return math.sqrt(sum([pow(x - avg, 2) for x in X]) / float(len(X)))# 概率密度函数def gaussian_probability(self, x, mean, stdev):exponent = math.exp(-(math.pow(x - mean, 2) /(2 * math.pow(stdev, 2))))return (1 / (math.sqrt(2 * math.pi) * stdev)) * exponent# 处理X_traindef summarize(self, train_data):summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]return summaries# 分类别求出数学期望和标准差def fit(self, X, y):labels = list(set(y))data = {label: [] for label in labels}for f, label in zip(X, y):data[label].append(f)self.model = {label: self.summarize(value)for label, value in data.items()}return 'gaussianNB train done!'# 计算概率def calculate_probabilities(self, input_data):# summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}# input_data:[1.1, 2.2]probabilities = {}for label, value in self.model.items():probabilities[label] = 1for i in range(len(value)):mean, stdev = value[i]probabilities[label] *= self.gaussian_probability(input_data[i], mean, stdev)return probabilities# 类别def predict(self, X_test):# {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26}label = sorted(self.calculate_probabilities(X_test).items(),key=lambda x: x[-1])[-1][0]return labeldef score(self, X_test, y_test):right = 0for X, y in zip(X_test, y_test):label = self.predict(X)if label == y:right += 1return right / float(len(X_test))model = NaiveBayes() #实例化朴素贝叶斯
model.fit(X_train, y_train) #分类别求出数学期望和标准差print(model.predict([4.4,  3.2,  1.3,  0.2]))  # 0.0
model.score(X_test, y_test) #1.0

2.2.1 @staticmethod静态方法

(1条消息) python 理解@staticmethod静态方法_季布，的博客-CSDN博客_python @staticmethod原理

2.2.2 几种概率统计量的编码

   # 数学期望@staticmethod #静态方法：不实例化类的情况下可以直接访问该方法def mean(X):return sum(X) / float(len(X))# 标准差（方差）def stdev(self, X):avg = self.mean(X)return math.sqrt(sum([pow(x - avg, 2) for x in X]) / float(len(X)))# 概率密度函数def gaussian_probability(self, x, mean, stdev):exponent = math.exp(-(math.pow(x - mean, 2) /(2 * math.pow(stdev, 2))))return (1 / (math.sqrt(2 * math.pi) * stdev)) * exponent# 处理X_traindef summarize(self, train_data):summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]return summaries# 分类别求出数学期望和标准差def fit(self, X, y):labels = list(set(y))data = {label: [] for label in labels}for f, label in zip(X, y):data[label].append(f)self.model = {label: self.summarize(value)for label, value in data.items()}return 'gaussianNB train done!'# 计算概率def calculate_probabilities(self, input_data):# summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}# input_data:[1.1, 2.2]probabilities = {}for label, value in self.model.items():probabilities[label] = 1for i in range(len(value)):mean, stdev = value[i]probabilities[label] *= self.gaussian_probability(input_data[i], mean, stdev)return probabilities

2.3 scikit-learn 高斯贝叶斯实例

from sklearn.naive_bayes import GaussianNB

主要代码如下：

from sklearn.naive_bayes import GaussianNB
clf = GaussianNB()  # 实例化高斯贝叶斯模型
clf.fit(X_train, y_train) #分类别求出数学期望和标准差
print(clf.score(X_test, y_test)) #类别
print(clf.predict([[4.4,  3.2,  1.3,  0.2]]))  # 0.0

from sklearn.naive_bayes import GaussianNB
import numpy as np
import pandas as pd
import matplotlib.pyplot as pltfrom sklearn.datasets import load_iris #数据集提供包
from sklearn.model_selection import train_test_split #数据集划分包from collections import Counter
import math# 加载数据，并做预处理
def create_data():iris = load_iris() # 加载数据集df = pd.DataFrame(iris.data, columns=iris.feature_names)df['label'] = iris.targetdf.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']data = np.array(df.iloc[:100, :])print("查看data的数据详情：",data)return data[:,:-1], data[:,-1]#将调用create_data()的返回值data[:,:-1], data[:,-1]，分别传给X,y
#Tips： data[:,:-1]---> 表示取最后一列以外的全部数据（作为训练数据）
#       data[:,-1]----> 表示取最后一列（通常用作标签）
X, y = create_data()# 将所有训练数据X以及所有标签y，按test_size=0.3的比例分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
print("查看第一个测试集的训练数据和标签数据：",X_test[0], y_test[0])clf = GaussianNB()  # 实例化高斯贝叶斯模型
clf.fit(X_train, y_train) #分类别求出数学期望和标准差
print(clf.score(X_test, y_test)) #类别
print(clf.predict([[4.4,  3.2,  1.3,  0.2]]))  # 0.0

2.4 贝叶斯的伯努利模型和多项式模型

from sklearn.naive_bayes import BernoulliNB, MultinomialNB # 伯努利模型和多项式模型

参考代码：https://github.com/wzyonggege/statistical-learning-method

本文代码更新地址：https://github.com/fengdu78/lihang-code

中文注释制作：机器学习初学者公众号：ID:ai-start-com

3. 意犹未尽

如下大佬文章来满足：

scikit-learn 朴素贝叶斯类库使用小结 - 刘建平Pinard - 博客园 (cnblogs.com)

(1条消息) 朴素贝叶斯分类算法[sklearn.naive_bayes/GaussianNB/MultinomialNB/BernoulliNB]_Doris_H_n_q的博客-CSDN博客

一文搞懂Python库中的5种贝叶斯算法 - 知乎 (zhihu.com)
超参数调优总结，贝叶斯优化Python代码示例 - 知乎 (zhihu.com)

贝叶斯超参数寻优（附Python代码，scikit-optimize） - 知乎 (zhihu.com)

统计学习方法03—朴素贝叶斯算法相关推荐

【统计学习方法】朴素贝叶斯
一.前言首先介绍朴素贝叶斯的核心公式: P A ∣ B ) = P ( A ) P ( B ∣ A ) P ( B ) PA|B) = \frac{{P(A)P(B|A)}}{{P(B)}} PA∣ ...
李航《统计学习方法》朴素贝叶斯的python实现
前言朴素贝叶斯算法是通过贝叶斯公式及条件的独立性建立的一个生成模型,具体内容及原理参见李航<统计学习方法>,下面对朴素贝叶斯算法通过python 实现.因为本人是数学专业非科班,所以很多 ...
统计学习方法：朴素贝叶斯
作者:桂. 时间:2017-04-20 18:31:37 链接:http://www.cnblogs.com/xingshansi/p/6740308.html 前言本文为<统计学习方法&g ...
【统计学习方法】朴素贝叶斯对鸢尾花(iris)数据集进行训练预测
本文摘要 · 理论来源:[统计学习方法]第三四章朴素贝叶斯 · 技术支持:pandas(读csv).numpy.sklearn.naive_bayes.GaussianNB(高斯朴素贝叶斯模型).s ...
李航《统计学习方法》-----朴素贝叶斯
朴素贝叶斯法naïve Bayes,在naïve的中间字母上其实有两个点,查了一下才发现是法语中的分音符,在发音过程中发挥作用.但这不是重要的,重要的是在这种学习方法中贝叶斯承担了什么样的角色. 首先 ...
Python scikit-learn，分类，朴素贝叶斯算法，文档分类，MultinomialNB，拉普拉斯平滑系数
朴素贝叶斯预测分类的思想就是根据待预测文档的特征(TF-IDF高的词)分别计算属于各个类别的概率,其中概率最大的类别,就是预测的类别.(朴素的意思就是文档的特征(词)之间相互独立) 朴素贝叶斯进行文档 ...
朴素贝叶斯算法_机器学习第三篇：详解朴素贝叶斯算法
一.统计知识 01|随机事件: 1.概念随机事件是在随机试验中,可能出现也可能不出现,而在大量重复试验中具有某种规律性的事件叫做随机事件(简称事件).随机事件通常用大写英文字母A.B.C等表示.随机 ...
机器学习第三篇：详解朴素贝叶斯算法
一.统计知识 01|随机事件: 1.概念随机事件是在随机试验中,可能出现也可能不出现,而在大量重复试验中具有某种规律性的事件叫做随机事件(简称事件).随机事件通常用大写英文字母A.B.C等表示.随机 ...
《统计学习方法》—— 朴素贝叶斯方法、详细推导及其python3实现（一）
前言朴素贝叶斯方法通过构造数据生成分布来预测未知数据的类型,属于生成模型.这里之所以称为"朴素",是因为我们假设数据特征之间具有互相独立的假设. 在这篇博客里,我们将介绍朴素贝叶 ...

统计学习方法03—朴素贝叶斯算法