1.朴素贝叶斯

1.1背景

朴素贝叶斯来源于贝叶斯学派，他们的理论与传统的统计学观点相悖，其中最大的分歧点之一是关于“先验”的使用。传统统计学认为概率即频率，计算概率只应从观测到的数据出发，是客观的。但是贝叶斯学派则认为处理现实中的问题可以加入主观的考虑，即先验。在我看来他们的分歧十分有趣，分歧点似乎甚至可以上升到哲学，即唯物与唯心的不同上，如果一个人是坚定的唯物主义者（非辩证），那么我想他应该不会支持贝叶斯的理论。（瞎想的，如果有问题请指正）

贝叶斯理论发展至今已经十分完善，它可以用来解决很多机器学习以及人工智能的问题。它在该领域最主要的工作是进行分类。

1.2理论内容

朴素贝叶斯是贝叶斯分类法的一个简单分支，将其称为朴素（Naive）是因为它对分类问题有一个很严格的假设，使问题简化从而得到解决。这套说辞好熟悉，原来我们在面对线性回归与广义线性模型的时候也说过，所以这么一想我觉得线性回归是不是可以叫 Naive Linear Regression呢。

朴素贝叶斯的假设是：x的各个特征信息具备条件独立性，即它们彼此相互独立，互不影响。

公式： $p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

其中p(y)就是先验。分类任务中，我们有很多标签值/类别（y1,y2,y3...），在算一组数据已知（x1,x2,x3...)的情况下结果为y1的概率时，该公式利用已知的数据来进行计算。具体为先计算已知y1类别中不同特征x的概率，再乘以先验也就是y1的概率，再除以该组x的概率。这样描述过于抽象，这那的概率绕到让人头大，所以简单举一个例子。

借用周志华老师用西瓜举例的想法，假设我们的x的特征包括纹理，瓜蒂，声响这三样，我们希望建立一个算法利用这些特征判断瓜甜不甜，已知我们已经拥有了一堆各式各样的西瓜切都亲身尝了尝，也就是都分类过了。现在我们新拿到了一个纹理均匀，瓜蒂硬挺，声响闷闷的瓜，想知道它有多大可能是甜的，这就是等式左面的p(y|x)，它等于什么呢？

我们回头看一下之前已经尝过的瓜，先计算甜瓜中纹理均匀的瓜占比多少，然后是甜瓜中瓜蒂硬挺的占比多少，最后是甜瓜中声响闷的瓜占比为多少，将他们相乘，便是等式右边分子的第一部分p(x|y)，等等，这里三项相乘，但公式中只有一项，其实他们是等价的，这里就要提到朴素贝叶斯的假设：彼此独立。 $p(x|y) = p(x_{1},x_{2},x_{3}|y) = p(x_{1}|y)p(x_{2}|y)p(x_{3}|y)$

随后我们再计算先验p(y)，也就是在我们的瓜中好瓜的占比。到这里分子部分已经计算完成。

分母也很简单，一个公式相信就能看懂了 $p(x) = p(x_{1},x_{2},x_{3})=p(x_{1})p(x_{2})p(x_{3})$ 。这三部分算出来，彼此乘除就可以的到我们想要的预测结果了。

p(y)是先验，还有个后验就是p(y|x)，先验是我们在事件发生前的猜测，直觉认为抛硬币正面的概率是0.5就是先验。后验就是根据事件发生的结果来推断原因。

写到这里总觉得少点什么，为什么呢？这个公式咋来的？凭啥就说这个公式就能分类了呢？

1.3原理与应用

其实超级简单，条件概率是这样计算的：

$p(A|B) = \frac{p(AB)}{p(B)}, p(B|A)=\frac{p(AB)}{p(A)} \therefore p(A|B)p(B) = p(B|A)p(A)$

把p(B)除过去就是我们的贝叶斯公式了，然后贝叶斯赋予了各部分解释，所以其本质还是来源于概率论中的原理，就是为了求p(y|x)嘛！

举的西瓜的例子也颇为简单，输入经过编码后都是离散值，其实朴素贝叶斯（NB）包括三种模型，伯努利NB用于处理特征只有0和1的情况，多项式NB用于处理更复杂离散值的情况（类似我们的西瓜问题），高斯NB则处理特征为连续值的情况。此处参考：【实例讲解】贝叶斯推理原理

伯努利与多项式其实不复杂，无疑就是频率相乘除。为什么连续值要用到高斯分布模型呢？首先易知它算频率很不好算，两个连续的数值差0.00001也都只是各算出现一次，我们需要切换角度：高斯模型假设这些特征所属于某个类别的观测值符合高斯分布。所以当我们获得一个特征的数值时，我们利用已知数据构建一个高斯概率密度函数，然后将该值放入该模型中来得到这个值在这里分布的概率，从而达到目的。此处参考，高斯部分讲解的很好：朴素贝叶斯的三个常用模型：高斯、多项式、伯努利

1.4实践

离散值的例子实现起来非常简单，就是简单算个各部分频率再相乘就好了，所以选取高斯NB作为实践内容，仍然是iris数据集，注意未标明的一点是，为了计算方便，我们最后计算概率时使用了log的trick来将乘法变为加法。参考：Python手写实现朴素贝叶斯（从原理到代码）

1.4.1代码

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import numpy as np
import pandas as pd
# pandas内部有很多方便的函数帮助我们计算概率，如value_counts()iris = load_iris()
data = iris.data
target = iris.target
X_train,X_test, y_train, y_test = train_test_split(data, target, test_size=1)
data_train = pd.DataFrame(X_train)
data_train['y'] = y_trainp_y = data_train['y'].value_counts()/len(data_train)n_classes = 3
n_features = 4
theta = np.zeros((n_classes, n_features))
sigma = np.zeros((n_classes, n_features))# 训练
for c in set(data_train.y):for x in data_train.columns[:-1]:temp = data_train[data_train.y==c]theta[c,x] = temp[x].mean()sigma[c,x] = temp[x].std()# 测试
X_test = X_test.reshape(-1,)
a = (1/(sigma*(2*np.pi)**0.5))*np.exp(-((X_test-theta)**2/(2*sigma**2)))
b = np.log(a)
c = np.sum(b,axis=1) + np.log(p_y.values)
max_class = np.argmax(c)
print(max_class)
print(y_test)

1.4.2结果

1
[1]

AI实践之路：朴素贝叶斯相关推荐

04机器学习实战之朴素贝叶斯
朴素贝叶斯概述贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.本章首先介绍贝叶斯分类算法的基础--贝叶斯定理.最后,我们通过实例来讨论贝叶斯分类的中最简单的一种: ...
【机器学习实战】第4章朴素贝叶斯（Naive Bayes）
第4章基于概率论的分类方法:朴素贝叶斯朴素贝叶斯概述贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.本章首先介绍贝叶斯分类算法的基础--贝叶斯定理.最后,我们 ...
朴素贝叶斯网络matlab实现_基于朴素贝叶斯的文本分类方法实战
基于朴素贝叶斯的文本分类方法一.朴素贝叶斯原理的介绍二.朴素贝叶斯分类器的代码实现分类器有时会产生错误结果,这时可以要求分类器给出一个最优的类别猜测结果,同时会给出这个猜测的概率估计值.朴素贝叶 ...
实现贝叶斯分类器_机器学习实战项目-朴素贝叶斯
朴素贝叶斯概述贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.本章首先介绍贝叶斯分类算法的基础--贝叶斯定理.最后,我们通过实例来讨论贝叶斯分类的中最简单的一种: ...
[机器学习]朴素贝叶斯原理和基于Spark 实例
朴素贝叶斯分类贝叶斯原理的由来:贝叶斯为了解决一个叫"逆向概率"问题写了一篇文章,尝试解答在缺乏太多可靠证据的情况下,怎样做出更符合数学逻辑的推测. 逆向概率:逆向概率是相对正向 ...
基于概率论的分类方法: 朴素贝叶斯
朴素贝叶斯概述贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.本章首先介绍贝叶斯分类算法的基础--贝叶斯定理.最后,我们通过实例来讨论贝叶斯分类的中最简单的一种: ...
文本情感分析之朴素贝叶斯
一.贝叶斯理论学过概率的同学一定都知道贝叶斯定理: 这个在250多年前发明的算法,在信息领域内有着无与伦比的地位.贝叶斯分类是一系列分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类. ...
朴素贝叶斯基本原理和预测过程、先验概率、后验概率、似然概率概念
贝叶斯原理是英国数学家托马斯·贝叶斯提出的. 贝叶斯原理建立在主观判断的基础上:在我们不了解所有客观事实的情况下,同样可以先估计一个值,然后根据实际结果不断进行修正. 举例: 一个袋子里有10个球, ...
AI基础：朴素贝叶斯与垃圾邮件分类
来,继续回顾基础算法文章目录背景&贝叶斯原理贝叶斯分类器朴素贝叶斯分类器西瓜数据集下的朴素贝叶斯示例朴素贝叶斯分类的优缺点朴素贝叶斯关键问题朴素贝叶斯企业中的应用案例基于朴素 ...

AI实践之路：朴素贝叶斯