介绍

朴素贝叶斯是一种基于贝叶斯决策理论和特征条件独立性的分类，它基于训练集上的条件独立性作为检测模型来计算概率分布。对于给定的测试对象，后验概率的最大值的标签是测试对象的预测。最大化后验概率意味着最小化预期风险。那么另一个问题是为什么称它为“朴素 ”贝叶斯？这是因为朴素贝叶斯遵循这样一个天真的假设：当标签被确定时，所有分类特征都是独立的，由下式给出：

其中x （j）是第i个特征，c k是k-th标签。然后，贝叶斯分类器可以定义为：

那么为什么最大化后验概率意味着最小化预期风险呢？让损失是0-1损失函数

其中f(x) 是决策函数。然后，预期的风险是

这是从联合分布P(X,Y)计算的。因此条件期望是：

为了最大限度地降低预期风险，需要将每个风险降至最低X = x，即：

朴素贝叶斯模型

朴素贝叶斯模型由参数估计和分类组成。

参数估计

在训练过程中，学习意味着估计先验概率和条件概率。最大似然估计（MLE）是获得上述参数的一般方法。先验概率的MLE由下式给出：

表示 j-th特征集是 { a j1，a j2，...，a jsi }。然后，条件概率的MLE由下式给出：

在朴素贝叶斯训练过程中，计算先验概率和条件概率。但是，如果在训练集中从未发生过特征的值，则其概率等于零，这将影响后验概率的结果。为了解决这个问题，我们引入拉普拉斯平滑：在每个随机变量的频率上加一个整数。

然后，先验概率的贝叶斯估计是：

其中N是唯一标签的数量，K即样本数量。先验概率代码如下所示：

prior_probability = {}
for key in range(len(label_value)):prior_probability[label_value[key][0]] = (label_value[key][1] + self.laplace) / (N + K * self.laplace)  # laplace smooth
self.prior_probability = prior_probability

其中label_value 是(label, label_num)元组。

类似地，条件概率的贝叶斯估计是：

条件概率的代码如下所示。应用矩阵来保存条件概率，并且 S[j]是j-th特征的唯一标签的数量。

# calculate the conditional probability
prob = []
# calculate the count (x = a & y = c)
for j in range(feature_dim):count = np.zeros([S[j], len(label_count)])  # the range of label start with 1feature_temp = train_data[:, j]feature_value_temp = feature_value[j]for i in range(len(feature_temp)):for k in range(len(feature_value_temp)):for t in range(len(label_count)):if feature_temp[i] == feature_value_temp[k]and train_label[i] == label_value[t][0]:count[k][t] += 1             # x = value and y = label# calculate the conditional probabilityfor m in range(len(label_value)):count[:, m] = (count[:, m] + self.laplace) /(label_value[m][1] + self.laplace*S[j])  # laplace smoothing# print(count)prob.append(count)
self.conditional_probability = prob

分类

在计算先验概率和条件概率之后，贝叶斯分类模型是：

分类代码如下所示。predict是一个包含每个标签概率的字典。然后我们只需要排序predict，预测是排序字典中的第一个元素。

def classify(self, sample):predict = {}for m in range(len(self.label_value)):temp = self.prior_probability[self.label_value[m][0]]  # get the prior_probability of m-th label in label_valuefor n in range(len(sample)):if sample[n] in self.feature_value[n]:# print(m, n)index = np.where(self.feature_value[n] == sample[n])[0][0]temp = temp * self.conditional_probability[n][index][m]else:temp = self.laplace /(self.S[n] * self.laplace)  # if the value of feature is# not in training set, return the laplace smoothingpredict[self.label_value[m][0]] = tempreturn predict

结论与分析

贝叶斯模型是本文的Berniulli贝叶斯模型。除此之外，还有其他贝叶斯模型，如高斯贝叶斯模型，多项式贝叶斯模型。最后，让我们将我们的贝叶斯模型与Sklearn中的贝叶斯模型进行比较，检测性能如下所示：

结果表明，这两种方法的检测效果都很差。此外，我们的贝叶斯模型需要更长的运行时间，这可能是条件概率的算法包含太多的循环。

可以在MachineLearning中找到本文中的相关代码和数据集。

原文地址：https://www.codeproject.com/Articles/4051340/Step-by-Step-Guide-To-Implement-Machine-Learning-3

实现机器学习的循序渐进指南III——朴素贝叶斯相关推荐

[机器学习] 分类 --- Naive Bayes（朴素贝叶斯）
一.概率知识点复习 (1)条件概率就是事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为P(A|B),读作"在B条件下A的概率". (2)联合概率可以简单的理解为事 ...
[机器学习]一个例子完美解释朴素贝叶斯分类器
何为"朴素":属性条件独立性假设如果已知条件不止一个属性,二是多个呢,这个时候贝叶斯公式可以写作上述公式假设特征属性 a1,a2⋯ 相互独立,这也是"朴素" ...
机器学习算法（8）——朴素贝叶斯、最小风险贝叶斯决策
最后以巨佬--"贝叶斯大爷"作为基本机器学习算法学习的压轴算法>>>>>>>>>>>>>膜拜!!!!! ...
机器学习实战（三）朴素贝叶斯NB（Naive Bayes）
目录 0. 前言 1. 条件概率 2. 朴素贝叶斯(Naive Bayes) 3. 朴素贝叶斯应用于文本分类 4. 实战案例 4.1. 垃圾邮件分类案例学习完机器学习实战的朴素贝叶斯,简单的做个笔记 ...
机器学习监督学习之分类算法---朴素贝叶斯代码实践
目录 1. 言论过滤器 1.1 项目描述 1.2 朴素贝叶斯工作原理: 1.2.1 词条向量 1.3 开发流程: 1.4 代码实现 1.4.1 创建样本 1.4.2 构建词汇表,用于建立词集向量 1 ...
机器学习监督学习之分类算法---朴素贝叶斯理论知识
感谢Jack-Cui大佬的知识分享机器学习专栏点击这里目录感谢Jack-Cui大佬的知识分享 0. 概述 1. 朴素贝叶斯理论 1.1 贝叶斯理论 1.1.1 相关计算公式:条件概率公式,贝叶斯 ...
机器学习--详解贝叶斯公式、朴素贝叶斯的来龙去脉（附上多方式代码实现)
贝叶斯公式: 提到贝叶斯公式,首先需要从条件概率说起,因为他们都是基于条件概率发展而来的,既然条件概率那么重要,那么什么是条件概率呢? 条件概率是概率论中的一个重要而时用的概念,生活中我们总是无意识的 ...
【机器学习算法笔记系列】朴素贝叶斯（NB）算法详解和实战
朴素贝叶斯(NB)算法概述朴素贝叶斯(Naïve Bayes, NB)算法,是一种基于贝叶斯定理与特征条件独立假设的分类方法.朴素:特征条件独立:贝叶斯:基于贝叶斯定理.属于监督学习的生成模型,实现 ...
应用机器学习（三）：朴素贝叶斯分类器
朴素贝叶斯( Naive Bayes )分类器,是指将贝叶斯( Bayes )原理应用于具有较强独立性假设的特征(变量),而得到的一族简单的概率分类器. Naive Bayes 分类器假设: 给定类变 ...

实现机器学习的循序渐进指南III——朴素贝叶斯

介绍

朴素贝叶斯模型

参数估计

分类

结论与分析

实现机器学习的循序渐进指南III——朴素贝叶斯相关推荐

最新文章

热门文章