朴素贝叶斯先验概率公式推导

2024-04-23 08:08:36

1.朴素贝叶斯模型

朴素贝叶斯是基于贝叶斯定理和特征条件独立性假设的分类模型；他将待预测的样本划分到后验概率 P(Y|X ) 最大的类别中
模型建立过程如下：

现在我们的问题是如何求解P(Y=Ck), 对于求解P(X=x|Y=Ck)的过程类似，我们只求P(Y=Ck)吧！

2. 先验概率P(Y=Ck)公式推导

先贴上李航书上的公式：

其中：I 是指示函数，当 yi = ck 时，返回1，否则返回0。比如有4个y值分别是 y1=1, y2=2,y3=1,y4=1, 则

现在开始我们的表演：
1） Y 表示类别标签，是一个多项式分布，对于多项式分布，其实我们在高中就学过了，它的形式如下

C1,C2,C3,…,Ck 表示Y有K个类别取值；θ1,θ2,θ3,…,θk 则是取到各个类别下的概率
我们把这张表格用一个公式表示（一定要记住这个公式的形式，很常见的!!!)

可以验证这个公式：小y 是某一类别，当 y = C1 时，代入得到 P(Y=C1) = θ1
2) 求似然函数
我们知道似然函数是观察值的联合概率分布，又因为样本是独立同分布的，因此可以将联合概率拆成单独概率相乘的形式即：

因为有N个样本，所以是N个样本概率的连乘。
y1表示第一个样本的类别，y2表示第二个样本的类别，以此类推…
代入公式得到：

连乘之后：

我们令

式子中：M1 其实表示的是在 N 个样本中，有多少是C1类
M2表示的是在 N 个样本中，有多少是C2类
M3表示的是在 N 个样本中，有多少是C3类
…
显然：M1+M2 + M3 +…+.Mk = N
3) 化简目标函数
我们要最大化似然函数即：

转化为对数形式：

千万别忘了我们还有一个约束条件：所有的概率之和为1，即

我们把它转化为拉格朗日函数形式：

4）求解拉格朗日函数

由于：

代入，可以求解出 λ 值

再次代入到 θ 中：可以依次求解出 θ 的值:

式中：

大家可以自行体会
至此，整个推导过程就结束啦！

朴素贝叶斯先验概率公式推导相关推荐

《统计学习方法》读书笔记——朴素贝叶斯法（公式推导+代码实现）
传送门 <统计学习方法>读书笔记--机器学习常用评价指标 <统计学习方法>读书笔记--感知机(原理+代码实现) <统计学习方法>读书笔记--K近邻法(原理+代码实现 ...
NLP之TopicModel：朴素贝叶斯NB的先验概率之Dirichlet分布的应用
NLP之TopicModel:朴素贝叶斯NB的先验概率之Dirichlet分布的应用目录 1.Dirichlet骰子先验和后验分布的采样 2.稀疏Dirichlet先验的采样 1.Dirichlet ...
【人工智能】— 不确定性、先验概率/后验概率、概率密度、贝叶斯法则、朴素贝叶斯、最大似然估计
[人工智能]- 不确定性不确定性不确定性与理性决策基本概率符号先验概率(无条件概率)/后验概率(条件概率) 随机变量概率密度联合概率分布公理完全联合分布概率演算独立性贝叶斯法则 ...
NLP之TM之Dirichlet：朴素贝叶斯NB的先验概率之Dirichlet分布的应用
NLP之TM之Dirichlet:朴素贝叶斯NB的先验概率之Dirichlet分布的应用目录 1.Dirichlet骰子先验和后验分布的采样 2.稀疏Dirichlet先验的采样 1.Dirichl ...
朴素贝叶斯基本原理和预测过程、先验概率、后验概率、似然概率概念
贝叶斯原理是英国数学家托马斯·贝叶斯提出的. 贝叶斯原理建立在主观判断的基础上:在我们不了解所有客观事实的情况下,同样可以先估计一个值,然后根据实际结果不断进行修正. 举例: 一个袋子里有10个球, ...
matlab贝叶斯判别后验概率,统计学习方法——朴素贝叶斯法、先验概率、后验概率(示例代码)...
朴素贝叶斯法,就是使用贝叶斯公式的学习方法,朴素就是它假设输入变量(向量)的各个分量之间是相互独立的.所以对于分量之间不独立的分布,如果使用它学习和预测效果就不会很好. 简化策略它是目标是通过训练数 ...
NLP算法之一（朴素贝叶斯理论部分）
一.贝叶斯公式贝叶斯公式就一行: P(Y|X)=P(X|Y)P(Y)P(X) 而它其实是由以下的联合概率公式推导出来: P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y) 其中P(Y)叫做先验 ...
从朴素贝叶斯的角度推导logistic模型
从朴素贝叶斯的角度推导logistic模型文章结构预览 1.朴素贝叶斯算法的理解 2.logistic模型简介 3.从朴素贝叶斯的角度解释为什么logistic模型的sigmoid函数可以表示概率 ...
朴素贝叶斯法及python实现
文章目录朴素贝叶斯法概述 1. 定理及公式推导 1.1 定理: 1.2 朴素贝叶斯 1.3 条件独立的假设是: 1.4 先验概率后验概率 1.5 极大似然估计 2. python实现朴素贝叶斯法概 ...

最新文章

热门文章