Native Bayes

$P(c|{\color{Blue} x}) = \frac{P(c)P({\color{Blue} x}|c)}{P({\color{Blue} x})}= \frac{P(c)}{P({\color{Blue} x})}\prod _{i=1}^{d}P(x_i|c)$

d为属性数目，xi为x在第i个属性上的取值。对于特定样本，分母是相同的，取分子最大的类别.

$P(c) = \frac{|D_c|}{|D|}$

对于离散属性:

$P(x_i|c) = \frac{|D_{c,x_i}|}{|D_c|}$

对于连续属性(假设概率密度函数 $P(x_i|c)$ 服从正态分布， $\mu$ 和 $\sigma^2$ 分别为c类样本在第i个属性上取值的均值和方差)：

$P(x_i|c) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x_i-\mu_{c,i})^2}{2\sigma_{c,i}^2})$

为了避免其他属性携带的信息被训练集中未出现的属性值抹去，在估计概率值时通常要进行平滑，即拉普拉斯修正。其中N为训练集D中可能的类别数，Ni表示第i个属性可能的取值数

$P(c) = \frac{|D_c|+1}{|D|+N}$ ， $P(x_i|c) = \frac{|D_{c,x_i}|+1}{|D_c|+N_i}$

Native Bayes相关推荐

native bayes
贝叶斯,是分类器中的一种. 名字来源于,概率学中的贝叶斯定理涉及到基本数学原理 .1.似然概率 2.条件概率 3.先验概率 4.后验概率基本的步骤,为分为2步骤:先分别计算每个类别的后验概率,然后 ...
机器学习系列--Naive Bayes Classification
Native Bayes 贝叶斯决策理论的核心思想:选择最高概率的决策.朴素贝叶斯是贝叶斯决策理论的一部分. 下面不加证明地直接给出贝叶斯定理: 朴素贝叶斯分类的正式定义如下: 因为分母对于所有类别为 ...
Naive Bayes笔记
1.贝叶斯定理表示事件B发生的情况下,事件A发生的概率.其基本求解公式: 对于很容易直接推导出,但对于更加关心的,则很难直接推导.但是借助贝叶斯公式就很容易求解: 2.算法描述下面用一个例子来描述 ...
深度学习Deep learning：四十一(Dropout简单理解)
前言训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供选择.Dropout是hintion最近2年提出的,源于其文章Improving neural n ...
Mahout学习路线图
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, ...
一句话简单总结李航统计学习法各算法
K近邻: 选取样本集合中K个距离最近的数据中出现次数最多的分类,作为新数据的分类 native bayes :利用训练数据计算类的先验概率P(Y)和特征向量对应每一类的条件概率P(X|Y),计算联合 ...
机器学习理论《统计学习方法》学习笔记：第四章朴素贝叶斯法
机器学习理论<统计学习方法>学习笔记:第四章朴素贝叶斯法 4 朴素贝叶斯法 4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 4.1.2 后验概率最大化的含义 4.2 朴素贝叶斯法 ...
简单的机器学习程序_人体动作识别小程序【机器学习人工智能】
人体动作识别(Human activity recognition)是健康领域一个热点问题,它通过加速度计,陀螺仪等传感器记录人体运动数据,对人体动作进行识别.最近用微信小程序做了一个动作识别的项目, ...
Hadoop笔记——技术点汇总
Hadoop笔记--技术点汇总目录 · 概况 · Hadoop · 云计算 · 大数据 · 数据挖掘 · 手工搭建集群 · 引言 · 配置机器名 · 调整时间 · 创建用户 · 安装JDK · 配置 ...

Native Bayes

Native Bayes相关推荐

最新文章

热门文章