朴素贝叶斯知识点概括

1. 简述

　　贝叶斯是典型的生成学习方法

　　对于给定的训练数据集，首先，基于特征条件独立假设，学习输入/输出的联合概率分布；然后，基于此模型，对于给定的输入x，根据贝叶斯定理求后验概率最大的输出y

　　术语说明：

特征条件独立假设：用于分类的特征在类确定的条件下都是条件独立的。这一假设大大减少模型包含的条件概率数量，简化了贝叶斯方法的学习与预测
联合概率分布：即先验概率和条件概率（条件独立性假设，重要知识点）
学习联合概率分布的方法：学习就是指估计先验概率和条件概率，具体方法有极大似然估计、贝叶斯估计（贝叶斯估计是为了避免极大似然估计出现概率为0的情况，影响计算）
后验概率最大：等价于期望风险最小化

2 条件概率的估计

　　摘自http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html

　　计算出各个划分的条件概率是朴素贝叶斯分类的关键，当特征是离散值时，统计出现频率即可，下面讨论连续值的情况

　　当特征属性为连续值时，通常假定其值服从高斯分布（也称正态分布）。即：

$g(x,\eta ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }e^-\frac{(x-\eta)^2}{2\sigma^2}$

而 $P(a_k|y_i)=g(a_k,\eta_{y_i},\sigma_{y_i})$

因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，代入上述公式即可得到需要的估计值

　　代码：https://github.com/yundou2017/bayes/blob/master/Bayes2.m

优缺点

优点：在数据较少的情况下仍然有效，可以处理多类别问题
缺点：对于输入数据的准备方式较为敏感

转载于:https://www.cnblogs.com/xiaoyun94/p/6727404.html

朴素贝叶斯知识点概括相关推荐

朴素贝叶斯半朴素贝叶斯_使用朴素贝叶斯和N-Gram的Twitter情绪分析
朴素贝叶斯半朴素贝叶斯 In this article, we'll show you how to classify a tweet into either positive or negativ ...
当你看完这篇朴素贝叶斯（NB）算法后,是否会有怦然心动的感觉
一.引言当一位气象学家提供天气预报时,通常会使用像"明天70%的可能性会下雨"这样的术语来预测j降雨,这些预测称为下雨的概率.你有没有想过他们是如何计算的呢? 本文将讲述一种机器 ...
【机器学习】朴素贝叶斯(Naive Bayes)
在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同.对于大多数的分类算法,比如决策树,KNN,逻辑回归,支持向量机等,他们都是判别方法,也就是直接学习出特征输出Y和特征X之间的关系, ...
[机器学习] 分类 --- Naive Bayes（朴素贝叶斯）
一.概率知识点复习 (1)条件概率就是事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为P(A|B),读作"在B条件下A的概率". (2)联合概率可以简单的理解为事 ...
机器学习的练功方式（六）——朴素贝叶斯
文章目录致谢 6 朴素贝叶斯 6.1 概述 6.2 概率论 6.2.1 大数定律 6.2.2 基本概念 6.2.3 极大似然估计 6.2.4 多项式分布 6.2.4.1 伯努利分布 6.2.4.2 ...
机器学习算法总结之朴素贝叶斯法
写在前面贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法.它是基于贝叶斯定理和特征条件独立假设分类方 ...
决策树模型朴素贝叶斯模型_有关决策树模型的概述
决策树模型朴素贝叶斯模型 Decision Trees are one of the highly interpretable models and can perform both classif ...
Java实现基于朴素贝叶斯的情感词分析
朴素贝叶斯(Naive Bayesian)是一种基于贝叶斯定理和特征条件独立假设的分类方法,它是基于概率论的一种有监督学习方法,被广泛应用于自然语言处理,并在机器学习领域中占据了非常重要的地位.在之前 ...
从朴素贝叶斯的角度推导logistic模型
从朴素贝叶斯的角度推导logistic模型文章结构预览 1.朴素贝叶斯算法的理解 2.logistic模型简介 3.从朴素贝叶斯的角度解释为什么logistic模型的sigmoid函数可以表示概率 ...

朴素贝叶斯知识点概括

朴素贝叶斯知识点概括相关推荐

最新文章

热门文章